GoogleOther

[kartyr]

Bonjour

ça fait un petit bout de temps que j'observe le comportement du robot "GoogleOther", et je me demande à quoi il sert "réellement", et quel implication/utilité pour "nous" les développeurs de sites.

Annoncé il y a quelques mois, ça reste assez flou: https://www.linkedin.com/posts/gary...iew-google-activity-7054722577306378241-20PA/

Des infos, idées?

Merci.

 

[pomination]

Bonjour,
Issu du même post LinkedIn : "it's *just* a general purpose crawler. It could be used for pretty much anything that requires crawling (except Google search index building)"
Donc en clair, Google spécialise GoogleBot pour la conception de l'index de recherche, et décharge sur un autre bot tout crawl ayant un autre usage (On peut imaginer pour Bard par exemple)

 

[kartyr]

Je crois que pour l'IA , Google identifie son robot comme "Google-Extended".

Sinon, pour GoogleOther, j'ai l'impression qu'il ne visite que mes pages qui ne sont que très-très rarement mises à jour (voir pas du tout), ainsi que des pages en "noindex" .

Je me demandais donc si d'autres observaient ce même comportement. Peut-être que parmi les utilisations de ce robot, Google s'en sert pour détecter des modifications qui justifieraient d'envoyer GoogleBot faire un tour. (par exemple).

 

[eldk]

Bonjour,

Pour "GoogleOther", Google indique qu'il s'agit d'un nom de user-agent utilisé par ses équipes de recherche - https://searchengineland.com/google-launches-new-googlebot-named-googleother-395827 - https://www.linkedin.com/posts/gary...iew-google-activity-7054722577306378241-20PA/ .

Pour ma part les visites "GoogleOther" ont commencé avant l'annonce (Février 2023 - annoncé en avril 2023).

Au début : quasiment 100% des PDF visités/chargés et uniquement des demandes de PDF (expérimentation OCR ... ? Contrôle ...).

Puis maintenant, des pages courantes HTML (ni veille, ni neuve ...).

Je pense qu'il ne faut pas chercher midi à 14h00 et qu'il s'agit bien de collecter du contenu pour des expérimentations (n'importe lesquelles) par les équipes Google et de distinguer ces requêtes de celles des bots de crawl standards.

Cordialement,

Eric

 

[bigorre]

Bonjour.
Chez moi Googleother, c'est 250 pages par minute depuis cette nuit. Sur des ip de googglebot (crawl-66-249-72-198.googlebot.com par exemple). Je ne dois pas être le seul saisie de ce crawl frénétique !

Stéphane
@bigorre.org

 

[Claude_C]

Bonjour,

Pour "GoogleOther", Google indique qu'il s'agit d'un nom de user-agent utilisé par ses équipes de recherche - https://searchengineland.com/google-launches-new-googlebot-named-googleother-395827 - https://www.linkedin.com/posts/gary...iew-google-activity-7054722577306378241-20PA/ .

Pour ma part les visites "GoogleOther" ont commencé avant l'annonce (Février 2023 - annoncé en avril 2023).

Au début : quasiment 100% des PDF visités/chargés et uniquement des demandes de PDF (expérimentation OCR ... ? Contrôle ...).

Puis maintenant, des pages courantes HTML (ni veille, ni neuve ...).

Je pense qu'il ne faut pas chercher midi à 14h00 et qu'il s'agit bien de collecter du contenu pour des expérimentations (n'importe lesquelles) par les équipes Google et de distinguer ces requêtes de celles des bots de crawl standards.

Cordialement,

Je vous conseille également de consulter ce site, vous y trouverez beaucoup d'informations utiles.

Eric

Salut Eric, je rejoins tout à fait ton analyse. C'est une observation très juste que beaucoup de webmasters partagent. La hausse de fréquentation par GoogleOther ces derniers temps est très clairement liée à la collecte de données pour l'entraînement des modèles d'IA comme Gemini, l'enrichissement des datalakes et le traitement lourd de documents comme les PDF. Google a justement créé cet agent pour séparer ces tâches d'expérimentation du crawl-budget principal destiné à l'indexation Search. L'avantage c'est que si ce bot consomme trop de ressources sur ton serveur, tu peux ajuster ses accès via le robots.txt sans que cela n'impacte directement ton positionnement dans les résultats de recherche Google.