D'ou vient Google

[nickargall]

Bonjour a tous
Une question peut être bête, mais quelqu'un a-t-il déjà essayé de tracker Google bot sur son site pour savoir quel lien il a suivi pour arriver ? Le système de crawl de googlebot permet-il d'obtenir le referrer ? Juste comme ça ...

 

[Sébastien Billard]

Pas possible, les spiders ne transmettent pas de referers (c'est dommage d'ailleurs).

 

[jeanluc]

Googlebot n'indique pas de referrer. Googlebot ne suit pas les liens comme un internaute.

Quand Googlebot lit une page, il en extrait les liens qui sont alors stockés dans les databases de Google. L'ordre dans lequel les liens connus de Google sont visités n'est pas divulgué.

Jean-Luc

 

[nickargall]

C'est bien ce que je pensais pour les referrers.
Merci de vos éclaircissements à tous les deux

 

[nervusdm]

Je me permet de rajouter que c'est tout à fait normal, Googlebot n'est pas un navigateur qui se promène de site en site

 

[nickargall]

Ok. reste à trouver quel est la règle utilisée par le robot pour décider de quel lien récupéré aller suivre et de quand le faire ...

 

[KOogar]

L'ordre dans lequel les liens connus de Google sont visités n'est pas divulgué.

vue que l'on sait quand une url est visitée par le robot (voir log brut) en regardant les heures de passages du robot, on arrive a reconstituer son parcours.

 

[nickargall]

C'est pas vraiment son petit manège interne qui m'intéresserait, mais plutôt de savoir quels sont les BL externes qui " provoquent " le plus de passages du gentil googlebot

 

[Røi]

Google vient de l'espace intersidéral

 

[passion]

Google vient de l'espace intersidéral

La vérité est ailleurs ! 8O

 

[nickargall]

Je me disais bien que ca partirait en sucette ce genre de post ...

 

[Szarah]

Je me disais bien que ca partirait en sucette ce genre de post ...

Donc tu l'as fait exprès, graine de korigan ?

Non, la question était intéressante et elle le reste parce que la réponse est : "Mystère et boule de gomme".

 

[nickargall]

Korrigan , avec 2 R, s'il te plaît

 

[Szarah]

Korrigan , avec 2 R, s'il te plaît

Pas de souci, voici le manquant : "r" ... mais il en faudrait bien trois pour simuler le rrroulement phonétique

 

[jfcontart]

pourquoi ne pas te créer sur tes site referents des liens avec une variable incrémentée pour analyser cela :
site A lien -http://www.example.com/article_1.html?GG_TST=A
site B lien -http://www.example.com/article_1.html?GG_TST=B
site C lien -http://www.example.com/article_1.html?GG_TST=C

puis tu étudies tes logs pour voir...

 

[KOogar]

C'est pas vraiment son petit manège interne qui m'intéresserait, mais plutôt de savoir quels sont les BL externes qui " provoquent " le plus de passages du gentil googlebot

dream lover

 

[nickargall]

Ca devient tout de suite très fastidieux .. tenter de recontacter tous les sites qui me lient, bouger mes flux rss, etc ... si j'avais 10 BL pourquoi pas, mais bon là non

 

[ybet]

Google vient de l'espace intersidéral

Désolé, mais ca c''est un autre bot (un espagnol qui vient sur WRI dont j'ai oublié le nom :? )


.. Madri ... quelque chose. :lol:

 

[Leonick]

Ca devient tout de suite très fastidieux .. tenter de recontacter tous les sites qui me lient, bouger mes flux rss, etc ... si j'avais 10 BL pourquoi pas, mais bon là non

non, tu testes le tracking sur une seule page, avec des id=1, id)2, etc... selon les sites où tu les mets.
Et ensuite, une belle redirection 301 pour ne pas faire du duplicate, comme ça tu vois d'où proviennent les premiers crawls de gg

 

[Madrileño]

Google vient de l'espace intersidéral

Désolé, mais ca c''est un autre bot (un espagnol qui vient sur WRI dont j'ai oublié le nom :? )
.. Madri ... quelque chose. :lol:

Plait-il ? :mrgreen:

 

[jeanluc]

comme ça tu vois d'où proviennent les premiers crawls de gg

Et ça sert à quoi de voir d'où proviennent les premiers crawls sur une nouvelle page ?

La redirection 301 que tu proposes sera certainement efficace, mais tout cet exercice ne fait que compliquer le travail de Googlebot et risque donc de ralentir l'indexation.

Jean-Luc

 

[Leonick]

Et ça sert à quoi de voir d'où proviennent les premiers crawls sur une nouvelle page ?

savoir, quand tu veux booster un site ou une page, où il est préférable de mettre tes BL. Car pour une nouvelle page (à fortiori un nouveau site), un brusque afflux de BL ça n'est pas trop bien vu. Donc peu de BL mais que du bon :wink: