IP des araignées Google

bielle64 · 19 Février 2003

Depuis quelques jours je surveille les IP visitant mon site pour savoir si Google passe "chez moi".
Ayant lu sur WRI que les adresses commencent par 216.239... je ne surveillait que celles là.
Je n'ai rien vu passer depuis 2 semaines...

Tout à l'heure je fait une recherche sur Google et je constate qu'il a mis ma page d'accueil en cache hier (d'après la date qu'il indique lui même).
J'ai donc fait un recherche avec les mots-clefs "IP Google bot" et je constate sur ce site, qui a l'ai sérieux :

http://www.searchengineworld.com/spiders/ip_addresses/google.htm

que le IP n'ont rien à voir avec 216.239...

Alors je me pose des questions...
Est-ce que l'outils GoogleStats surveille aussi ces adresses ou est-ce que je me plante complètement et ça n'a rien à voir :?: :?: :?:

Aglaia · 19 Février 2003

Pour les IP de googlebot c'est ici :
-http://www.searchengineworld.com/spiders/ip_addresses/google.htm
J'avoue, c'est Hetzel qui l'a donnée l'autre jour...
Par contre dans cette liste, je ne vois pas d'IP qui commence par 216.239, c'est bizarre, pour une page fournie par Hetzeld normalement elle doit être pertinente... :?

hetzeld · 19 Février 2003

Aglaia,

Merci pour le "normalement...." mais tu as raison, il n'y a pas de 216.239...
C'est moi qui ai posté cette page ? Je ne me souviens plus bien... cela devait être un post noyé parmi les 600 autres . Si c'est moi, alors j'aurais dû mieux lire la page car elle me semble ancienne.

On ne peut pas jurer d'être pertinent tout le temps. :lol:

Dan

PS: cela doit être le lien que j'ai posté car une recherche Google sur "IP addresses GoogleBot" sort cette page en #1 . J'ai sans doute simplement copié le lien en faisant confiance au site, vu sa réputation dans le monde des SEO. :lol:

hetzeld · 19 Février 2003

Bielle64,

Tu as dû être visité par le "Fresh Bot" (classe d'IP 64.68.82.xx) qui tourne en permanence entre deux "Full Crawls". Ce sont eux qui mettent les liens avec les "dates fraîcheur" mais ces liens ne durent que deux jours maximum et sont remplacés ensuite par la version en cache (du full crawl précédent) ou par ... rien si le site est nouveau (pas encore été "FullCrawlé" - et hop, un nouveau mot pour le Dico 2004 :wink:

Dan

Aglaia · 19 Février 2003

C'est vrai que tu as envoyé un paquet de post depuis le 2 décembre (belle recrue pour WRI ce jour-là !)
Tu nous donnais cette page ici : https://www.webrankinfo.com/forum/viewt ... ms+spiders
(en cliquant sur google on arrive aux IP des spiders de google)

hetzeld · 19 Février 2003

Aglaia a dit:
C'est vrai que tu as envoyé un paquet de post depuis le 2 décembre (belle recrue pour WRI ce jour-là !)
Tu nous donnais cette page ici : https://www.webrankinfo.com/forum/viewt ... ms+spiders
(en cliquant sur google on arrive aux IP des spiders de google)

La "recrue" n'avait pas donné la page Google mais la page à l'échelon supérieur :wink:
C'est vrai que je n'avais pas épluché tous les liens de cette page, et en particulier le lien "Google".

Dan

WebRankInfo · 19 Février 2003

j'avoue avoir du mal à bien comprendre ce que vous dites... car d'une part le full crawler a bien des adresses IP commençant par 216.239, et d'autre part on trouve bien mention de ce debut d'adresse IP sur WRI : https://www.google.fr/search?hl=fr&q=sit ... +216%2E239

J'ai voulu vérifier avec une des adresses IP de GoogleBot il y a quelques jours sur WRI, et 216.239.46.101 pointe vers crawl4.googlebot.com

il faut bien que je défende ma bonne recrue :wink:

hetzeld · 19 Février 2003

WebRankInfo a dit:
j'avoue avoir du mal à bien comprendre ce que vous dites...

Aglaia disait simplement qu'il n'y a pas mention des "bots" en 216.239.XX.XX sur cette page ancienne de searchengineworld, ce en quoi elle a raison !

Ne dit-on pas: "L'homme propose, Dieu dispose ... et la femme s'interpose" ? :lol:

La recrue

bielle64 · 20 Février 2003

hetzeld a dit:
Aglaia disait simplement qu'il n'y a pas mention des "bots" en 216.239.XX.XX sur cette page ancienne de searchengineworld, ce en quoi elle a raison !

Ha ok, le pb vient du fait que la page est ancienne.
Ce serait pas mal d'avoir une page à jour sur WRI, non ?

Et aussi une page avec une liste d'hébergeurs acceptant ou non l'URL re-writing.
Déjà on pourrait y mettre que Online.net : NON :cry:

fupap · 20 Février 2003

ce matin j'avais ca sur directstats

Host : crawl14-public.alexa.com
Date : 20 Février 2003
Pays : .Com (Commercial)
OS : Os inconnu
Navigateur : Inconnu
Résolution d'écran : x
Url référante : Aucune

Heure Page affichée
3:46:09 =>

alors google?ou un autre robot

hetzeld · 20 Février 2003

fupap a dit:
ce matin j'avais ca sur directstats
Host : crawl14-public.alexa.com ...

Fupap,

Tu donnes toi-même la réponse... c'est un "bot" d'Alexa.com :wink:

Dan

fupap · 20 Février 2003

hetzeld a dit:
c'est un "bot" d'Alexa.com :wink: Dan

alexa donne les resultats de google
il crawl pourquoi, uniquement la capture d'ecran?

Lord Farquaad · 2 Mai 2004

Aaaaaaaaaaaaaaargh, je viens de me prendre un invalid_session sur un post super long :evil:

Bon en gros, j'avais cherché ça:
https://www.google.fr/search?hl=fr&ie=UTF-8&oe=UTF-8&c2coff=1&q=bots+ip+addresses&meta=
et j'avais trouvé ça:
http://www.iplists.com/

Et ça me convenait parfaitement pour faire un super mod pour phpBB, mais j'aurais voulu savoir ce qu'il existait déjà...
D'autre part je vous écrivais mes idées pour ce mod, mais là, je laisse tomber (pourquoi n'ai-je pas cette habitude du ctrl+a, ctrl+c ?)