Crawling et DNS

[kalagan]

Petite question sur les robots d'indexation :

Lors d'un plantage DNS de 1 jour, mon site n'était plus accessible par URL (il l'était encore par IP). Le nombre de page indexé a pourtant augmenter pendant ce laps de temps.

Pensez-vous que les robots d'indexation peuvent crawler un site si le serveur de nom est KO, tant que l'IP est accessible ?

 

[dorian53]

Salut,

Pensez-vous que les robots d'indexation peuvent crawler un site si le serveur de nom est KO, tant que l'IP est accessible ?

Non je ne pense pas.

 

[FloBaoti]

Si leurs serveurs DNS leur fournissait encore l'IP (cache), biensur qu'ils pouvaient continuer à visiter ton site.
Pareil pour les visiteurs, si leurs serveurs DNS gardaient les informations en cache, ils voyaient ton site.

 

[dorian53]

Si leurs serveurs DNS leur fournissait encore l'IP (cache), biensur qu'ils pouvaient continuer à visiter ton site.

Je ne pense pas que c'est une question de connaitre l'IP ou pas puisque je suis persuadé que c'est stocké chez Google.

C'est juste qu'il n'indexe pas un site à partir d'une IP surtout si le DNS ne répond pas car :

• - c'est peut-être voulu de la part du site,
  - c'est peut-être la fin du site,
  - il faut reconstruire les liens relatifs,
  - etc.

Ce ne sont que des hypothèses de ma vision des choses.

 

[FloBaoti]

Euh... pour communiquer sur le protocole IP, ça se passe par les adresses IP. DNS n'est qu'un protocole applicatif par dessus.

Donc je répète ce que j'ai dis, si les serveurs DNS du robot ont gardé en cache la correspondance DNS<->IP (et donc qu'il n'a pas suivi le blackout de ton serveur), les robots pourront continuer à se connecter à ton site.

Bien évidemment, c'est vrai si le serveur DNS garde pas mal d'infos en cache. S'il respecte à la lettre les TTL et tout et tout, les robots se retrouvent dans les choux également.

 

[raljx]

...
Bien évidemment, c'est vrai si le serveur DNS garde pas mal d'infos en cache. S'il respecte à la lettre les TTL et tout et tout, les robots se retrouvent dans les choux également.

et font remonter l'info à ses créateurs donc ca devrait poser pb.