Informer Google des mises à jour de robots.txt

[Corrigeur]

Bonjour à tous.

Comment dire à Google que le fichier robots.txt a été modifié ?

J'avais deux pages en Disallow, car elles étaient inachevées. Je les ai terminées le 9 et j'ai alors modifié robots.txt. Dans ses mises à jour du sitemap du 10 et du 11, Google a continué à m'avertir que ces deux pages étaient interdites d'accès. Dans sa mise à jour du 12, il ne m'en avertit plus, mais elles ne sont toujours pas dans l'index.

Merci pour vos explications.

 

[Marie-Aude]

donc si il ne t'en averti plus c'est qu'il les a lues. Maintenant les indexer est autre chose.... on a répété des centaines de fois (au moins) sur WRI que le sitemap permettait à Google de crawler, mais ne garantissait pas l'indexation

 

[WebRankInfo]

il faut savoir patienter au moins qq heures, voire 1 jour !!!

 

[Corrigeur]

:wink: On en est à 4 jours et le sitemap semble visité par Google tous les jours ou deux jours si j'en crois WMT. La vraie question est donc : peux-ton avertir Google que robots.txt a changé ?

 

[UsagiYojimbo]

Tu as un système de cache qui pourrait poser problème ?

 

[Corrigeur]

Je ne trouve pas comment savoir cela.

 

[Marie-Aude]

Dans googlewebmaster tools, tu vois la version du robots.txt qui est prise en compte. Si elle est modifiée, il faut en général 24 heure pour que cela soit prix en compte.

A partir du moment où tu n'as plus d'avertissement sur les pages en Disallow, tu as la preuve que ton robots.txt modifié a été pris en compte