Forcer mise à jour du robots.txt en cache

[UsagiYojimbo]

Bonjour à tous,

Sur un site sur lequel je travaille, l'agence qui s'occupe du développement à mis en ligne la nouvelle version jeudi. Au moment de la mise en ligne, le robots.txt était en disallow: /. Ils ont fait la modification en 1h00 mais le souci c'est que le robots a crawlé le site avant la modif. Du coup, depuis jeudi, la version en cache du robots.txt sur GWT est celle en disallow.

Il y a un moyen de forcer la mise en cache ?

 

[Raspailloux]

Salut,

J'ai jamais essayé mais est-ce que la partie "Explorer comme Google" de Webmaster Tools ne permettrait pas de le faire ?

Après en théorie il est censé le regarder à chaque visite mais bon...

Si tu trouves un truc qui marche en tout cas je suis preneur

Bon courage.

 

[WebRankInfo]

on peut en effet lui faire crawler le robots.txt, mais je ne suis pas certain que ça corresponde au besoin exprimé

 

[UsagiYojimbo]

J'ai essayé et ca n'a rien changé : la date de cache du fichier n'a pas été impactée. J'avais lu quelque part que certains forcaient la mise en cache en demandant à Google de supprimer le cache associé, mais cette possibilité m'est refusée par l'interface de Google qui permet de forcer la MAJ du cache.

 

[WebRankInfo]

je ne vois pas où se trouverait cette possibilité de "suppression du cache"
ce qui m'étonne un peu, c'est que Google vient en général toutes les 24h consulter ce fichier, même sur des petits sites rarement mis à jour

 

[UsagiYojimbo]

Je faisais allusion à https://support.google.com/webmasters/answer/1663691?hl=fr

 

[WebRankInfo]

ça c'est pour les pages indexées, ça ne concerne pas le fichier robots.txt
as-tu essayé de poser la question dans le forum Google pour webmasters ?

 

[UsagiYojimbo]

Oui justement c'est là-bas que j'ai vu des gens procéder ainsi. Etant donné que plus loin on propose de forcer la msie en cache des fichiers / pages au lieu de les supprimer, je trouvais pas ça déconnant.

Pour le coup, le cache a été mis à jour concernant mon fichier.

 

[zeb]

as tu essayé un pingomatic au cas ou ... ça coute pas cher c'est pas mortel mais sait on jamais ...

 

[WebRankInfo]

il suffisait donc d'attendre, mais c'était probablement la seule solution également...