Temps de prise en compte de robots.txt

[JeunZ]

Depuis hier je subit un full crawl j'en suis à 11 000 pages crawlés par google, et je me suis rendu compte que pas mal de page sont inutile comme les forum/login.php etc...


Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?

 

[mamijo]

Je pense que c'est immédiat : le bot commence par demander ce fichier et si le serveur lui donne la dernière version (pas de cache) c'est OK

 

[JeunZ]

Ok, ba je viens de le mettre je vais voir si il arrete de crawler certaines pages

Merci