Depuis hier je subit un full crawl j'en suis à 11 000 pages crawlés par google, et je me suis rendu compte que pas mal de page sont inutile comme les forum/login.php etc...
Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?
Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?
