Temps de prise en compte de robots.txt

JeunZ · 4 Novembre 2004

Depuis hier je subit un full crawl j'en suis à 11 000 pages crawlés par google, et je me suis rendu compte que pas mal de page sont inutile comme les forum/login.php etc...

Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?

mamijo · 4 Novembre 2004

Je pense que c'est immédiat : le bot commence par demander ce fichier et si le serveur lui donne la dernière version (pas de cache) c'est OK

JeunZ · 4 Novembre 2004

Ok, ba je viens de le mettre je vais voir si il arrete de crawler certaines pages

Merci

Similar Threads - prise compte robots	Forum	Date
Délai de prise en compte changement robots.txt plus long	Crawl et indexation Google, sitemaps	18 Mai 2019
Prise en compte du fichier robots.txt	Crawl et indexation Google, sitemaps	22 Avril 2017
délai de prise en compte du <meta name="robots" content="none" /> pour pages déjà indéxées	Problèmes de référencement spécifiques à vos sites	26 Septembre 2010
URL Canonique non prise en compte par GSC	Crawl et indexation Google, sitemaps	7 Avril 2019
Accélération prise en compte 301	Techniques avancées de référencement	4 Mars 2019
Redirection non prise en compte	Netlinking, backlinks, liens et redirections	5 Février 2019
Indexation des pages et prise en compte des reviews	Crawl et indexation Google, sitemaps	10 Juillet 2018
Différence entre indexation et prise en compte ?	Crawl et indexation Google, sitemaps	4 Juin 2018
Prise en compte texte dans Diaporama	Débuter en référencement	28 Janvier 2018
Meta description plus prise en compte	Débuter en référencement	17 Octobre 2017