Temps de prise en compte de robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par JeunZ, 4 Novembre 2004.

  1. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Depuis hier je subit un full crawl j'en suis à 11 000 pages crawlés par google, et je me suis rendu compte que pas mal de page sont inutile comme les forum/login.php etc...


    Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?
     
  2. mamijo
    mamijo WRInaute occasionnel
    Inscrit:
    21 Juillet 2004
    Messages:
    371
    J'aime reçus:
    0
    Je pense que c'est immédiat : le bot commence par demander ce fichier et si le serveur lui donne la dernière version (pas de cache) c'est OK
     
  3. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Ok, ba je viens de le mettre je vais voir si il arrete de crawler certaines pages :)

    Merci
     
Chargement...
Similar Threads - prise compte robots Forum Date
Délai de prise en compte changement robots.txt plus long Crawl et indexation Google, sitemaps 18 Mai 2019
Prise en compte du fichier robots.txt Crawl et indexation Google, sitemaps 22 Avril 2017
délai de prise en compte du <meta name="robots" content="none" /> pour pages déjà indéxées Problèmes de référencement spécifiques à vos sites 26 Septembre 2010
URL Canonique non prise en compte par GSC Crawl et indexation Google, sitemaps 7 Avril 2019
Accélération prise en compte 301 Techniques avancées de référencement 4 Mars 2019
Redirection non prise en compte Netlinking, backlinks, liens et redirections 5 Février 2019
Indexation des pages et prise en compte des reviews Crawl et indexation Google, sitemaps 10 Juillet 2018
Différence entre indexation et prise en compte ? Crawl et indexation Google, sitemaps 4 Juin 2018
Prise en compte texte dans Diaporama Débuter en référencement 28 Janvier 2018
Meta description plus prise en compte Débuter en référencement 17 Octobre 2017