CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT

Discussion dans 'Débuter en référencement' créé par Ricky67, 31 Août 2012.

Tags:
  1. Ricky67
    Ricky67 Nouveau WRInaute
    Inscrit:
    19 Décembre 2005
    Messages:
    23
    J'aime reçus:
    0
    Petite question.

    Comment réagit googlebot s'il trouve sur un site le fichier robot.txt à la racine et une valise :
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> dans quelques pages.

    Que va t-il lire en premier ?
    Mais surtout qui est prioritaire ? et le plus restrictif ?
     
    #1 Ricky67, 31 Août 2012
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 878
    J'aime reçus:
    843
    le robots.txt c'est en amont : il liste les endroits où le robot ne doit pas mettre les pieds. Et en général il est obéissant (je parle de googlebot).

    par exemple si tu ajoutes un noindex dans une page que tu bloques également par le robots.txt, si jamais cette page était déjà indexée alors Google ne la désindexera pas (puisque tu lui interdis d'aller la voir, il ne peut pas deviner que tu ne veux plus l'indexer)

    c'est toute la différence entre le crawl et l'indexation
     
    #2 WebRankInfo, 1 Septembre 2012
  3. Ricky67
    Ricky67 Nouveau WRInaute
    Inscrit:
    19 Décembre 2005
    Messages:
    23
    J'aime reçus:
    0
    A ton avis quelle est la "bonne" méthode,
    Laisser "tout ouvert" au niveau du fichier robot.txt et appliquer des "noindex" sur des pages
    ou plutôt centraliser l'ensemble des paramètres dans le robot.txt ?
     
    #3 Ricky67, 4 Septembre 2012
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - CRAWLER GOOGLEBOT ROBOT Forum Date
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot ne vient plus crawler mon site ! Crawl et indexation Google, sitemaps 23 Septembre 2004
Crawler 135 de Googlebot (classique ou Mediapartner ?) Problèmes de référencement spécifiques à vos sites 6 Septembre 2004
Probleme ? crawler15.googlebot s'arrete a ma page index Crawl et indexation Google, sitemaps 7 Octobre 2003
Titre du site [crawler10.googlebot.com] Crawl et indexation Google, sitemaps 31 Mai 2003
Crawl et crawler googlebot ? Crawl et indexation Google, sitemaps 9 Mai 2003
Qu'est ce donc ? (crawler11.googlebot.com) Crawl et indexation Google, sitemaps 21 Février 2003
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016