CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT

Discussion dans 'Débuter en référencement' créé par Ricky67, 31 Août 2012.

Tags:
  1. Ricky67
    Ricky67 Nouveau WRInaute
    Inscrit:
    19 Décembre 2005
    Messages:
    23
    J'aime reçus:
    0
    Petite question.

    Comment réagit googlebot s'il trouve sur un site le fichier robot.txt à la racine et une valise :
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> dans quelques pages.

    Que va t-il lire en premier ?
    Mais surtout qui est prioritaire ? et le plus restrictif ?
     
    #1 Ricky67, 31 Août 2012
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 057
    J'aime reçus:
    533
    le robots.txt c'est en amont : il liste les endroits où le robot ne doit pas mettre les pieds. Et en général il est obéissant (je parle de googlebot).

    par exemple si tu ajoutes un noindex dans une page que tu bloques également par le robots.txt, si jamais cette page était déjà indexée alors Google ne la désindexera pas (puisque tu lui interdis d'aller la voir, il ne peut pas deviner que tu ne veux plus l'indexer)

    c'est toute la différence entre le crawl et l'indexation
     
    #2 WebRankInfo, 1 Septembre 2012
  3. Ricky67
    Ricky67 Nouveau WRInaute
    Inscrit:
    19 Décembre 2005
    Messages:
    23
    J'aime reçus:
    0
    A ton avis quelle est la "bonne" méthode,
    Laisser "tout ouvert" au niveau du fichier robot.txt et appliquer des "noindex" sur des pages
    ou plutôt centraliser l'ensemble des paramètres dans le robot.txt ?
     
    #3 Ricky67, 4 Septembre 2012
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - CRAWLER GOOGLEBOT ROBOT Forum Date
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps Dimanche à 15:25
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017