CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT

Ricky67 · 31 Août 2012

Petite question.

Comment réagit googlebot s'il trouve sur un site le fichier robot.txt à la racine et une valise :
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> dans quelques pages.

Que va t-il lire en premier ?
Mais surtout qui est prioritaire ? et le plus restrictif ?

WebRankInfo · 1 Septembre 2012

le robots.txt c'est en amont : il liste les endroits où le robot ne doit pas mettre les pieds. Et en général il est obéissant (je parle de googlebot).

par exemple si tu ajoutes un noindex dans une page que tu bloques également par le robots.txt, si jamais cette page était déjà indexée alors Google ne la désindexera pas (puisque tu lui interdis d'aller la voir, il ne peut pas deviner que tu ne veux plus l'indexer)

c'est toute la différence entre le crawl et l'indexation

Ricky67 · 4 Septembre 2012

A ton avis quelle est la "bonne" méthode,
Laisser "tout ouvert" au niveau du fichier robot.txt et appliquer des "noindex" sur des pages
ou plutôt centraliser l'ensemble des paramètres dans le robot.txt ?

Similar Threads - CRAWLER GOOGLEBOT ROBOT	Forum	Date
Empêcher Googlebot de crawler/indexer tout un dossier	Débuter en référencement	19 Avril 2019
Impact des crawlers sur le taux de rebond et le référencement	Crawl et indexation Google, sitemaps	19 Septembre 2019
Crawler un site volumineux	Crawl et indexation Google, sitemaps	4 Septembre 2019
Comment trouver la vraie adresse IP d'un crawler ?	Développement d'un site Web ou d'une appli mobile	13 Février 2019
Crawler des URLs depuis un CSV	Crawl et indexation Google, sitemaps	30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize	Développement d'un site Web ou d'une appli mobile	7 Septembre 2017
Comment crawler la version mobile de mon site?	Administration d'un site Web	13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth?	Crawl et indexation Google, sitemaps	10 Janvier 2017
Hide from backlink crawlers?	Administration d'un site Web	27 Décembre 2016
Ne pas indexer ni faire crawler	Crawl et indexation Google, sitemaps	10 Juin 2016