Crawl apres suppression urls

abanote · 19 Octobre 2015

Bonjour
je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

avec le demande de suppression et
User-agent: Googlebot
Disallow: /sousdossier

apres que les urls ont été supprimées
les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
quel est l'impact sur le crawl à venir ?

UsagiYojimbo · 19 Octobre 2015

Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...

abanote · 19 Octobre 2015

et après l'avoir enlevé
(bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

quel est l'impact sur le crawl

UsagiYojimbo · 19 Octobre 2015

Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.

abanote · 19 Octobre 2015

nogood pour le noindex

forcer à recrawler depuis GWT, avec un sitemap tu veux dire

Similar Threads - Crawl suppression urls	Forum	Date
Impact des crawlers sur le taux de rebond et le référencement	Crawl et indexation Google, sitemaps	19 Septembre 2019
Ne pas rendre crawlable le menu ?	Référencement Google	15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console	Crawl et indexation Google, sitemaps	14 Septembre 2019
Crawler un site volumineux	Crawl et indexation Google, sitemaps	4 Septembre 2019
googlebot crawle des pages inexistantes	Crawl et indexation Google, sitemaps	16 Août 2019
Incohérences stats de crawl et logs apache	Crawl et indexation Google, sitemaps	25 Juillet 2019
Décalage entre le crawl et la search console	Crawl et indexation Google, sitemaps	18 Juillet 2019
Taux de crawling en chute	Crawl et indexation Google, sitemaps	25 Mai 2019
Search Console Taux de crawling - Statistiques sur l'exploration	Crawl et indexation Google, sitemaps	22 Mai 2019
Budget de crawl et images "Indexée, mais non envoyée via un sitemap"	Problèmes de référencement spécifiques à vos sites	13 Mai 2019