Crawl apres suppression urls

abanote · 19 Octobre 2015

Bonjour
je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

avec le demande de suppression et
User-agent: Googlebot
Disallow: /sousdossier

apres que les urls ont été supprimées
les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
quel est l'impact sur le crawl à venir ?

UsagiYojimbo · 19 Octobre 2015

Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...

abanote · 19 Octobre 2015

et après l'avoir enlevé
(bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

quel est l'impact sur le crawl

UsagiYojimbo · 19 Octobre 2015

Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.

abanote · 19 Octobre 2015

nogood pour le noindex

forcer à recrawler depuis GWT, avec un sitemap tu veux dire

Similar Threads - Crawl suppression urls	Forum	Date
Search Console Suppression de sous domaines + stop crawl ?	Crawl et indexation Google, sitemaps	27 Juillet 2020
Qwant : une étude du crawl	Autres moteurs de recherche connus	7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ?	Crawl et indexation Google, sitemaps	3 Avril 2020
Le budget crawl	Référencement Google	5 Mars 2020
Anomalie 404 lors du crawl	Crawl et indexation Google, sitemaps	28 Février 2020
Crawl et indexation de certaines pages	Débuter en référencement	30 Décembre 2019
Pages crawlées mais non indexées	Crawl et indexation Google, sitemaps	9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement	Crawl et indexation Google, sitemaps	19 Septembre 2019
Ne pas rendre crawlable le menu ?	Référencement Google	15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console	Crawl et indexation Google, sitemaps	14 Septembre 2019