Crawl apres suppression urls

Discussion dans 'Crawl et indexation Google, sitemaps' créé par abanote, 19 Octobre 2015.

  1. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    Bonjour
    je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
    domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

    avec le demande de suppression et
    User-agent: Googlebot
    Disallow: /sousdossier

    apres que les urls ont été supprimées
    les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
    quel est l'impact sur le crawl à venir ?
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
    Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...
     
  3. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    et après l'avoir enlevé
    (bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

    quel est l'impact sur le crawl
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
    Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

    Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.
     
  5. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    nogood pour le noindex

    forcer à recrawler depuis GWT, avec un sitemap tu veux dire
     
Chargement...
Similar Threads - Crawl suppression urls Forum Date
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Le budget crawl Référencement Google 5 Mars 2020
Anomalie 404 lors du crawl Crawl et indexation Google, sitemaps 28 Février 2020
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console Crawl et indexation Google, sitemaps 14 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice