Crawl apres suppression urls

Discussion dans 'Crawl et indexation Google, sitemaps' créé par abanote, 19 Octobre 2015.

Tags:
  1. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    238
    J'aime reçus:
    0
    Bonjour
    je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
    domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

    avec le demande de suppression et
    User-agent: Googlebot
    Disallow: /sousdossier

    apres que les urls ont été supprimées
    les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
    quel est l'impact sur le crawl à venir ?
     
    #1 abanote, 19 Octobre 2015
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 867
    J'aime reçus:
    70
    Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...
     
    #2 UsagiYojimbo, 19 Octobre 2015
  3. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    238
    J'aime reçus:
    0
    et après l'avoir enlevé
    (bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

    quel est l'impact sur le crawl
     
    #3 abanote, 19 Octobre 2015
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 867
    J'aime reçus:
    70
    Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

    Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.
     
    #4 UsagiYojimbo, 19 Octobre 2015
  5. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    238
    J'aime reçus:
    0
    nogood pour le noindex

    forcer à recrawler depuis GWT, avec un sitemap tu veux dire
     
    #5 abanote, 19 Octobre 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl suppression urls Forum Date
Taux de crawling en chute Crawl et indexation Google, sitemaps 25 Mai 2019
Search Console Taux de crawling - Statistiques sur l'exploration Crawl et indexation Google, sitemaps 22 Mai 2019
Budget de crawl et images "Indexée, mais non envoyée via un sitemap" Problèmes de référencement spécifiques à vos sites 13 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Crawl Google, nombre d'impressions versus position Crawl et indexation Google, sitemaps 5 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
URL incompréhensibles crawlées non indéxées Crawl et indexation Google, sitemaps 30 Janvier 2019
désindexer et/ou empêcher crawl ? Crawl et indexation Google, sitemaps 4 Janvier 2019
Google crawle des pages existant sur d'autres sites Crawl et indexation Google, sitemaps 1 Janvier 2019
Google crawle encore des liens désavoués qui me font des 404 Référencement Google 22 Décembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Accepter En savoir plus.
    Rejeter la notice