Crawl apres suppression urls

Discussion dans 'Crawl et indexation Google, sitemaps' créé par abanote, 19 Octobre 2015.

Tags:
  1. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    Bonjour
    je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
    domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

    avec le demande de suppression et
    User-agent: Googlebot
    Disallow: /sousdossier

    apres que les urls ont été supprimées
    les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
    quel est l'impact sur le crawl à venir ?
     
    #1 abanote, 19 Octobre 2015
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...
     
    #2 UsagiYojimbo, 19 Octobre 2015
  3. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    et après l'avoir enlevé
    (bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

    quel est l'impact sur le crawl
     
    #3 abanote, 19 Octobre 2015
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

    Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.
     
    #4 UsagiYojimbo, 19 Octobre 2015
  5. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    nogood pour le noindex

    forcer à recrawler depuis GWT, avec un sitemap tu veux dire
     
    #5 abanote, 19 Octobre 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl suppression urls Forum Date
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Le budget crawl Référencement Google 5 Mars 2020
Anomalie 404 lors du crawl Crawl et indexation Google, sitemaps 28 Février 2020