Crawl apres suppression urls

Discussion dans 'Crawl et indexation Google, sitemaps' créé par abanote, 19 Octobre 2015.

Tags:
  1. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    Bonjour
    je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
    domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

    avec le demande de suppression et
    User-agent: Googlebot
    Disallow: /sousdossier

    apres que les urls ont été supprimées
    les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
    quel est l'impact sur le crawl à venir ?
     
    #1 abanote, 19 Octobre 2015
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 939
    J'aime reçus:
    80
    Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...
     
    #2 UsagiYojimbo, 19 Octobre 2015
  3. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    et après l'avoir enlevé
    (bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

    quel est l'impact sur le crawl
     
    #3 abanote, 19 Octobre 2015
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 939
    J'aime reçus:
    80
    Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

    Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.
     
    #4 UsagiYojimbo, 19 Octobre 2015
  5. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    240
    J'aime reçus:
    0
    nogood pour le noindex

    forcer à recrawler depuis GWT, avec un sitemap tu veux dire
     
    #5 abanote, 19 Octobre 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl suppression urls Forum Date
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020