Crawl apres suppression urls

Discussion dans 'Crawl et indexation Google, sitemaps' créé par abanote, 19 Octobre 2015.

Tags:
  1. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    235
    J'aime reçus:
    0
    Bonjour
    je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier
    domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler

    avec le demande de suppression et
    User-agent: Googlebot
    Disallow: /sousdossier

    apres que les urls ont été supprimées
    les nouvelles urls vont-elles etre crawler (tout de suite ou non) ?
    quel est l'impact sur le crawl à venir ?
     
    #1 abanote, 19 Octobre 2015
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 018
    J'aime reçus:
    133
    Tant que ton disallow est en place, le bot va difficilement pouvoir crawler le sous-dossier...
     
    #2 UsagiYojimbo, 19 Octobre 2015
  3. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    235
    J'aime reçus:
    0
    et après l'avoir enlevé
    (bien entendu, et évidement, et cela va de soit, et of course, et c'était évident, et naturellement, et ...)

    quel est l'impact sur le crawl
     
    #3 abanote, 19 Octobre 2015
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 018
    J'aime reçus:
    133
    Après l'avoir enlevé, tu peux forcer le recrawl du dossier depuis GWT.

    Mais dans ton cas de figure, je me serais plus reposé sur l'ajout d'une meta robots noindex sur les pages à désindexer que sur une règle dans le robots.txt.
     
    #4 UsagiYojimbo, 19 Octobre 2015
  5. abanote
    abanote WRInaute discret
    Inscrit:
    27 Novembre 2008
    Messages:
    235
    J'aime reçus:
    0
    nogood pour le noindex

    forcer à recrawler depuis GWT, avec un sitemap tu veux dire
     
    #5 abanote, 19 Octobre 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl suppression urls Forum Date
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Pages crawlées inconnues Crawl et indexation Google, sitemaps 12 Septembre 2022
Crawl - 301 crawlé, 404 factuel ? Crawl et indexation Google, sitemaps 7 Septembre 2022
Problème de crawl et d'indexation Crawl et indexation Google, sitemaps 1 Septembre 2022
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Questions URL canonique, crawl et indexation Débuter en référencement 25 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020