Crawling des url sales

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Romdev, 8 Novembre 2012.

  1. Romdev
    Romdev WRInaute occasionnel
    Inscrit:
    26 Novembre 2008
    Messages:
    363
    J'aime reçus:
    0
    Bonjour à tous,

    je me pose la question suivante :
    Sur mon site toutes les URL que je souhaite référencer sont réécrites.
    Par contre ces URL possèdent leur équivalent non réécrit, équivalent que Google n'indexe pas certes, mais qu'il crawl.

    Cela pose t-il un problème que Google passe du temps à crawler des URL qu'on ne cherche pas à indexer ?
    Si j'arrive à faire en sorte que Google ne crawl plus du tout ces URL, cela sera t-il bénéfique ?
    On doit pouvoir bloquer le crawling d'URL selon les paramètres qui s'y trouvent, via Google et Bing WMT

    Merci beaucoup.

    Rom.
     
  2. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 226
    J'aime reçus:
    0
    Salut tu n'es pas obligé de faire des redirections 301 automatiques vers leur équivalent réécrit même si c'est mieux mais dans ce cas, il te faut obligatoirement la meta rel=canonical pour indiquer la page à prendre en compte/indexer.

    J'éviterais de bloquer violemment l'accès à ces url pour te retrouver avec des centaines d'erreurs dans ton GWT perso ;)
     
  3. Romdev
    Romdev WRInaute occasionnel
    Inscrit:
    26 Novembre 2008
    Messages:
    363
    J'aime reçus:
    0
    Ok, les url canoniques sont bien définies oui.

    Pas besoin d'aller bloquer les URL avec paramètres donc d'après toi ?
    Je posais la question car j'entends souvent que plus Google a des facilité à crawler ton site, mieux c'est.
    Or dans mon cas je me dis qu'il doit passer un certain temps avec les URL sales, vu qu'il y en a énormément (combinaisons de paramètres).
     
  4. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 226
    J'aime reçus:
    0
    Si t'as le courage tu intègres dans ton code la détection d'url sale et tu fais automatiquement une redirection 301 vers son url canonique. C'est toi qui voit !
     
Chargement...
Similar Threads - Crawling sales Forum Date
Taux de crawling en chute Crawl et indexation Google, sitemaps 25 Mai 2019
Search Console Taux de crawling - Statistiques sur l'exploration Crawl et indexation Google, sitemaps 22 Mai 2019
Crawling et Angular/react/vuejs Crawl et indexation Google, sitemaps 2 Novembre 2017
Crawling en fonction des "User Agent" Crawl et indexation Google, sitemaps 20 Septembre 2015
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
AJAX crawling et redirection Crawl et indexation Google, sitemaps 13 Décembre 2013
Crawling = repositionnement ? Débuter en référencement 15 Janvier 2012
Page d'accueil, redirect et crawling qui ne fonctionne pas Crawl et indexation Google, sitemaps 19 Avril 2011
[Aide réferencement] Crawling de google sur devenir-avocat.fr Problèmes de référencement spécifiques à vos sites 10 Mars 2010
Pas d'indexation d'une page alors que google a bien fait son crawling du domaine Problèmes de référencement spécifiques à vos sites 24 Novembre 2009
Crawling et DNS Netlinking, backlinks, liens et redirections 29 Mai 2008
Robots.txt et crawling Crawl et indexation Google, sitemaps 16 Mars 2007
Effet du Crawling sur le trafic Débuter en référencement 28 Juin 2006
Crawling = ? Débuter en référencement 19 Juin 2006
Petite question sur crawling multilingue Référencement international (langues, pays) 10 Mai 2005
Crawling d'adresses d'hébergement et de noms de domaines / Problèmes de référencement spécifiques à vos sites 19 Septembre 2003
Grub - Looksmart crawling distribué Autres moteurs de recherche connus 4 Juin 2003
Google me joue des sales tours Problèmes de référencement spécifiques à vos sites 2 Août 2006