Crawling des url sales

WRInaute occasionnel
Bonjour à tous,

je me pose la question suivante :
Sur mon site toutes les URL que je souhaite référencer sont réécrites.
Par contre ces URL possèdent leur équivalent non réécrit, équivalent que Google n'indexe pas certes, mais qu'il crawl.

Cela pose t-il un problème que Google passe du temps à crawler des URL qu'on ne cherche pas à indexer ?
Si j'arrive à faire en sorte que Google ne crawl plus du tout ces URL, cela sera t-il bénéfique ?
On doit pouvoir bloquer le crawling d'URL selon les paramètres qui s'y trouvent, via Google et Bing WMT

Merci beaucoup.

Rom.
 
WRInaute accro
Salut tu n'es pas obligé de faire des redirections 301 automatiques vers leur équivalent réécrit même si c'est mieux mais dans ce cas, il te faut obligatoirement la meta rel=canonical pour indiquer la page à prendre en compte/indexer.

J'éviterais de bloquer violemment l'accès à ces url pour te retrouver avec des centaines d'erreurs dans ton GWT perso ;)
 
WRInaute occasionnel
Ok, les url canoniques sont bien définies oui.

Pas besoin d'aller bloquer les URL avec paramètres donc d'après toi ?
Je posais la question car j'entends souvent que plus Google a des facilité à crawler ton site, mieux c'est.
Or dans mon cas je me dis qu'il doit passer un certain temps avec les URL sales, vu qu'il y en a énormément (combinaisons de paramètres).
 
WRInaute accro
Si t'as le courage tu intègres dans ton code la détection d'url sale et tu fais automatiquement une redirection 301 vers son url canonique. C'est toi qui voit !
 
Discussions similaires
Haut