Outil pour avoir un listing des url indexées

WRInaute occasionnel
Bonjour,

Je souhaitais savoir s'il existait un outil pour avoir un listing des url indexées par google. En effet dans webmaster tools, je plafonne à 16 000 pages indexées.
Or, mon site Internet se compose de 10 catégories, 50 sous catégories, 1670 produits, 250 articles de blog, une dizaine de pages CMS. Donc là nous avons un gros soucis...
Merci pour votre aide
 
WRInaute discret
Bonjour,

Je propose Xenu (gare au paramétrage, c'est assez délicat) + scrapebox (cf image) pour vérifier l'indexation.

448113sbggindexed.jpg



Sinon, je tenterais une approche plus statistique : tu prends qq urls type (une par sous-catégorie) et tu les vérifies à la main (requête site:url dans Google).

Dernière option : une requête dans Google du genre :
site:monsite.com inurl:souscategorie
et tu regardes ce qu'il renvoie.
 
WRInaute occasionnel
Merci à tous les deux. Bon visiblement rien qu'en tapant site:monsite.com inurl:souscategorie, je pense comprendre pourquoi on arrive à 16000 pages indexées au lieu d'environ 2500
je m'aperçois de plein de problèmes souscategorie/p=9, p=10 etc, souscategorie/?manufacturer=298, souscategorie/?price=9%2C1&p=2, mon webmaster a mis des canonical mais est-ce suffisant? est ce qu'il faudrait tout passer en noindex?
Merci
 
WRInaute discret
Plus "simple" : dans Google webmaster Tools, gérer à la main les paramètres d'urls, lesquels indexer, ceux à ignorer. C'est la meilleure méthode, mais attention à ne pas avoir la main trop lourde.
 
Olivier Duffez (admin)
Membre du personnel
usulfr a dit:
Plus "simple" : dans Google webmaster Tools, gérer à la main les paramètres d'urls, lesquels indexer, ceux à ignorer. C'est la meilleure méthode, mais attention à ne pas avoir la main trop lourde.
à mon avis c'est la pire des méthodes :roll:
 
WRInaute discret
Pourquoi ?
Je l'ai mise en oeuvre avec succès sur un site Magento qui vendait "seulement" 10 000 refs produit et qui avait 5 000 000 de pages vues par Google. Le pb venait principalement des navigations par facette qui engendraient un duplicate monstre. Ceci corrigé, le site a gagné des places.
 
Olivier Duffez (admin)
Membre du personnel
car c'est mieux de corriger le pb sur le site et pas avec cette rustine qui au passage ne fonctionne que pour Google. Tu as la même manip à refaire pour tous les moteurs (même si Google est ultra dominant, ce n'est pas une bonne approche je trouve).
 
WRInaute discret
Là on est d'accord. Sur des sites avec un budget webmastering limité (ou qui mettent dix ans à faire 2 modifs...), cela reste un bon palliatif.
 
Discussions similaires
Haut