URL bloquées...en baisse

[oberton]

Bonjour

Suite a mon (excellente!) formation SEO avec ranking metrics, une de mes prioritée est de réduire le nombre d'URL indexées (6500 pour un site avec 1200 produits).
J'ai rajouté quelques lignes a mon robots et mais a ma grande surprise le nombre URL bloquées baisse progressivement pour passer de 5000 a 800 en 4 semaines! Le nombre d URL indexées a aussi baissé de 6700 a 4500 mais cette histoire de robots me surprend et m’inquiète un peu.

Avez vous une explication rationnelle?

http://www.legrenierdejuliette.com/robots.txt

Merci

 

[Marie-Aude]

Google n'explore plus les urls bloquées tout simplement, or les urls "bloquées" faisaient des liens vers d'autres urls bloquées. C'est normal (fais quand même attention que les urls bloquées ne soient pas dans le fichier sitemap... et si tu le peux, tout simplement, à les supprimer via GWT)

 

[oberton]

OK mais ce que je ne comprend pas est que le nombre de bloquées baisse alors que je rajoute des repertoires et instructions dans le robot.

 

[cthierry]

Ben, Marie-Aude te donne la réponse, l'url bloquée a été sortie de l'index de GG et de ce fait elle n'est plus du tout prise en compte.

J'ai le même phénomène depuis quelques semaines pour mon W.

 

[WebRankInfo]

En effet, Marie-Aude t'a donné l'explication, que je complète :
- les pages que Google crawlait (et qu'il n'a plus le droit de crawler) faisaient sans doute des liens vers des URL elles-mêmes bloquées, donc ça en fait moins
- mais surtout, tu as dis que de nombreuses pages ont été désindexées, donc Google ne va plus les crawler et connait au final moins d'URL bloquées

Les URL bloquées sont les URL connues de Google (en général par un lien interne ou externe ou par un sitemap), qu'il tente de crawler mais pour lesquelles il vérifie dans le robots.txt s'il a le droit de les crawler

Olivier
PS : merci pour les éloges de ma formation ;-)

 

[oberton]

OK je comprends maintenant. Je pensais (bêtement) que le calcul "URL bloquées" se faisait par Google en regardant l'ensemble des mes URL du site et indiquant le total de celles non atteignables mais finalement ce sont celles qu'il avait pu crawlé et /ou indexé.
Donc tout va bien! La principale explication est que j'ai demandé une desindexation de toutes les pages paniers (environ 500).

Et oui la formation est très utile car elle permet ensuite de travailler avec un plan d'action, des priorités sans se poser a chaque fois la question "est ce que je fais pas une connerie"!
Bon j'ai fait pas mal d'actions mais il est trop tôt pour en tirer des conclusions, d'autant plus que c'est la période creuse de l'année dans notre domaine.

Merci a tous pour les reponses