Robots.txt et pagerank

WRInaute discret
Hello,

Je viens de tomber sur cet extrait concernant le robots.txt :
Ensuite, et c’est moins connu, les URLs bloquées par le robots.txt ont un pagerank, reçoivent du pagerank, mais ne redonnent jamais le pagerank qu’on leur a transmis. Si vous bloquez massivement des URLs qui sont affichées sur votre site par des directives “disallow”, cela peut faire disparaître une part non négligeable du pagerank interne. J’ai encore vu un site ces jours-ci dont le robots.txt faisait disparaître 50% de son linkjuice !

Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
 
WRInaute accro
PBG a dit:
Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
Il n'y pas de quoi se prendre la tête en cherchant d'autres utilisations de ce fichier.

robots.txt, c'est pour indiquer les URL qui ne doivent pas être crawlées et pour rien d'autre.
 
Discussions similaires
Haut