Hello,
Je viens de tomber sur cet extrait concernant le robots.txt :
Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
Je viens de tomber sur cet extrait concernant le robots.txt :
Ensuite, et c’est moins connu, les URLs bloquées par le robots.txt ont un pagerank, reçoivent du pagerank, mais ne redonnent jamais le pagerank qu’on leur a transmis. Si vous bloquez massivement des URLs qui sont affichées sur votre site par des directives “disallow”, cela peut faire disparaître une part non négligeable du pagerank interne. J’ai encore vu un site ces jours-ci dont le robots.txt faisait disparaître 50% de son linkjuice !
Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…