[regle] Robots.txt est sur ?

[narayana]

Bonjour,

Simplement pour savoir vos retours sur les fichiers robots.txt.

Est-il possible par je ne sais quel miracle qu'un robot puisse passer outre le fait d'etre en disallow et ainsi crawler des pages non souhaitables ?

En d'autres termes est-ce que l'on est sur à 100% de l'efficacité d'un fichier robots.txt ?

Merci d'avance.

 

[rtb]

A verifier mais je ne crois pas que tous les robots suivent les directives du fichier robot.txt, neanmoins les principaux moteurs semblent.

 

[narayana]

Merci pour ta réponse
j'en conclu donc comme le dit si bien la definition du dico du net que certain robot s'amuse à aller justement là où il ne faut pas.
Vous savez lesquels par hasard ?

 

[boussole]

J'ai fait un test car j'avais des pages en duplicate. Pour GG avec son systeme url controller, ce truc est tres efficace et retire bien les pages tres rapidement.
Pour les autres moteurs, je pense que ca depend a la vitesse de MAJ de leur base, et donc il faut qu'ils reprennent en compte les nouveaux paramatres du robots.txt

 

[rtb]

Sur ce site tu as deja pas mal de robot, aspirateur et autre avec comment les virer avec htacess ;-) apres la liste n'est pas exhautive.
http://www.toulouse-renaissance.net/c_o ... passwd.htm

rtb

 

[narayana]

fort interressant ce lien merci bien ;-)

 

[jeanluc]

En d'autres termes est-ce que l'on est sur à 100% de l'efficacité d'un fichier robots.txt ?

Il faut se dire que le robots.txt demande au robot de suivre ses règles. Ensuite, le robot fait comme il veut. S'il est programmé pour tenir compte du robots.txt, c'est parfait; mais s'il est programmé pour ne pas en tenir compte, il n'en tient pas compte et c'est tout.

Avec le .htaccess, tu peux empêcher un robot d'accéder à certaines pages.

robots.txt n'affecte pas les performances de ton site. Par contre, un .htaccess trop lourd va le ralentir pour tous les accès de tous les utilisateurs.

Jean-Luc

 

[rtb]

+1 boussole, de meme chez moi, j'ai seulement suivi sur GG mais ca m'a permis d'accelerer la desindexation de pas mal de page.