Robots utiles et robots inutiles

[ricoftb]

Qui pourrait me donner une liste (et son .htaccess ou son robots.txt) pour avoir une liste de robots utiles excluant les robots inutiles ?

Evidemment la qualification utile/inutile est très subjective... mais disont que les robots inutiles sont ceux qui s'appellent : je-pompe-ton-contenu-pour-l'agréger-sur-mes-super-sites-made-for adsense-et-je-dit-meme-pas-merci-en-plus-je-bouffe-ta-bande-passante...

voyez le genre...
:evil:

 

[bozoleclown]

les sites qui pompent ton contenu ne regardent pas ton robots.txt et se fondent dans la masse avec un useragent standard

Donc faut bloquer les ip

 

[Leonick]

pour cela, tu fais un lien sur la page d'accueil, qui va envoyer sur une page bloquée dans le robots.txt, et ensuite, tu bloques toutes les ip de ceux qui arrivent sur cette page.
Attente un petit temps, histoire que le robots.txt ait bien été mis à jour sur tous les spiders et tous les DC