Robots.txt

[Eddydiver]

Bonjour,

Désolé par avance que je sais que la question générale sur le fichier robots.txt a déjà été abordé de nombreuses fois.

Mais j'aurais quand même une petite question.

Sachanque que WRI est pour bon nombre d'entre nous la bible du référencement, je serais intéressés pour faire un copier/coller de son fichier robots.txt car il semble interdire l'accès à pal mal de robotos "spammeurs" & co ... Est-ce vrai ?

Dois-je faire attentio à modifier qq'chose en particulier sur ce fichier par rapport à celui de WRI ?
(ok à part les quelques premières lignes)

 

[KOogar]

Les robots spameurs s'en foutent de ce fichier.

Avec la notoriété, un site peut-etre booté par des miliers de moteurs qui mangent la bande passante du site.
Le fichier robots .txt sert a leur dire "gentillement" qu'ils n'ont rien a faire la.
La solution drastique pour leur interdire definitement l'acces se fait par le .htaccess
je vois pas du tout l'utilité de copier ce fichier tel quel sur ton site.

 

[Eddydiver]

Les robots spameurs s'en foutent de ce fichier.

Avec la notoriété, un site peut-etre booté par des miliers de moteurs qui mangent la bande passante du site.
Le fichier robots .txt sert a leur dire "gentillement" qu'ils n'ont rien a faire la.
La solution drastique pour leur interdire definitement l'acces se fait par le .htaccess
je vois pas du tout l'utilité de copier ce fichier tel quel sur ton site.

Bonjour KOogar,

Merci pour ta réponse.
Cependant, on peut prendre la question dans l'autre sens :
si cela ne mange pas de pain, autant mettre toutes les lignes et réduire le spamm. Même si ce n'est pas vraiment efficace, ca pourra toujours me permettre de limiter la collecte d'email et de prendre une partie de ma bane passante, n'est ce pas ?

 

[Marie-Aude]

Non ce que te dis KOogar est : fichier robots.txt inefficace contre les spammeurs, sert à rien, emplâtre sur bande passante en bois, utilise le fichier .htaccess

 

[001annuaire]

perso je n'utilises plus que le robots.txt pour prémunir mes sites de risques de duplicate content etc..., les pages rss, les index.php etc..., pour le reste un robot spammer, il s'en fout du robots.txt, et moi je m'en fous de lui ;q