Fichier robots.txt

[Mookie]

Bonjour,

Je suppose qu'il est intéressant de reprendre le fichier robots.txt de WRI?

Je ne connais pas tous les bots qui ont été interdits mais j'imagine qu'ils ne sont pas très intéressants et qu'ils pompent de la bande passante pour rien?

Merci d'avance.

 

[kapitoster]

C'est intéressant comme question. Je suis curieux d'avoir la réponse. Peut-on (ou doit-on) vraiment empêcher tous ces bots l'accession au site ?
Y a-t-il d'autres bots inutiles ?

 

[lapi]

ouais mais je pense que ça ne sert a rien pour un debut sur le net. etant donner que si se sont des bots espions il ne respecteront pas ces restrictions

 

[Szarah]

Peut-on (ou doit-on) vraiment empêcher tous ces bots l'accession au site ?
Y a-t-il d'autres bots inutiles ?

Ooooh oui il y en a.
Mais sont-ils vraiment inutiles ?
C'est un choix : après un certain temps, on élimine ceux qui ne rapportent pas de visites ... mais qui mangent la bande passante.
L'idéal serait peut-être que tous les robots soient interdits par défaut et que le robots.txt donne une liste positive, celle des robots autorisés

 

[deleter23]

J'avais jamais vu son robots.txt, effectivement il y a beaucoup de bot exclus. Mais a mon avis vu le traffic du site c'est surtout pour preserver la bande passante.

 

[RiPSO]

Désolé mais je déterre ce sujet car il m'intéresse et n'a pas trouvé de réelle réponse des dirigeants de wri :mrgreen:

Pourquoi le robots.txt de wri empêche l'accès à autant de bots?
Ils font des bêtises ou alors ce n'est que par économie de bande passante?

 

[Sogecam]

Economie de bande passante et dévalorisation de ton site web vis à vis du référencement.