|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
Mookie
Nouveau WRInaute
Inscrit le: 12 Mai 2004
Messages: 22
|
 Posté le : Lun Mai 22, 2006 16:29 Sujet du message: Fichier robots.txt |
|
|
Bonjour,
Je suppose qu'il est intéressant de reprendre le fichier robots.txt de WRI?
http://www.webrankinfo.com/robots.txt
Je ne connais pas tous les bots qui ont été interdits mais j'imagine qu'ils ne sont pas très intéressants et qu'ils pompent de la bande passante pour rien?
Merci d'avance. |
|
| |
|
 |
kapitoster
WRInaute occasionnel
Inscrit le: 07 Avr 2006
Messages: 239
Localisation: A gauche au fond du couloir
|
| Posté le : Lun Mai 22, 2006 17:06 Sujet du message: Fichier robots.txt |
|
|
C'est intéressant comme question. Je suis curieux d'avoir la réponse. Peut-on (ou doit-on) vraiment empêcher tous ces bots l'accession au site ?
Y a-t-il d'autres bots inutiles ? |
|
| |
|
|
lapi
WRInaute passionné
Inscrit le: 09 Avr 2006
Messages: 627
Localisation: Fatal error: Call to undefined function
|
| Posté le : Lun Mai 22, 2006 17:09 Sujet du message: Fichier robots.txt |
|
|
| ouais mais je pense que ça ne sert a rien pour un debut sur le net. etant donner que si se sont des bots espions il ne respecteront pas ces restrictions |
|
| |
|
|
Szarah
WRInaute accro
Inscrit le: 22 Fév 2006
Messages: 7358
|
| Posté le : Lun Mai 22, 2006 17:19 Sujet du message: Fichier robots.txt |
|
|
| Kapitoster a écrit: |
Peut-on (ou doit-on) vraiment empêcher tous ces bots l'accession au site ?
Y a-t-il d'autres bots inutiles ? |
Ooooh oui il y en a.
Mais sont-ils vraiment inutiles ?
C'est un choix : après un certain temps, on élimine ceux qui ne rapportent pas de visites ... mais qui mangent la bande passante.
L'idéal serait peut-être que tous les robots soient interdits par défaut et que le robots.txt donne une liste positive, celle des robots autorisés  |
|
| |
|
|
deleter23
WRInaute accro
Inscrit le: 25 Mai 2005
Messages: 1834
Localisation: Google, msn, yahoo enfin partout quoi...
|
| Posté le : Lun Mai 22, 2006 21:27 Sujet du message: Fichier robots.txt |
|
|
| J'avais jamais vu son robots.txt, effectivement il y a beaucoup de bot exclus. Mais a mon avis vu le traffic du site c'est surtout pour preserver la bande passante. |
|
| |
|
|
| |
|
|
