Robots.txt ?

[tourismeenbretagne]

Bonjour,

Après avoir regardé mes logs, j'ai rédigé mon fichier robots.txt. Est-il correct :

User-agent: Twiceler
Disallow: /
User-agent: ichiro
Disallow: /
User-agent: FAST Enteprise Crawler
Disallow: /
User-agent: btbot
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: findlinks
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Larbin
Disallow: /
User-agent: *
Disallow: /admin/
Disallow: /Formulaire/
Disallow: /images/
Disallow: /img/
Disallow: /include/
Disallow: /jpcache/
Disallow: /newsletter/
Disallow: /trace_ip/
Disallow: /visite/

Voici une petite liste de termes retrouvés dans mes logs. Sont ils des robots car je n'ai pas trouvé d'info sur eux ? Ou alors des trucs qui ne sont pas en rapport... Si oui, avez vous l'User Agent à utiliser dans le fichier robots.txt

DigExt
hbtools
Fun web products - simbar
west wind internet protocole
naviwoo
Lb bypi3epttkcxmvkmsob
iearthworm
kalooga
libwww
vmbot (il semble que oui)

Merci pour vos réponses

Greg

 

[xgamer]

tu peux lever ia_archiver , c'est valide comme robot.
et baiduspider c'est un moteur chinois !

 

[jeanluc]

Bonjour tourismeenbretagne,

La syntaxe de ton robots.txt n'est pas correcte. Voici une version simplifiée et corrigée:

User-agent: Twiceler
User-agent: ichiro
User-agent: FAST Enteprise Crawler
User-agent: btbot
User-agent: baiduspider
User-agent: gigabot
User-agent: findlinks
User-agent: ia_archiver
User-agent: Larbin
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /Formulaire/
Disallow: /images/
Disallow: /img/
Disallow: /include/
Disallow: /jpcache/
Disallow: /newsletter/
Disallow: /trace_ip/
Disallow: /visite/

La ligne vide avant le User-agent: * est indispensable.

Jean-Luc

 

[tourismeenbretagne]

Merci pour vos réponses.

Mais ces trucs dans mes logs. C'est quoi ?

DigExt
hbtools
Fun web products - simbar
west wind internet protocole
naviwoo
Lb bypi3epttkcxmvkmsob
iearthworm
kalooga
libwww
vmbot

Pourquoi Xgamer dis-tu que ia_archiver, c'est valide ?

Greg

 

[tourismeenbretagne]

Je remonte mes logs des deux semaines précédentes et j'ai aussi ces trucs là dont je ne sais pas ce que c'est. Si vous avez des infos sur eux ou les user-agent, je suis preneur :wink:

netforex
syncrisis
avantbrowser
BlackBerry7100/4.0.0
Dillo
hl_ftien_spider_v1.1
lsearch
OutfoxMelonBot/0.5

Greg

 

[xgamer]

ia_archiver c'est de robot de archive.org
http://www.archive.org

 

[tourismeenbretagne]

ia_archiver c'est de robot de archive.org
http://www.archive.org

ok. C'est anglais, j'en n'ai pas besoin :wink:

Greg

 

[y.chaouche]

naviwoo et le navigateur d'orange (FKA wanadoo).

http://adminmartineau.free.fr/cours/ISR ... tility.txt :

var isWanadooNav = (navigator.appVersion.indexOf("NaviWoo") > -1)

 

[hakita]

Salut,

Le sitemap doit il être positionné comme cela ? ou a la fin du fichier ?

User-agent: *
Disallow: /blabla/
Sitemap: http://monsite/sitemap

User-agent: twiceler
Disallow: /