Robot txt correct ou pas ?

[bjp]

Vous pouvez me dire si mon fichier robot.txt est correct ou pas ?
J'autosire tous les robots, sauf sur certains dossiers ou pages, et je veux tout interdire aux deux derniers robots.

User-agent:*
Disallow:/forum/login.php
Disallow:/forum/modcp.php
Disallow:/forum/posting.php
Disallow:/forum/privmsg.php
Disallow:/forum/search.php
Disallow:/forum/viewonline.php
Disallow:/forum/profile.php
Disallow:/forum/memberlist.php

User-agent:TurnitinBot 
Disallow:/

User-agent:pompos
Disallow:/

 

[mahefarivony]

c robot.txt ou robots.txt ?

 

[WebRankInfo]

oui il me semble OK, à part qu'il doit s'appeler robots.txt et non robot.txt (c'est une erreur très courante)
d'autres questions ? n'oubliez pas d'aller faire un petit tour des questions sur les robots

 

[fupap]

un petit verificateur de robots.txt
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

 

[Remi L.]

Personnellement j'aurais tendance à mettre le
User-agent : *
en dernier. Bien qu'il me semble qu'il n'y ait rien de formel là-dessus, cela me semble plus logique, un robot pouvant s'arrêter de scanner le fichier à partir du moment où il trouve une entrée qui le concerne.

 

[Dams]

et moi j'utiliserai
-http://www.yooda.com/outils_referencement/robots_txt.php

C'est gratuit....

 

[Dams]

Nota bene: Il se met en premier généralement...

Pour info je devrai sortir un article sur l'utilisation du fichier robots.txt d'ici 2 ou 3 mois..
Ce dernier sera basé sur l'analyse statistique des robots.txt d'environ 100 000 sites.

 

[curumo]

Bonjour,
Je me permet de vous demander aussi :

celui-ci est-il correct ?

User-agent: *
Disallow:/login.php 
Disallow:/modcp.php 
Disallow:/posting.php 
Disallow:/privmsg.php 
Disallow:/search.php 
Disallow:/viewonline.php 
Disallow:/profile.php 
Disallow:/memberlist.php
Disallow:/faq.php 
Disallow:/raccourci.php
Disallow:/statistics.php

D'avance merci