Faut-il créer la page Robots.txt et que mettre dedans ?

[Nodh1]

Bonjour,

En consultant les stats de mon site, je me suis apercu que la premiere page en erreur 404 était /robot.txt

Cette page n'existe pas. Dois-je la crée et que dois-je mettre dedans ?

Merci d'avance

 

[Ohax]

robotS.txt ;-)

 

[Nodh1]

Exact désolé.
Saurais-tu m'en dire plus ?

 

[Ohax]

ceux qui provoquent cette erreur ce sont les moteurs de recherche qui font un hit dessus pour savoir quelles pages tu souhaite ne pas indexer

les robots.txt peuvent être général ou nominatif etc...

quelques exemples:

https://www.google.fr/robots.txt
http://www.adojeunz.com/robots.txt

etc... la plupart des sites soucieux en possèdent

le robots.txt ayant beaucoup d'applications je prefere te passer un lien plutot que m'embourber dans des explications :lol:

http://www.commentcamarche.net/web/robots-txt.php3

et

http://docs.abondance.com/robots.html


voici un validateur pour vérifier s'il est correct:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

 

[Provok|Nba]

Bonjour,

En consultant les stats de mon site, je me suis apercu que la premiere page en erreur 404 était /robot.txt

Cette page n'existe pas. Dois-je la crée et que dois-je mettre dedans ?

Merci d'avance

mets une page robots.txt vide a la racine afin d'éviter que le moteur tombe sur un 404

 

[Nodh1]

Résolu et compris. Merci à vous deux. :wink: :wink:

 

[graphic3000]

Bonjour
Toujours intéressant de relire des choses qui semblent acquises.
Une question (rouge) est-il nécessaire de mettre dans robots.txt les répertoires - admin - malgré leur protectection par .htaccess ?

 

[e-atlantide]

Il y a également un site bien pratique pour vérifier que ton fichier est correctement configuré : W3C Link Checker http://validator.w3.org/checklink

Sans transition, ce site a un PR9 !

 

[msba]

Je serais très intéressé de savoir comment a été faite la liste des User-agent refusés sur http://www.adojeunz.com/robots.txt

Sont-ce des crawlers qui récupèrent les adresses e-mails ou ont-ils d'autres particularités plus subtiles?

Et puis connaissez-vous une liste des User-agent néfastes?

 

[Ohax]

Je serais très intéressé de savoir comment a été faite la liste des User-agent refusés sur http://www.adojeunz.com/robots.txt

Sont-ce des crawlers qui récupèrent les adresses e-mails ou ont-ils d'autres particularités plus subtiles?

Et puis connaissez-vous une liste des User-agent néfastes?

il s'agit de bots néfastes à mon gout (généralement ils pompent beaucoup et surtout sans le moindre retour)

ceux ci respectent le robots.txt

pour les autres je le fait par .htaccess c'est radical

 

[Ohax]

ceci devrait aussi t'interresser :
https://www.webrankinfo.com/forum/t/aspirateur-de-site-web-htaccess-script.24860/