Fichier robots efficace?

[passion]

Bonsoir,
Pensez-vous qu'un fichier robots est suffisamment efficace pour interdire l'indexation d'une url??

 

[Serious]

non

C'est juste indicatif. MSN ne le respecte pas toujours. Je ne me souviens plus pour Google. (Experience faite en avril)

 

[passion]

Merci j'attends de voir d'autres commentaires!

 

[zed2]

Pour moi, aucun soucis, google n'as rien référencé de mon site pour le moment, et ca fais 7mois. 8)

 

[jeanluc]

Bonsoir,
Pensez-vous qu'un fichier robots est suffisamment efficace pour interdire l'indexation d'une url??

Le fichier robots.txt est utile, mais son rôle est souvent mal compris. robots.txt est uniquement un outil de dialogue avec les propriétaires de robots de bonne volonté.

robots.txt sert à indiquer aux propriétaires de robots de bonne volonté que leur robot ne doit pas visiter certaines adresses. Il fonctionne bien avec les robots des principaux moteurs de recherche et avec de nombreux autres robots.

robots.txt ne peut pas empêcher un robot destiné à la collecte pirate d'adresses e-mail (par exemple) de lire toutes les pages de ton site. Seul .htaccess pourrait effectivement empêcher un robot "voyou" de lire certaines pages, mais les robots "voyou" changent souvent d'adresse IP et de user-agent, donc, en pratique, cela reste difficile de s'en débarasser.

Jean-Luc

 

[zed2]

les robots "voyou" changent souvent d'adresse IP et de user-agent, donc, en pratique, cela reste difficile de s'en débarasser.

Pour l'ip ok, pour l'agent, suffit de mettre une * pour séléctionner tout les agents :wink:

Voici mon robots.txt qui pour le moment me protége bien :

User-agent: * 
Disallow: /

 

[anguenot.com]

https://www.google.fr/search?q=+site%3Aw ... e.fr%2Fpda
Et pourtant: https://www.google.fr/robots.txt

 

[zed2]

https://www.google.fr/search?q=+site%3Awww.google.fr%2Fpda
Et pourtant: https://www.google.fr/robots.txt

Faut dire aussi qu'ils sont pas tréés fort... Si tu prend un sans ? ca marche trés bien, il ne retourne rien... Si ils testaient leur boulot "les pros" il ferait moin de bétises :lol:

Enfin, moi je serai le premier a me planter remarque

 

[jeanluc]

https://www.google.fr/search?q=+site%3Awww.google.fr%2Fpda
Et pourtant: https://www.google.fr/robots.txt

Je ne vois pas où est le problème. Leur robots.txt interdit de visiter les pages dont l'URL commence par /pda?.

Si le point d'interrogation, n'est pas présent, la page peut être visitée. Le point d'interrogation est un caractère spécial comme le pourcent et les URL
https://www.google.fr/pda%3F&as_q%3D%3Ca%20href=
et
https://www.google.fr/pda?&as_q%3D%3Ca%20href=
sont bien des URL différentes, même si on pourrait croire que %3F égale ?.

Jean-Luc

 

[zed2]

A ok, je ne savais pas ca.


Cela dis ceux que j'ai testé, sans caracteres particulier, bloquais bien.