|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
passion
WRInaute accro
Inscrit le: 06 Jan 2006
Messages: 1988
Localisation: La Rochelle
|
 Posté le : Ven Sep 01, 2006 23:48 Sujet du message: Fichier robots efficace? |
|
|
Bonsoir,
Pensez-vous qu'un fichier robots est suffisamment efficace pour interdire l'indexation d'une url?? |
|
| |
|
 |
Serious
WRInaute accro
Inscrit le: 21 Nov 2005
Messages: 2437
|
| Posté le : Sam Sep 02, 2006 0:08 Sujet du message: Fichier robots efficace? |
|
|
non
C'est juste indicatif. MSN ne le respecte pas toujours. Je ne me souviens plus pour Google. (Experience faite en avril) |
|
| |
|
|
passion
WRInaute accro
Inscrit le: 06 Jan 2006
Messages: 1988
Localisation: La Rochelle
|
| Posté le : Sam Sep 02, 2006 1:11 Sujet du message: Fichier robots efficace? |
|
|
| Merci j'attends de voir d'autres commentaires! |
|
| |
|
|
zed2
Nouveau WRInaute
Inscrit le: 19 Aoû 2006
Messages: 12
|
| Posté le : Lun Sep 04, 2006 18:45 Sujet du message: Fichier robots efficace? |
|
|
Pour moi, aucun soucis, google n'as rien référencé de mon site pour le moment, et ca fais 7mois.  |
|
| |
|
|
jeanluc
WRInaute accro
Inscrit le: 03 Mai 2004
Messages: 2232
Localisation: Bruxelles
|
| Posté le : Lun Sep 04, 2006 19:17 Sujet du message: Re: Fichier robots efficace? |
|
|
| passion a écrit: |
Bonsoir,
Pensez-vous qu'un fichier robots est suffisamment efficace pour interdire l'indexation d'une url?? |
Le fichier robots.txt est utile, mais son rôle est souvent mal compris. robots.txt est uniquement un outil de dialogue avec les propriétaires de robots de bonne volonté.
robots.txt sert à indiquer aux propriétaires de robots de bonne volonté que leur robot ne doit pas visiter certaines adresses. Il fonctionne bien avec les robots des principaux moteurs de recherche et avec de nombreux autres robots.
robots.txt ne peut pas empêcher un robot destiné à la collecte pirate d'adresses e-mail (par exemple) de lire toutes les pages de ton site. Seul .htaccess pourrait effectivement empêcher un robot "voyou" de lire certaines pages, mais les robots "voyou" changent souvent d'adresse IP et de user-agent, donc, en pratique, cela reste difficile de s'en débarasser.
Jean-Luc |
|
| |
|
|
zed2
Nouveau WRInaute
Inscrit le: 19 Aoû 2006
Messages: 12
|
| Posté le : Lun Sep 04, 2006 22:53 Sujet du message: Re: Fichier robots efficace? |
|
|
| jeanluc a écrit: |
| les robots "voyou" changent souvent d'adresse IP et de user-agent, donc, en pratique, cela reste difficile de s'en débarasser. |
Pour l'ip ok, pour l'agent, suffit de mettre une * pour séléctionner tout les agents 
Voici mon robots.txt qui pour le moment me protége bien :
| Code: |
User-agent: *
Disallow: / |
|
|
| |
|
|
anguenot.com
WRInaute passionné
Inscrit le: 14 Mai 2003
Messages: 907
Localisation: http://bvwg.actulab.net
|
|
| |
|
|
zed2
Nouveau WRInaute
Inscrit le: 19 Aoû 2006
Messages: 12
|
| Posté le : Mar Sep 05, 2006 1:32 Sujet du message: Fichier robots efficace? |
|
|
Faut dire aussi qu'ils sont pas tréés fort... Si tu prend un sans ? ca marche trés bien, il ne retourne rien... Si ils testaient leur boulot "les pros" il ferait moin de bétises 
Enfin, moi je serai le premier a me planter remarque  |
|
| |
|
|
jeanluc
WRInaute accro
Inscrit le: 03 Mai 2004
Messages: 2232
Localisation: Bruxelles
|
| Posté le : Mar Sep 05, 2006 6:42 Sujet du message: Fichier robots efficace? |
|
|
Je ne vois pas où est le problème. Leur robots.txt interdit de visiter les pages dont l'URL commence par /pda?.
Si le point d'interrogation, n'est pas présent, la page peut être visitée. Le point d'interrogation est un caractère spécial comme le pourcent et les URL
http://www.google.fr/pda%3F&as_q%3D%3Ca%20href=
et
http://www.google.fr/pda?&as_q%3D%3Ca%20href=
sont bien des URL différentes, même si on pourrait croire que %3F égale ?.
Jean-Luc |
|
| |
|
|
zed2
Nouveau WRInaute
Inscrit le: 19 Aoû 2006
Messages: 12
|
| Posté le : Mar Sep 05, 2006 19:44 Sujet du message: Fichier robots efficace? |
|
|
A ok, je ne savais pas ca.
Cela dis ceux que j'ai testé, sans caracteres particulier, bloquais bien. |
|
| |
|
|
| |
|
|
