| |
|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
luxe-campagne
WRInaute passionné
Inscrit le: 08 Oct 2005
Messages: 982
Localisation: en ville ;-)
|
 Posté le : Ven Jan 18, 2008 19:15 Sujet du message: Troncature pour un fichier robots.txt |
|
|
Peut on avoir opérateur de troncature pour un fichier robots.txt ?
Par exemple, après avoir fait une réécriture d'urls, on veut interdire aux robots de visiter les pages commençant par un point d'interrogation. |
|
| |
|
 |
jeanluc
WRInaute accro
Inscrit le: 03 Mai 2004
Messages: 2362
Localisation: Bruxelles
|
| Posté le : Ven Jan 18, 2008 21:05 Sujet du message: Troncature pour un fichier robots.txt |
|
|
La syntaxe standard du fichier robots.txt est un peu particulière. Elle ne connaît pas d'opérateur de troncature, mais elle interprète toute commande "Disallow:" comme étant une interdiction de lire les pages dont l'URL commence par les caractères spécifiés.
Donc :
| Code: |
User-agent: *
Disallow: /secret
|
Ce fichier interdit l'accès à /secret, à /secret/golf.html, à /secret2/chut.php?bof=123, à /secretement,...
Et :
| Code: |
User-agent: *
Disallow: /?
|
Ce fichier interdit l'accès à toute URL commençant par un point d'interrogation.
Jean-Luc |
|
| |
|
|
Bubber
WRInaute discret
Inscrit le: 03 Avr 2007
Messages: 78
Localisation: Toulouse
|
| Posté le : Ven Jan 18, 2008 21:07 Sujet du message: Troncature pour un fichier robots.txt |
|
|
Je suppose que tu parlais d'une restriction d'URL du type :
Disallow: www.domaine.fr/index.php?
Oui tu peux tout à fait interdire l'accès à ce genre d'URL.
Google et les autres comprendront très bien que tu veux interdire l'indexation des URL contenant "www.domaine.fr/index.php?"
Ceci dit, pour tester ton robots.txt, il existe la solution de la section Outils pour Webmasters de Google
EDIT : bon bin j'ai été devancé   |
|
| |
|
|
| |
|
|
|
|
Autres sujets de discussion :
|
|
