robot.txt

Nouveau WRInaute
Bonjour à tous,

Petites questions sur ce fichier ...

1/ le fichier doit il etre nomé robot.txt ou robots.txt ?
Je n'arrive pas a trouver de réponse claire sur le net, tantôt il est orthographié avec un s, tantôt pas.

2/ voici le début de mon fichier robots.txt :

Code:
User-agent: *


Disallow: /backend.php
Disallow: /backend_forum.php
Disallow: /legal.html
Disallow: /modules.php?

Pouvez vous me dire si il comporte une erreur syntaxique ?
Il est en place depuis au moins 4 mois, et google s'entete a me referencer les pages modules.php?p= ... blablabal
cela me créé du duplicate content, puisque j'utilise l'url rewriting.

le fichier legal.html est également référencé ...

merci de votre aide ! 8)
 
WRInaute accro
deterred_gamin a dit:
Pouvez vous me dire si il comporte une erreur syntaxique ?
Bonjour,

L'erreur est qu'il ne faut pas laisser de lignes vides dans un robots.txt entre la désignation d'un User-agent et les Disallow qui s'y rapportent. Tu peux remplacer ces lignes vides par des commentaires (commençant par #) :
Code:
User-agent: * 
#
#
Disallow: /backend.php 
Disallow: /backend_forum.php 
Disallow: /legal.html 
Disallow: /modules.php?
Jean-Luc
 
Nouveau WRInaute
Pour exclure des pages générées par le CMS SPIP, vaut-il mieux écrire :

Code:
Disallow: /spip.php?page=backend

ou (comme dans l'exemple ci-dessus) :

Code:
Disallow: /backend.php

??
 
Discussions similaires
Haut