robot.txt

[benlargo]

Salut,

j'aimerai désindexer toutes les pages de mon site finissant par .php

Est-ce qu'un fichier robot.txt contenant...

User-Agent: *
Disallow: /*.php

... vous semble correct ?

Sinon, quelle est la bonne écriture ?

Merci d'avance

 

[BadProcESs]

Attention par contre, c'est robots.txt.

 

[Jeviensderio]

Selon robotstxt.org:

Note also that regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "Disallow: /tmp/*" or "Disallow: *.gif".

En français, c'est non.

 

[benlargo]

En gros l'url rewriting a été mit en place pour un site ancien et déjà indexé dont toutes les url ne commencent pas par ../index.php?variable=xxx mais directement par ?variable=xxx

Du coup vu qu'il est impossible d'interdire un certain type de fichier, est-il possible de supprimer toutes les url contenant une variable précise, du style :

User-Agent: *
Disallow: /?variable=*

... ou alors il faut préciser à chaque fois la valeur de la variable et donc l'url précise ?

User-Agent: *
Disallow: /?variable=xxx
Disallow: /?variable=yyy

 

[FloBaoti]

User-Agent: *
Disallow: /?variable=

suffit

 

[benlargo]

merci