Bonjour,
En regardant mes logs, je me suis aperçu que Googlebot explore énormément de pages (plusieurs centaines/jour, presque un millier) sans intérêt sur mon forum phpBB, comme la liste des membres.
Voici un échantillon des URL visitées :
Je souhaite interdire ces pages aux robots avec le fichier robots.txt.
A ma connaissance, la règle Disallow ne permet d'exclure que des repertoires ou des fichiers spécifiques.
Dans mon cas, il n'y a pas d'URL précise puisque memberlist.php est une page dynamique qui prend pas mal de paramètres GET donc ça fait un nombre d'URL différentes monstrueux.
Et ce que si je mets ce code dans robots.txt ça va marcher, peu importe les paramètres en URL :
?
Merci
En regardant mes logs, je me suis aperçu que Googlebot explore énormément de pages (plusieurs centaines/jour, presque un millier) sans intérêt sur mon forum phpBB, comme la liste des membres.
Voici un échantillon des URL visitées :
Je souhaite interdire ces pages aux robots avec le fichier robots.txt.
A ma connaissance, la règle Disallow ne permet d'exclure que des repertoires ou des fichiers spécifiques.
Dans mon cas, il n'y a pas d'URL précise puisque memberlist.php est une page dynamique qui prend pas mal de paramètres GET donc ça fait un nombre d'URL différentes monstrueux.
Et ce que si je mets ce code dans robots.txt ça va marcher, peu importe les paramètres en URL :
Code:
User-agent: *
Disallow: /memberlist.phpMerci
