Bonjour,
J'ai quelques URL présentes sur des sites qui ne m'appartiennent pas (liens échangés entres internautes) mais certaines sont mal formulées.
Je le vois sur la page d'erreurs rencontrées par le robot d'exploration.
J'ai notamment ce genre d'erreur :
-www.monsite/trucmuche/page.php.
ou
-www.monsite/trucmuche/page.
Comment faire en sorte que le robot.txt bloque les url se terminant par un point sans qu'il bloque les url contenant un point ?
J'ai pensé à :
Mais j'ai peur que ça me bloque toutes les url avec un point.
Merci
J'ai quelques URL présentes sur des sites qui ne m'appartiennent pas (liens échangés entres internautes) mais certaines sont mal formulées.
Je le vois sur la page d'erreurs rencontrées par le robot d'exploration.
J'ai notamment ce genre d'erreur :
-www.monsite/trucmuche/page.php.
ou
-www.monsite/trucmuche/page.
Comment faire en sorte que le robot.txt bloque les url se terminant par un point sans qu'il bloque les url contenant un point ?
J'ai pensé à :
Code:
User-agent: *
Disallow: /*.
Mais j'ai peur que ça me bloque toutes les url avec un point.
Merci