Robot.txt bloquer le point en fin d'url

WRInaute discret
Bonjour,

J'ai quelques URL présentes sur des sites qui ne m'appartiennent pas (liens échangés entres internautes) mais certaines sont mal formulées.
Je le vois sur la page d'erreurs rencontrées par le robot d'exploration.

J'ai notamment ce genre d'erreur :
-www.monsite/trucmuche/page.php.
ou
-www.monsite/trucmuche/page.

Comment faire en sorte que le robot.txt bloque les url se terminant par un point sans qu'il bloque les url contenant un point ?

J'ai pensé à :

Code:
User-agent: *
Disallow: /*.

Mais j'ai peur que ça me bloque toutes les url avec un point.

Merci
 
WRInaute accro
C'est gentil de bloquer les liens qu'on fait vers toi :D

Pourquoi ne pas tout simplement les rediriger dans le .htaccess ?
 
WRInaute discret
indigene a dit:
C'est gentil de bloquer les liens qu'on fait vers toi :D
:lol:

Je ne veux bloquer que les liens introuvables, les autres je les conserve avec grand plaisir.

Comment on peut faire ça avec le .htaccess car l'idée est très bonne, je prends.
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut