Exclusion de pages dans robots.txt

WRInaute discret
Bonjour,
Je ne sais pas si je postes dans le bon forum.
Voilà, je voudrais exclure par mon fichier robots.txt, des pages de l'indexation des différents moteur de recherches...Ces pages sont rewrites et ont juste comme différence un paramètre ... exemple : page-001.html page-002.html ... peut on dire au crawleur de ne pas les indexer et si oui comment ?
Merci par avance
 
WRInaute passionné
Comme tu ne peux pas utiliser de masques dans le robots.txt, tu as deux solutions :

:arrow: Tu mes tes pages dans un même dossier (éventuellement un sossier virtuel) que tu indiquera dans robots.txt

:arrow: Tu ajoutes directement une meta robot dans ton head en fonction des pages que tu veux interdire.
 
Discussions similaires
Haut