Fichier robots.txt include et réécriture d'url

WRInaute occasionnel
Bonjour,

je compte mettre dans mon fichier robots.txt des disalow sur des pages de mon site qui sont en duplicate.

mais je voudrais y mettre des includes genre:

index.php?page=blabla

est ce que ca bloquera aussi ma réécriture d'url de cet include? genre:

blabla.html
 
WRInaute accro
Absolument pas. le robots.txt ne sert qu'aux robots, il n'a aucune influence sur ton serveur.

Ceux-ci voyant les deux url différemment, ils n'indexeront pas celles interdites par le robots.txt & indexeront normalement les url rewritées.
 
Discussions similaires
Haut