Rewritting et bots

Une question:


dans mon robots.txt j'ai un dissalow sur search.php par contre je fais des pages: posts_du_membre_xxx.html avec l'UR et basé sur la page search.php?author=XXX ces pages en .html vont elle etre crawlés? Ou le robots.txt va s'y appliquer aussi?

merci
 
Ce qui m'éclate, c'est la compatibilité "spécialiste google" et ce genre de question :roll:

L'url rewriting est totalement transparente pour les moteurs, comme pour les utilisateurs....
 
Donc en gros le bot ne vois pas l'ur c'est bien se que je pensai, mais du coup je comprennait pas pourquoi WRI avait fait un disalow search.php et mis un lien sous chacun de nos avatars :-(
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut