Phpbb, urlrw et robots.txt

[JeromeRookie]

Bonsoir,
pourquoi faut-il, lorsqu'on a url rewrité son forum, ajouter un fichier robots.txt contenant
Disallow: /forum/sutra*.html$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/ftopic*asc*.html$

je ne comprends pas. L'auteur de ce post disait que cela evitait les doubles scan de GG et donc, des 'pénalités'...

Je ne suis pas un expert de robots.txt, mais il me semble que cela va carrement interdire l'indexation des pages non ?
On a bientot fini avec ce sujet... je concocte une bible en ce moment pour url rwter son phpbb...

 

[volvoman]

C'est ce que je mets ici: https://www.webrankinfo.com/forum/topic ... 801_45.htm

Ce fichier robots.txt est foireux pour 2 raisons:

1) le "*" dans les instructions DISALLOW, c'est pas autorisé
2) le disallow porte sur les "belles adresses" et non les normales qui ont été rewritées!!

Donc en résumé ce fichier fout tout le boulot en l'air car il interdit l'accès aux bonnes URL et laisse l'accès aux autres URL...

Il faudrait le transformer donc selon moi

En attendant, je l'ai viré mais c'est vrai que c'est gênant car il est nécessaire pour éviter d'être pénalisé pour contenu identique sur 2 adresses différentes...

 

[JeromeRookie]

quelqu'un sait-il comment le transformer?
est-il certain que l'on soit pénalisé pour deux urls avec le meme contenu ? je n'en suis pas sur...

 

[mahefarivony]

pas penalisé mais ca dilue inutilement ton PR

 

[JeromeRookie]

ok c'est compris.
et comment faire donc ?