Fichier robot.txt, duplicate content et taux d'indexation

Nouveau WRInaute
Bonjour,

1
J'ai utilisé il y a quelques semaines un generateur de sitemap qui m'a créé un sitemap indexant des fichiers peu pertinents comme les liens pour poster des messages privés sur le forum, des liens pour la citation des messages du forum, etc ...
Bref, Google a fait son boulot correctement pour une fois :roll: et m'a indexé ainsi plusieurs dizaines d'url farfelues du genre : http://www.site.com/forum/privmsg.php?mode=post&u=38 (alors que dans le meme temps il n'indexe pas plusieurs dizaines de pages importantes !! passons :p )

Comment puis je faire éviter l'indexation de ce type de pages ?
J'ai pensé à un fichier robot.txt mais pourriez vous svp me donner un exemple de syntaxe pour remplir ce fichier ? Je voudrais par exemple interdire :
- forum/privmsg.php
- forum/posting.php


2
D'autre part, le generateur de sitemap a aussi permis d'indexer des liens du type : www.site.com/board/post29999.html , ce qui pourrait me créer du duplicate content avec les pages indexées sous la forme www.site.com/board/titre-du-sujet-t29999.html
Dois je faire quelque chose contre ça ?
(pour l'instant google ne recense aucun duplicate content)

J'ai deja retiré le sitemap automatique pour éviter qu'il ne me cause d'autres problèmes du genre, maintenant je n'utilise plus qu'un sitemap que j'édite manuellement (je n'ai pas enormement de page).


3
J'ai un taux d'indexation assez faible sur mon sitemap (60 sur 700), est ce normal ?
Le site map automatique qui recensait des url inutiles avait eu droit à un bien meilleur taux ...
sitemapgw2.gif



Merci pour vos conseils
 
WRInaute passionné
Moi j'ai mis cela:

User-agent:*
Disallow:/forum/privmsg.php
et de même pour tous les utilitaires du forum.

Et le robot à bloqué sur tous les fichiers commençant par privmsg.php avec ?etc.

Mais bloquer le robot ne désindexe pas forcément les pages. On peut quand même essayer.
 
Nouveau WRInaute
Merci je vais essayer avec cela.
Quelqu'un pourrait me renseigner pour mes autres questions svp ?


PS : maintenant j'ai 1488 URL dans le site map, pour 78 indexées, meme pas 5%
 
Discussions similaires
Haut