Indexation, robots et url rewriting

[sunsetbld]

Salut !

Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" alors que ce type d'url est re writé par htacess du type "ftopic242.php".

dans mon fichier robots.txt, j'ai bloqué l'indexation des pages du type "viewtopic...." mais je n'arrive pas à comprendre comment google peut voir et avoir "envie" d'indexer une telle url vue qu'elle est directement re writé. On a l'impression que Google ne "voit" pas mes pages re writées, qui, elles, attendent desepérement d'être indexées !!

J'espère avoir été clair dans mes explications.

Merci par avance de votre aide.

 

[Fight666]

Salut,

Tu est sur que sur ton forum tu n'a pas un endroit ou tes pages "viewtopic.php?p= 2901" sont encore linkées ?

 

[sunsetbld]

Justement non, je ne vois pas, c'est bien pour cela que cela me parait bien étrange....

 

[jeanluc]

Je n'arrive pas à comprendre pourquoi Google tente d'indexer les pages de mon forum du genre "viewtopic.php?p= 2901" (...).

Qu'est-ce qui te fait dire ça ? Je ne vois aucune de ces pages dans les résultats de Google.

N'oublie pas que tes pages affichent des annonces Google AdSense. Il est donc normal que des robots de Google la visitent pour en déterminer le contenu.

Jean-Luc

 

[sunsetbld]

Je n'ai pas dit que google les avaient indexées ! Il cherche seulement à les indexer, mais le fichier robots.txt l'en empèche ! En fait, je vois qu'il a visité la page sur mon compte "Google Adsense" dans la rubrique "diagnostic du site" - URL bloquées.

 

[jeanluc]

A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc

 

[Koxin-L]

Si tu est rewriter complètement, ca devrait suffire...

User-agent:*

Disallow: /forum/faq.php 
Disallow: /forum/groupcp.php 
Disallow: /forum/login.php 
Disallow: /forum/memberlist.php 
Disallow: /forum/modcp.php 
Disallow: /forum/posting.php 
Disallow: /forum/privmsg.php 
Disallow: /forum/profile.php 
Disallow: /forum/search.php 
Disallow: /forum/viewforum.php 
Disallow: /forum/viewonline.php 
Disallow: /forum/viewtopic.php

A placer dans le robots.txt, of course...

 

[sunsetbld]

A mon avis, Google ne cherche pas à indexer ces pages. Ce que tu indiques veut dire que Google te signale que cela l'empêche d'optimiser le contenu des annonces.

Pour que le robot AdSense veuille visiter la page, il suffit que quelqu'un visite une des URL en question (par exemple, ancienne adresse dans les favoris). Rien d'anormal là-dedans! :wink:

Jean-Luc

Merci Jean-Luc, tes propos dissipent le mystère :wink: