Googlebot se plante, url rewritting et sitemap buggés ?

Bonjour,

Suite à une analyse des fichiers logs de mon site, je trouve des urls erronées sur les logs de googlebot depuis la derniere MAJ du sitemap.
Ce qui est inquiétant, c'est que le nombre de pages du site référencées chute brutalement.
L'outil pour les webmasters de Google indique 1 url indexée pour 2809 fournies :?

extrait du fichier log:
"GET /index.php/fr-game-182.html HTTP/1.1" 200 32955 free-flash-games.fr "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "-"

Il semble cherche l'adresse: http://free-flash-games.fr/index.php/fr-game-182.html alors que celle-ci n'existe pas.
il a l'air de concaténer index.php et fr-game-182.html
Les adresses http://free-flash-games.fr/index.php et http://free-flash-games.fr/fr-game-182.html elles, existent bien.
J'ai beau contrôler les liens du site et le sitemap, pas d'erreurs.

Un extrait du sitemap:

<url><loc>http://free-flash-games.fr/fr-game-720.html</loc><priority>0.80</priority><changefreq>weekly</changefreq></url>
<url><loc>http://free-flash-games.fr/en-game-720.html</loc><priority>0.80</priority><changefreq>weekly</changefreq></url>
<url><loc>http://free-flash-games.fr/fr-play-720.html</loc><priority>0.50</priority><changefreq>weekly</changefreq></url>
<url><loc>http://free-flash-games.fr/en-play-720.html</loc><priority>0.50</priority><changefreq>weekly</changefreq></url>

Par contre, il faut dire qu'un url rewritting est en place sur le site depuis peu suite à une version multilingue.
En ligne, l'url rewritting fonctionne sans problèmes, mais vu que c'est nouveau, je vous montre quand même un extrait du fichier .htaccess :

Options +FollowSymlinks
RewriteEngine on
RewriteRule ^(fr|en)-game-([0-9]+).html$ /game.php?game=$2&lang=$1 [L]

Le slash avant game.php me semble bizarre et empêche d'ailleurs l'url rewritting de fonctionner en local mais semble indispensable en ligne (erreur 404 sans ce slash, OK avec).

Merci de votre aide

 

Bonjour et merci de votre aide,

Non, je viens de vérifier, pas de lien vers index.php/
De plus j'ai aussi cette erreur sur d'autres adresses, par exemple googlebot cherche à indexer des pages du type plan.php/fr-game-???.html alors que seules n'existent les pages plan.php et fr-game-???.html

 

Bonjour à tous,

Un autre exemple, aujourd'hui en milieu de journée, 2 heures après avoir proposé un dernier sitemap:

66.249.71.184 - - [28/Aug/2009:11:49:48 +0200] "GET /index.php/accueil-fr-page18-tri1.html HTTP/1.1" 200 32995 free-flash-games.fr "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "-"

Est-ce que cela veut bien dire que googlebot cherche à aller à l'adresse: Racine du site/index.php/accueil-fr-page18-tri1.html ???
Car cette adresse n'existe pas puisque il fait une concaténation de index.php et le reste.
Il n'y a aucun lien sur le site avec cette url ou celle indiquée en premier lieu.
Tous les liens du site sont valides et respectent l'url rewriting...

Par contre, GWT n'indique aucune erreur d'exploration.
Reste que le nombre de pages indexées pour ce sitemap tel qu'indiqué par GWT reste à 1 ce qui est louche.

Est ce que c'est simplement le log qui est trompeur ?

 

Merci Jacques pour votre réponse.
J'ai par contre besoin d'aide pour appliquer la première solution

Pour renvoyer une erreur 404 sur une page /index.php/quelquechose je rajouterai la ligne suivante dans mon fichier
robots.txt:

Disallow: index.php/*

Est-ce correct ?
Ni aura t il pas de problème avec index.php ?

Merci

 

J'ai toujours besoin d'un peu d'aide car je n'ai jamais fait de telles redirections donc dans le doute...
Merci de m'éclairer pour une redirection de index.php/quelquechose.html vers quelquechose.html

Merci de votre compréhension