Problèmes de robots.txt

[BDGest]

Depuis que j'ai mis en place l'urtl rewriting dans mon forum phpBB, j'ai égelemtn mis un robots.txt qui empeche les moteurs d'aller scanner les anciennes adresses. Or, visiblement Google, que je pensais respectueux, n'est pas trés obéissant. Voilà ce que je récupère dans Googlestats (en rouge les pages interdites "normalement") :

85 /forum/viewtopic_8041.html 13:29:16 1 64.68.82.54 crawler11.googlebot.com
86 /forum/viewtopic_8042_15.html 14:34:14 1 64.68.82.54 crawler11.googlebot.com
87 /forum/viewtopic_8061_next.html 13:28:32 1 64.68.82.46 crawler11.googlebot.com
88 /forum/viewtopic_8063_0_asc_0.html 12:32:50 1 64.68.82.74 crawler12.googlebot.com
89 /profile.php?mode=viewprofile&u=52 09:34:44 1 64.68.82.74 crawler12.googlebot.com
90 /viewtopic.php?t=5354 08:57:22 1 64.68.82.51 crawler11.googlebot.com
91 /viewtopic.php?t=5367 08:51:34 1 64.68.82.32 crawler11.googlebot.com

En plus visiblement, il se goure de chemin pour ces pages vu qu'il "oublie" le /forum/ devant.

Et voilà quelques lignes de mon robots.txt (j'ai ajouté les lignes en vert en voyant google "oublier" le /forum/ devant l'adresse, mais il continue a passer dessus..

Disallow: /forum/profile.php
Disallow: /profile.php
Disallow: /forum/viewtopic.php
Disallow: /viewtopic.php

Quelqu'un a une idée du problème ?

 

[AlainM]

je ne peut pas l'expliquer mais en tous cas j'ai le meme pb, apparement c'est uniquement les robot en 64.x car ce matin les 216.x ne vons pas sur les pages "interdite" en tous cas pour l'instant :wink:

 

[BDGest]

Pareil pour moi (encore que le full crawl a pas vraiment comméncé chez moi, juste 4 pages demandées ce matin). Je verrais donc.

Peut être que comme ces pages sont dans l'index, le freshbot les demande de toute façon sans regarder le robots.txt. Pas trés correct google :wink:

 

[AlainM]

je confirme, en recherchant une IP du fresh crawl dans les log d'apache je ne voit à aucun moment qu'il a fait appel au fichier robot.txt

 

[BDGest]

Attention, c'est robots.txt

 

[AlainM]

oup's, exacte :

crawler11.googlebot.com - - [11/Mar/2003:05:45:13 +0100] "GET /robots.txt HTTP/1.0" 200 208 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"