J'avais un gros problème, googlebot n'indexait que mes anciennes pages (celles qui n'étaient pas faites avec l'URL Rewriting), je leur ai donc écrit il y a quelques jours à francais@google.com (en anglais ) pour le leur dire, et oh surprise de googlestats : de 4 à 5h du matin 3000 des nouvelles pages ont été indexées par crawlxx.google.com alors qu'avant, les crawlxx.google.com ne visitaient que mes vieilles pages ! Je dis donc vive google, toujours à l'écoute
Voila : (à noter qu'il doit y avoir un ou deux crawlerxx.googlebot.com la dedans). 64.68.84.131 64.68.84.132 64.68.84.134 64.68.84.137 64.68.84.143 64.68.84.144 64.68.84.147 64.68.84.149 64.68.84.15 64.68.84.152 64.68.84.153 64.68.84.16 64.68.84.160 64.68.84.31 64.68.84.39 64.68.84.42 64.68.84.43 64.68.84.46 64.68.84.49 64.68.84.51 64.68.84.6 64.68.84.76 64.68.85.13 64.68.85.6 64.68.85.9