(Vous saurez) tout sur google bot

Traduction libre de ce post sur googlewebmastercentral

Si mon site n'est pas accessible pour des raisons de maintenance, commen puis-je dire au googlebot de revenir plus tard, au lieu d'indexer mon message "Site en cours de maintenace"
Vous devriez configurer votre serveur pour qu'il renvoye un code 503 (réseau indisponible) au lieu d'un code 200 (OK). Cela informe Google-bot d'essayer d'indexer les pages un peu plus tard.
Que dois-je faire si Google-bot crawle trop mon site
Vous pouvez nous contacter — nous travaillerons ensemble pour être certains que nous ne consommons pas toute la bande passante de votre serveur. Nous expérimentons actuellement une fonctionalité de nos outils pour webmestres pour que vous puissiez fournir des données sur votre taux de crawl. Nous avons eu de très bon retours jusqu'içi, nous espérons qu'il sera disponible pour tous bientôt.
Vaut-il mieux utiliser la balise meta robot ou un fichier robots.txt
Googlebot obéit aux deux, mais les tags méta ne s'appliquent qu'à une seule page. Si vous avez de nombreuses pages à exclure, vous pouvez structurer votre site pour qu'il soit aisé d'utiliser un fichier robots.txt pour les bloquer (par exemple, les mettres toutes dans le même répertoire)
Si mon fichier robots.txt contient une directive destinée à tous les robots ainsi qu'une directive spécifique pour lui, comment Googlebot interprete-t-il la ligne adressée à tous les robots ?
Si votre fichier robots.txt contient une directive générique (ou faible) en sus d'une directive spécifiquement adressée à Googlebot, Googlebot obéira à la directive spécifique
Par exemple, pour ce fichier robots.txt:

Assez absurde comme sondage... les deux ont son usage... comme tout dans ce domaine si vaste...

déjà traduit Wink

http://www.annuaire-info.com/referencement/comment-apprivoiser-googlebot/

WRInaute impliqué Inscrit le: 24 Nov 2002 Messages: 448 Localisation: Vannes

J'adore WRI !!!

Ouais bon, j'ai tout faux quoi Confused

au fait, est-ce que quelqu'un sait comment retourner un code HTTP 503 à partir de htaccess, et ce sur toutes les pages du site ?
et, si possible, filtrer l'ip pour que seul le webmaster ne reçoive pas un 503, pdt la maintenance... J'avais vu un code comme ça un jour sur WRI il me semble, mais ça buggait à mort et ça ne retournait pas un 503...

(Vous saurez) tout sur google bot

Autres sujets de discussion :