Google offre aux webmasters un générateur de robots.txt au sein de Google Webmaster Tools
lire : http://googlewebmastercentral.blogspot. ... obots.html
lire : http://googlewebmastercentral.blogspot. ... obots.html
Is googlebot really a "He"? why can't googlebot be a "she" or "it"?