Je regarde les stats de mon dernier site et je vois que les autres moteurs que Google m'amènent un nombre négligeable de visiteurs (de l'ordre du 500:3).
Par contre leurs robots sont très présents.
Outre ces quelques visiteurs, il y a t-il un désavantage à utiliser le robots.txt suivant:
Je n'y vois que gain en terme de bande passante épargnée, un détail m'échappe t-il?
Par contre leurs robots sont très présents.
Outre ces quelques visiteurs, il y a t-il un désavantage à utiliser le robots.txt suivant:
Code:
User-Agent: Googlebot
Disallow :
User-Agent: Mediapartners-Google*
Disallow :
User-Agent: *
Disallow: /
Je n'y vois que gain en terme de bande passante épargnée, un détail m'échappe t-il?