Ca y est, je craque ! J'en ai assez, j'en peux plus...
Je m'explique : mon site contient une base de données d'environ 4000 entrées constamment remis à jour (plusieurs fois par jour) avec des enregistrements ajoutés et/ou supprimés (plus de 200 par jour).
Cette BDD représente un enjeux commercial pour plusieurs sociétés. Des petits malins ont recemment eu la bonne idée de "pomper" (indexer) mon site plusieurs fois par jour pour rapatrier les données dans leur propre index. Je ne connais evidemment pas les technologies utilisées... mais ca tire beaucoup sur ma bande passante parce que c'est fait en général en plein milieu de l'après midi !
Je voudrais savoir :
1. s'il est possible d'interdire ces indexations sauvage au moyens de robots.txt (je ne connais pas la technologie utilisée par les "pompeurs") ?
2. si oui, comment parmétreriez-vous le contenu de robots.txt sachant que je ne désire que l'indexation de Google, Yahoo et MSN et que je veux me prémunir de n'importe quel autre Bot ?
J'avais pensé à quelque chose comme ça :
Je m'explique : mon site contient une base de données d'environ 4000 entrées constamment remis à jour (plusieurs fois par jour) avec des enregistrements ajoutés et/ou supprimés (plus de 200 par jour).
Cette BDD représente un enjeux commercial pour plusieurs sociétés. Des petits malins ont recemment eu la bonne idée de "pomper" (indexer) mon site plusieurs fois par jour pour rapatrier les données dans leur propre index. Je ne connais evidemment pas les technologies utilisées... mais ca tire beaucoup sur ma bande passante parce que c'est fait en général en plein milieu de l'après midi !
Je voudrais savoir :
1. s'il est possible d'interdire ces indexations sauvage au moyens de robots.txt (je ne connais pas la technologie utilisée par les "pompeurs") ?
2. si oui, comment parmétreriez-vous le contenu de robots.txt sachant que je ne désire que l'indexation de Google, Yahoo et MSN et que je veux me prémunir de n'importe quel autre Bot ?
J'avais pensé à quelque chose comme ça :
Code:
User-Agent: Googlebot
Disallow :
User-Agent: Slurp
Disallow :
User-Agent: MSNBot
Disallow :
User-Agent: *
Disallow: /