Robot amazon très gourmand

[Stefano]

Bonjour,

Je regarde les statistiques de mon site ce matin et je remarque une consommation de bande passante anormalement importante. Je pense tout de suite à un aspirateur car cela m'est déjà arrivé récemment. Mais pas du tout. En une seule nuit, cet adresse : ec2-67-202-35-208.compute-1.amazonaws.com a brûlé 167368 Ko (30% du total). Est-ce que quelqu'un a une idée du pourquoi Amazon vient crawler mon site ?

Merci d'avance.

 

[theJB]

ah mon avis c'est plutot qq1 qui te pille ton site depuis un serveur loué chez amazon..

 

[Stefano]

Merci pour ta réponse. Qu'est-ce que tu ferais. Tu bloquerais l'accès ?

 

[theJB]

Ce que je fais pour un de mes sites:
- je logs tout les accès (que j'efface au bout de 24H)
- si un même ip me fait plus de X accès en moins de N minutes / sec (à toi de voir ce qui te correspond), je lui bloque la page avec redir 301 sur la home
- si un même ip me fait plus de X' accès dans la journée, idem

Bien sur si c'est GG je le bloque pas..
+