|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
Benoit1
WRInaute passionné
Inscrit le: 06 Aoû 2004
Messages: 838
Localisation: Eure (27)
|
 Posté le : Ven Jan 04, 2008 2:13 Sujet du message: Crawl bizarre... |
|
|
Salut, cesite est en train de crawler mon site comme un fou, vous savez de quoi il s'agit   (pas domainet**ls bien sûr)
-http://whois.domaintools.com/page-store.com
|
|
| |
|
 |
dd32
Modérateur
Inscrit le: 09 Sep 2005
Messages: 3085
Localisation: Witamine d'abord !
|
|
| |
|
|
Benoit1
WRInaute passionné
Inscrit le: 06 Aoû 2004
Messages: 838
Localisation: Eure (27)
|
| Posté le : Ven Jan 04, 2008 2:40 Sujet du message: Crawl bizarre... |
|
|
Mais en anglais oui ...  (c'est pas mon point fort  ) |
|
| |
|
|
dd32
Modérateur
Inscrit le: 09 Sep 2005
Messages: 3085
Localisation: Witamine d'abord !
|
| Posté le : Ven Jan 04, 2008 2:42 Sujet du message: Crawl bizarre... |
|
|
A première vue, ce robot n'est pas capital mais il consomme, bloque-le avec ton robots.txt 
Un blogueur dit même l'avoir bloqué sur le firewall de son serveur. |
|
| |
|
|
Benoit1
WRInaute passionné
Inscrit le: 06 Aoû 2004
Messages: 838
Localisation: Eure (27)
|
| Posté le : Ven Jan 04, 2008 11:49 Sujet du message: Crawl bizarre... |
|
|
| Ok, ce doit être le mieux |
|
| |
|
|
| |
|
|
