un robot trés agressif

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par sietjp, 26 Janvier 2004.

  1. sietjp
    sietjp WRInaute occasionnel
    Inscrit:
    14 Décembre 2003
    Messages:
    487
    J'aime reçus:
    1
    Bonjour, j'ai un pitbull qui a visité plus de 600 pages (1 page toutes les secondes) cette nuit sur mon site (alors que google en visite 200 max et prend son temps entre 2 pages, un gentleman quoi...). Ce pitbull avait son http referer renseigné, il est venu depuis un sujet de webrankinfo ( https://www.webrankinfo.com/forum/t/provenance-xxxx.7377/ ).
    Mon système de stat ne l'a pas taggué comme un bot (j'utilise la détection de robostats allégée de queqlues robots inutiles). Son adrese IP était 81.241.156.186 , qu'est ce que c'est à votre avis? Tiens j'y pense ça serait pas un aspirateur de sites? A ce moment là ça serait un surfer de webrankinfo qui a aspiré mon site? Bon bin là faut qu'il le recrache tout de suite ok?
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 467
    J'aime reçus:
    0
    C'est un simple internaute sous ADSL, avec un F.A.I. en belgique
     
  3. sietjp
    sietjp WRInaute occasionnel
    Inscrit:
    14 Décembre 2003
    Messages:
    487
    J'aime reçus:
    1
    soit il lit trés vite (plus d'une page par seconde) soit il a une façon trés agressive de surfer sur le net...
     
  4. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    j'appelerai pas ca surfer mais plutot capturer les pages (et les emails qui trainent dedans) :mrgreen:
     
  5. sietjp
    sietjp WRInaute occasionnel
    Inscrit:
    14 Décembre 2003
    Messages:
    487
    J'aime reçus:
    1
    de ce côté là il aura juste capturé le mien parceque je laisse pas trainer celui des membres, et encore plus efficace, je n'ai quasiment aucun membres!
     
  6. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    ou bien il a utilisé un aspirateur de sites web, pour lire le contenu en étant déconnecté...
    et ça peut être plus agressif que ça encore :)
    Romain
     
Chargement...
Similar Threads - robot trés agressif Forum Date
X-Robots-Tag pour désindexer des paramètres Crawl et indexation Google, sitemaps 10 Juillet 2014
Robots.txt Interdire une serie d'url issue d'une page avec paramètres Débuter en référencement 29 Avril 2010
Empêcher l'indexation des urls a paramètres sur robots.txt ? Débuter en référencement 30 Mars 2010
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice