TwengaBot/1.1 à bannir?

Discussion dans 'Autres moteurs de recherche connus' créé par patriceAB, 3 Juillet 2008.

  1. patriceAB
    patriceAB WRInaute discret
    Inscrit:
    5 Septembre 2006
    Messages:
    70
    J'aime reçus:
    0
    Les robots de ce comparateur de prix dont la plage d'IP 85.17.196.128 à 85.17.196.135 parcourent quotidiennement jusquà 15000 pages dans la journée d'un de mes sites d'e-commerce (1100 produits environ sous oscommerce) .
    Il a même réussi à me faire planter par 2 fois MySQL dans le mois pour un "exceeded the 'max_questions' resource" de 60000 par heure, c'est tout dire.
    La plupart des comparateurs de prix vont chercher un fichier spécifique qui génére la liste des produits et les infos dont ils ont besoin, c'est le cas du guide.com ou de Kelkoo. Je ne comprends pas qu'une telle m...e puisse exister.
    De plus le site en question n'a jamais sollicité la venue de Twenga, encore une fois, les autres comparateurs requiérent une inscription.

    A vos deny (robots.txt) ou vos scripts PHP pour en interdire l'accès si ce robot vous occasionne des problèmes.
     
  2. ChristopheDuman
    ChristopheDuman Nouveau WRInaute
    Inscrit:
    4 Juillet 2008
    Messages:
    22
    J'aime reçus:
    0
    Salut, tu as juste à faire ça au lieu de le bannir :
    User-agent: TwengaBot
    Crawl-delay: 50

    Voilà ;) .
     
  3. patriceAB
    patriceAB WRInaute discret
    Inscrit:
    5 Septembre 2006
    Messages:
    70
    J'aime reçus:
    0
    C'est une très bonne idée, merci pour le tuyau.
    Mais je ne suis pas certain qu'un robot aussi mal conçu respecte le Crawl-delay.
    Comme c'est un comparateur , il va continuer à crawler toutes les pages du site au quotidien en générant des milliers de requêtes. Je vois plusieurs IP's de ce même comparateur parfois dans le même journée.

    Je vais les contacter pour savoir si leur robot le respecte (le Crawl-delay). On verra si ils me répondent.
     
  4. ChristopheDuman
    ChristopheDuman Nouveau WRInaute
    Inscrit:
    4 Juillet 2008
    Messages:
    22
    J'aime reçus:
    0
    Je pense qu'ils ne réponderont pas...
    Teste, si ça fait encore ça, là, mets un bon :
    User-agent: TwengaBot
    Dissalow: /

    Voilà :) .
     
  5. patriceAB
    patriceAB WRInaute discret
    Inscrit:
    5 Septembre 2006
    Messages:
    70
    J'aime reçus:
    0
    C'est le site d'un client, j'ai un peu peur de tester. Un site d'e-commerce ça la fout mal quand ça plante surtout quand il y a des clients qui font leurs achats. :D .
    Le dernier plantage a duré 8 heures, j'en ai ma dose de Twenga.

    Je crois que je vais opter pour le bon :
    User-agent: TwengaBot
    Dissalow: /

    ou plutôt Disallow: / avec un seul s ça marchera mieux :)
     
  6. ChristopheDuman
    ChristopheDuman Nouveau WRInaute
    Inscrit:
    4 Juillet 2008
    Messages:
    22
    J'aime reçus:
    0
    Ah, o_O. Fais-le ouep :p.
     
  7. Monty973
    Monty973 WRInaute passionné
    Inscrit:
    21 Mars 2006
    Messages:
    1 175
    J'aime reçus:
    0
    http://www.twenga.com/bot.html
     
  8. patriceAB
    patriceAB WRInaute discret
    Inscrit:
    5 Septembre 2006
    Messages:
    70
    J'aime reçus:
    0
    Merci Monty973, tu as répondu à notre interrogation mais faut-il mettre
    User-Agent: TwengaBot
    ou
    User-Agent: TwengaBot/1.1
    ?
     
  9. ChristopheDuman
    ChristopheDuman Nouveau WRInaute
    Inscrit:
    4 Juillet 2008
    Messages:
    22
    J'aime reçus:
    0
    TwengaBot tout court ;o).
     
  10. polweb
    polweb WRInaute accro
    Inscrit:
    18 Octobre 2006
    Messages:
    3 265
    J'aime reçus:
    0
    Merci de cette info.

    Je pense que cela servira a plus d'un.
     
  11. forummp3
    forummp3 WRInaute passionné
    Inscrit:
    8 Février 2004
    Messages:
    1 519
    J'aime reçus:
    0
    En parlant, de ce site, ils m'ont contacté pour m'acheter des liens sur mon site, apparement la dissuasion de google ne marche plus pour les liens acheté ...

    ps: j'ai meme pas repondu bien sur ;)
     
Chargement...
Similar Threads - TwengaBot bannir Forum Date
Faire bannir vos concurrents non conformes RGPD d'Adsense AdSense 6 Juillet 2018
Comment diminuer l'intêret de ses pages sans pour autant les bannir. Référencement Google 30 Mars 2016
Articles de blog à bannir ? Netlinking, backlinks, liens et redirections 14 Décembre 2013
bannir tout referer vide sauf pour un domaine partenaire URL Rewriting et .htaccess 27 Février 2013
Bannir Referer, tiret dans nom domaine, et sous-domaine URL Rewriting et .htaccess 19 Août 2012
Demander à Google de bannir un site sans accès FTP Crawl et indexation Google, sitemaps 24 Août 2011
Bannir une adresse par htaccess URL Rewriting et .htaccess 20 Novembre 2010
Bannir la commande site:NDD des rapports Google Analytics Google Analytics 20 Août 2010
IP impossible à bannir Administration d'un site Web 11 Juin 2010
url rewriting : quels mots bannir ? Débuter en référencement 12 Mai 2010
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice