Bot saoulant

Discussion dans 'Administration d'un site Web' créé par zeb, 13 Décembre 2011.

  1. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    Quelqu’un connait il ahrefs.com ? Je viens de bloquer l'IP de leur Bot 213.186.122.2 (user agent Mozilla/5.0 (compatible; AhrefsBot/1.0; +http://ahrefs.com/robot/)) car il semble que ce soit un outil SEO sans grand intérêt pour moi mais pas forcement pour la concurrence. De plus 5000 pages crawlées en 4 jours pour rien ça me laisse perplexe.

    Bref j'ai fait une bêtise ou ça vous semble pas exagéré ?
     
  2. kmenslow
    kmenslow WRInaute passionné
    Inscrit:
    7 Août 2006
    Messages:
    1 871
    J'aime reçus:
    0
    Non, c'est très bien
     
  3. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 297
    J'aime reçus:
    63
  4. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    ça me conforte donc dans l'idée de l'avoir éjecté, merci de vos retours.
     
  5. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    ahrefs.com est un outil permettant de connaitre les backlinks d'un site, un peu comme ce cher mais hélas disparu yahoo explorer (sauf si vous connaissez la manip pour le refaire fonctionner :wink: ).

    Enfin, le plus simple est de vous faire une idée de ce à quoi sert l'outil en allant sur le site : "ahrefs.com", non ?
     
  6. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    oui j'y suis allé (pas tombé de la dernière pluie non plu :D ) mais bon c'est un truc "a la con" comme tant d'autres du même genre et je ne voie pas pourquoi m'affubler d'un outil de plus, et je ne voie surtout pas pourquoi je laisserait ce système me bouffer de la bande passante pour le plaisir de je sais pas qui, qui en a l'usage. Bref, perso, si je pouvais bloquer tous les bots hormis les moteurs de recherche (les vrai) j'hésiterai pas trop.

    Surtout que des système SEO il y en a de plus en plus et que multiplié par les 400 / 500 000 pages du site ça commence a faire du chiffre.
     
  7. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    Là où nos avis divergent est sur le "truc à la con".

    Chacun est libre d'en penser ce qu'il veut mais, revenons un temps en arrière, aux débuts de Google par exemple. Il n'est pas devenu ce qu'il est en devinant les pages, il les a parcourues.
    De même pour beaucoup de moteurs de recherches.

    Si tout le monde coupait les vannes de son site, plus personne ne se ferait ou pourrait se faire connaître, non ?

    Alors, peut être ne t'apporte-t-il rien pour l'instant, mais sais-tu à quoi il sert ? quelles sont les étendues du service ?
    C'est vrai il y en a des payantes, il y en a des gratuites. Mais dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

    Après il ne fait qu'un crawl simple, pas de DL d'images ou de JS ou de CSS, juste le HTML. Dans beaucoup de cas où je l'ai vu passer, il faisait ses passage de nuit.

    La décision t'appartient, je ne la partage pas, mais je la respecte, après je tenais juste à te faire connaître ma vision, qui n'a clairement pas le même angle que la tienne, ainsi ta décision en devient que plus objective. :wink:
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    Oui je comprend bien ton point de vue pas de souci et je le respecte aussi.

    C'est ça qui me gène le plus, philosophiquement parlant. On évolue dans un monde qui est devenu concurrentiel, qui demande du rendement et du résultat. Cet état d'esprit me fait vomir au plus haut point. Je pense que si tous le monde commençait par balayer devant sa porte et respectait son voisin tout irait beaucoup mieux. mais il faut "performer", "pressuriser", "rentabiliser", écraser le voisin. Bref les outils qui permettent ça si je pouvais câbler une redirection vers les toilettes ... imagine le bonheur que j'y prendrait.

    Maintenant pour ce qui est d'ouvrir la porte a un potentiel débutant c'est pas un souci, si le service est différent voir innovant, Mais là ça donne quoi ? un truc qui participe a une expansion Tchernobilienne de l'énergie pour donner 3 backlink a un SEO en mal de positionnement qui ferait mieux de bosser sur son site plutôt que de zieuter le voisin. Et si il y en a 10 qui se créent par an des trucs comme ça, ça veux dire qu'ils faut qu'ils crawlent toute la planète dix fois ? T'a pensé au bilan carbone de ce genre de truc destiné a faire 3 francs six sous pour des SEO ? On ne peut pas comparer un service SEO a un moteur de recherche. Et si demains il deviennent moteur de recherche ce sera le moment d'ouvrir la porte. Mais pour l'instant c'est du parasitage, du gaspillage de ressource et compagnie a mon sens.

    Le monde est devenu tellement simple qu'on en oublie parfois de ce concentrer sur ce qui est utile pour économiser les ressources qui elles ne sont pas infinies.
     
  9. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 158
    J'aime reçus:
    0
    tiens ZEB si tu veux interdire d'autres bots à la con sert toi:

    dans le lot y a des Bots de Baydu qui Saoul à passer 40 fois par jours, en suite les deux dernières IP spam ton compte google analytics et CIE dans le bute que tu aille sur le site et ça te renvoie sur un site sur le Forex pour infos la ville est de l'IP en question est PeLOTas au Brésil.
     
  10. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    Arf MDR le bougre il se repointe avec une autre IP deux heures plus tard
     
  11. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 158
    J'aime reçus:
    0
    et avec un . HTACCESS y aurai pas un moyen d"interdire un nom de domaine en particulier, tu a essayer avec un robots.txt!!!?
     
  12. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    Ah, dis toi qu'il aime ton site :wink:
     
  13. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    il semble que les reports fait sur ce bot disent qu'il s'en contrefiche.
    Mois tant qu'on m'offre pas une boite de chocolat je reste de marbre, je ne suis pas un garçon facile :lol:
     
  14. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    tu as semrush qui, en plus, te donneras les mots clés et positions
     
  15. michel.leonard
    michel.leonard WRInaute occasionnel
    Inscrit:
    1 Juin 2010
    Messages:
    366
    J'aime reçus:
    0
    énorme la réplique...
     
  16. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    941
    J'aime reçus:
    0
    User-agent: AhrefsBot
    disallow:

    plus rien depuis...
     
  17. Lafontanelle
    Lafontanelle Nouveau WRInaute
    Inscrit:
    4 Février 2008
    Messages:
    1
    J'aime reçus:
    0
    Bonsoir,

    Je déterre un vieux sujet mais je viens de tomber dessus en cherchant des infos sur "AhrefsBot"...

    Pour éviter d'avoir à bloquer chaque adresse IP d'un bot que je ne veux pas voir, j'utilise ce code dans mon .htaccess (je n'ai mis que le bot dont il est question mais j'en ai une bonne liste dans la fonction en question, séparés par "|") :

    Code:
    SetEnvIfNoCase User-Agent (ahrefsbot) keep_out
    ...
    <limit GET HEAD POST PUT>
    	Order Allow,Deny
    	Allow from all
    	Deny from env=keep_out
    </limit>
    Cela m'a l'air plus efficace qu'une instruction dans le fichier robots.txt :wink:

    Cordialement,

    Christophe Ancelin
     
  18. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 181
    J'aime reçus:
    1
    Dépend du nombre d'entrées car quand ça chiffre en centaines c'est le serveur qui rame a chaque ressource, d'ou l'importance d'une gestion a deux vitesse ; robots.txt pour ceux qui le lisent et le respecte, ban htaccess pour les autres.
     
  19. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 079
    J'aime reçus:
    283
    Bonjour,

    +1 avec la réponse de Zeb, utiliser les deux dans ce cas est un bon point.

    Cordialement.
     
Chargement...
Similar Threads - Bot saoulant Forum Date
Wordpress et le robots.txt Débuter en référencement Lundi à 11:53
Mon concurrent utilise surement un bot pour générer les backlinks Netlinking, backlinks, liens et redirections 8 Juin 2021
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
404/410 vides pour les bots ? Débuter en référencement 17 Mai 2021
Besoin d'aide pour soucis avec le certbot chez OVH - VPS URL Rewriting et .htaccess 6 Avril 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Backlinks de sites robot Netlinking, backlinks, liens et redirections 24 Mars 2021
Bot.Xyz dans Google Analytics Google Analytics 2 Février 2021