Bot saoulant

Discussion dans 'Administration d'un site Web' créé par zeb, 13 Décembre 2011.

  1. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Quelqu’un connait il ahrefs.com ? Je viens de bloquer l'IP de leur Bot 213.186.122.2 (user agent Mozilla/5.0 (compatible; AhrefsBot/1.0; +http://ahrefs.com/robot/)) car il semble que ce soit un outil SEO sans grand intérêt pour moi mais pas forcement pour la concurrence. De plus 5000 pages crawlées en 4 jours pour rien ça me laisse perplexe.

    Bref j'ai fait une bêtise ou ça vous semble pas exagéré ?
     
  2. kmenslow
    kmenslow WRInaute passionné
    Inscrit:
    7 Août 2006
    Messages:
    1 871
    J'aime reçus:
    0
    Non, c'est très bien
     
  3. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 222
    J'aime reçus:
    47
  4. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    ça me conforte donc dans l'idée de l'avoir éjecté, merci de vos retours.
     
  5. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    ahrefs.com est un outil permettant de connaitre les backlinks d'un site, un peu comme ce cher mais hélas disparu yahoo explorer (sauf si vous connaissez la manip pour le refaire fonctionner :wink: ).

    Enfin, le plus simple est de vous faire une idée de ce à quoi sert l'outil en allant sur le site : "ahrefs.com", non ?
     
  6. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    oui j'y suis allé (pas tombé de la dernière pluie non plu :D ) mais bon c'est un truc "a la con" comme tant d'autres du même genre et je ne voie pas pourquoi m'affubler d'un outil de plus, et je ne voie surtout pas pourquoi je laisserait ce système me bouffer de la bande passante pour le plaisir de je sais pas qui, qui en a l'usage. Bref, perso, si je pouvais bloquer tous les bots hormis les moteurs de recherche (les vrai) j'hésiterai pas trop.

    Surtout que des système SEO il y en a de plus en plus et que multiplié par les 400 / 500 000 pages du site ça commence a faire du chiffre.
     
  7. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    Là où nos avis divergent est sur le "truc à la con".

    Chacun est libre d'en penser ce qu'il veut mais, revenons un temps en arrière, aux débuts de Google par exemple. Il n'est pas devenu ce qu'il est en devinant les pages, il les a parcourues.
    De même pour beaucoup de moteurs de recherches.

    Si tout le monde coupait les vannes de son site, plus personne ne se ferait ou pourrait se faire connaître, non ?

    Alors, peut être ne t'apporte-t-il rien pour l'instant, mais sais-tu à quoi il sert ? quelles sont les étendues du service ?
    C'est vrai il y en a des payantes, il y en a des gratuites. Mais dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

    Après il ne fait qu'un crawl simple, pas de DL d'images ou de JS ou de CSS, juste le HTML. Dans beaucoup de cas où je l'ai vu passer, il faisait ses passage de nuit.

    La décision t'appartient, je ne la partage pas, mais je la respecte, après je tenais juste à te faire connaître ma vision, qui n'a clairement pas le même angle que la tienne, ainsi ta décision en devient que plus objective. :wink:
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Oui je comprend bien ton point de vue pas de souci et je le respecte aussi.

    C'est ça qui me gène le plus, philosophiquement parlant. On évolue dans un monde qui est devenu concurrentiel, qui demande du rendement et du résultat. Cet état d'esprit me fait vomir au plus haut point. Je pense que si tous le monde commençait par balayer devant sa porte et respectait son voisin tout irait beaucoup mieux. mais il faut "performer", "pressuriser", "rentabiliser", écraser le voisin. Bref les outils qui permettent ça si je pouvais câbler une redirection vers les toilettes ... imagine le bonheur que j'y prendrait.

    Maintenant pour ce qui est d'ouvrir la porte a un potentiel débutant c'est pas un souci, si le service est différent voir innovant, Mais là ça donne quoi ? un truc qui participe a une expansion Tchernobilienne de l'énergie pour donner 3 backlink a un SEO en mal de positionnement qui ferait mieux de bosser sur son site plutôt que de zieuter le voisin. Et si il y en a 10 qui se créent par an des trucs comme ça, ça veux dire qu'ils faut qu'ils crawlent toute la planète dix fois ? T'a pensé au bilan carbone de ce genre de truc destiné a faire 3 francs six sous pour des SEO ? On ne peut pas comparer un service SEO a un moteur de recherche. Et si demains il deviennent moteur de recherche ce sera le moment d'ouvrir la porte. Mais pour l'instant c'est du parasitage, du gaspillage de ressource et compagnie a mon sens.

    Le monde est devenu tellement simple qu'on en oublie parfois de ce concentrer sur ce qui est utile pour économiser les ressources qui elles ne sont pas infinies.
     
  9. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 158
    J'aime reçus:
    0
    tiens ZEB si tu veux interdire d'autres bots à la con sert toi:

    dans le lot y a des Bots de Baydu qui Saoul à passer 40 fois par jours, en suite les deux dernières IP spam ton compte google analytics et CIE dans le bute que tu aille sur le site et ça te renvoie sur un site sur le Forex pour infos la ville est de l'IP en question est PeLOTas au Brésil.
     
  10. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Arf MDR le bougre il se repointe avec une autre IP deux heures plus tard
     
  11. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 158
    J'aime reçus:
    0
    et avec un . HTACCESS y aurai pas un moyen d"interdire un nom de domaine en particulier, tu a essayer avec un robots.txt!!!?
     
  12. Djibou_Te@M
    Djibou_Te@M WRInaute occasionnel
    Inscrit:
    20 Avril 2010
    Messages:
    406
    J'aime reçus:
    0
    Ah, dis toi qu'il aime ton site :wink:
     
  13. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    il semble que les reports fait sur ce bot disent qu'il s'en contrefiche.
    Mois tant qu'on m'offre pas une boite de chocolat je reste de marbre, je ne suis pas un garçon facile :lol:
     
  14. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    tu as semrush qui, en plus, te donneras les mots clés et positions
     
  15. michel.leonard
    michel.leonard WRInaute occasionnel
    Inscrit:
    1 Juin 2010
    Messages:
    366
    J'aime reçus:
    0
    énorme la réplique...
     
  16. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    941
    J'aime reçus:
    0
    User-agent: AhrefsBot
    disallow:

    plus rien depuis...
     
  17. Lafontanelle
    Lafontanelle Nouveau WRInaute
    Inscrit:
    4 Février 2008
    Messages:
    1
    J'aime reçus:
    0
    Bonsoir,

    Je déterre un vieux sujet mais je viens de tomber dessus en cherchant des infos sur "AhrefsBot"...

    Pour éviter d'avoir à bloquer chaque adresse IP d'un bot que je ne veux pas voir, j'utilise ce code dans mon .htaccess (je n'ai mis que le bot dont il est question mais j'en ai une bonne liste dans la fonction en question, séparés par "|") :

    Code:
    SetEnvIfNoCase User-Agent (ahrefsbot) keep_out
    ...
    <limit GET HEAD POST PUT>
    	Order Allow,Deny
    	Allow from all
    	Deny from env=keep_out
    </limit>
    Cela m'a l'air plus efficace qu'une instruction dans le fichier robots.txt :wink:

    Cordialement,

    Christophe Ancelin
     
  18. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Dépend du nombre d'entrées car quand ça chiffre en centaines c'est le serveur qui rame a chaque ressource, d'ou l'importance d'une gestion a deux vitesse ; robots.txt pour ceux qui le lisent et le respecte, ban htaccess pour les autres.
     
  19. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    279
    Bonjour,

    +1 avec la réponse de Zeb, utiliser les deux dans ce cas est un bon point.

    Cordialement.
     
Chargement...
Similar Threads - Bot saoulant Forum Date
Le robot AdSense ne trouve pas mon script entre head et /head, pourtant il s'y trouve AdSense 13 Juillet 2020
WordPress ancien site sous WP spammé par robot coréen - référencement dans les choux Problèmes de référencement spécifiques à vos sites 27 Juin 2020
Analytics et robot.txt Google Analytics 23 Juin 2020
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
aide robot.txt svp Débuter en référencement 26 Mars 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
recherche aléatoire des bots ?! Référencement Google 14 Janvier 2020
probleme de redirection 301 certbot Administration d'un site Web 12 Janvier 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice