Référencement = DDOS ? Amazonbot, SemrushBot...

Discussion dans 'Débuter en référencement' créé par Blackart, 8 Octobre 2020.

  1. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    62
    J'aime reçus:
    1
    Salut,

    Depuis quelques jours j'ai plusieurs requêtes par secondes juste pour le moteur de recherche Amazon, alors si j'ajoute à ce moteur de recherche, les requêtes pour les autres moteurs de recherche, ça me charge énormément le serveur. Mon CPU est en moyenne entre 3 et 10% à cause des requêtes en base de données.

    Voilà un exemple de requêtes:
    Code:
    100.26.177.229 - - [08/Oct/2020:21:09:28 +0000] "GET /peinture-numerique HTTP/1.1" 200 17604 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.12 - - [08/Oct/2020:21:09:28 +0000] "GET /shop/un/p/0 HTTP/1.1" 200 14700 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:29 +0000] "GET /Finish/framed/ HTTP/1.1" 200 17529 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.11 - - [08/Oct/2020:21:09:30 +0000] "GET /shop/nature/p/50 HTTP/1.1" 200 13972 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:30 +0000] "GET /Finish/print/ HTTP/1.1" 200 17473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    Mais aussi à quoi sert ce amazonbot ?

    Est-ce utile de laisser les bots charger mon serveur comme ça ou je devrais mettre une limite via le fichier robots.txt ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 094
    J'aime reçus:
    378
    Amazon a Alexa, je ne pense pas que limiter les bots des moteurs de recherche soient une bonne idée !
     
  3. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    62
    J'aime reçus:
    1
    Bonjour,

    Merci pour la réponse.

    Je comprends, ce qui me chagrine dans toutes ces requêtes c'est qu'elles ne sont pas basées sur les sitemaps. Il me charge des url contenant par exemple /Cur/USD qui permet de changer la devise pour afficher les prix en dollars US.
    Ça fait plein de doublons qui n'apporte rien en terme de référencement je pense, il va y avoir aussi pour chaque page les devises /Cur/EUR et /Cur/GBP !
    Sans compter les langues que l'on peut changer (Allemand, Anglais, Français et Espagnol) alors si pour chaque langue il charge chaque monnaie ... ça fait beaucoup pour rien je trouve.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 894
    J'aime reçus:
    845
    si tu fournis des liens (même en JS), c'est assez logique qu'il les suive, non ? ça doit être ça
     
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 207
    J'aime reçus:
    365
    Le changement de devise devrait être fait en POST.
     
  6. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    62
    J'aime reçus:
    1
    Oui c'est vrai ! Sur le coup je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot.
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 894
    J'aime reçus:
    845
    je crois que tu te trompes : Google ne se base pas seulement sur les sitemaps, il suit les liens (internes ou externes), il exécute javascript, il suit les redirections, etc.
     
Chargement...
Similar Threads - Référencement DDOS Amazonbot Forum Date
Mise en gras dans les articles : utile en référencement ? Référencement Google Mercredi à 15:24
non référencement Problèmes de référencement spécifiques à vos sites Mercredi à 00:51
Recul inexpliqué de mon référencement Problèmes de référencement spécifiques à vos sites 24 Novembre 2022
WordPress Référencement SEO et impact de la date de publication Rédaction web et référencement 18 Novembre 2022
Référencement SquareSpace e-commerce 6 Septembre 2022
Référencement par la console google des urls avec attribut de recherche Crawl et indexation Google, sitemaps 22 Août 2022
Référencement et Marques sous Prestashop 1.7 e-commerce 20 Août 2022
Référencement et sous répértoire Débuter en référencement 16 Août 2022
Influence du TLD sur le référencement Référencement Google 10 Juillet 2022
Comment améliorer mon référencement ? Débuter en référencement 24 Juin 2022
impact du nom de domaine sur le référencement Débuter en référencement 8 Juin 2022
référencement site en anglais : indexation plus longue Référencement international (langues, pays) 13 Mai 2022
Choix du nom de domaine pour un bon référencement Débuter en référencement 3 Mai 2022
Ajouter des liens sortants externes pour améliorer le référencement Netlinking, backlinks, liens et redirections 2 Mai 2022
Méthode qui fonctionne le mieux en référencement SEO Débuter en référencement 19 Avril 2022
Problème de référencement Demandes d'avis et de conseils sur vos sites 8 Avril 2022
Audit SEO - Analyse Référencement Problèmes de référencement spécifiques à vos sites 1 Avril 2022
Travaux de référencement sur Fiverr Débuter en référencement 28 Mars 2022
Comment utiliser le référencement pour obtenir un bon trafic sur le nouveau site ? Débuter en référencement 28 Mars 2022
Différence de référencement streameur, streamer Référencement Google 7 Mars 2022