Référencement = DDOS ? Amazonbot, SemrushBot...

Discussion dans 'Débuter en référencement' créé par Blackart, 8 Octobre 2020.

  1. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    47
    J'aime reçus:
    1
    Salut,

    Depuis quelques jours j'ai plusieurs requêtes par secondes juste pour le moteur de recherche Amazon, alors si j'ajoute à ce moteur de recherche, les requêtes pour les autres moteurs de recherche, ça me charge énormément le serveur. Mon CPU est en moyenne entre 3 et 10% à cause des requêtes en base de données.

    Voilà un exemple de requêtes:
    Code:
    100.26.177.229 - - [08/Oct/2020:21:09:28 +0000] "GET /peinture-numerique HTTP/1.1" 200 17604 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.12 - - [08/Oct/2020:21:09:28 +0000] "GET /shop/un/p/0 HTTP/1.1" 200 14700 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:29 +0000] "GET /Finish/framed/ HTTP/1.1" 200 17529 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.11 - - [08/Oct/2020:21:09:30 +0000] "GET /shop/nature/p/50 HTTP/1.1" 200 13972 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:30 +0000] "GET /Finish/print/ HTTP/1.1" 200 17473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    Mais aussi à quoi sert ce amazonbot ?

    Est-ce utile de laisser les bots charger mon serveur comme ça ou je devrais mettre une limite via le fichier robots.txt ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 638
    J'aime reçus:
    240
    Amazon a Alexa, je ne pense pas que limiter les bots des moteurs de recherche soient une bonne idée !
     
  3. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    47
    J'aime reçus:
    1
    Bonjour,

    Merci pour la réponse.

    Je comprends, ce qui me chagrine dans toutes ces requêtes c'est qu'elles ne sont pas basées sur les sitemaps. Il me charge des url contenant par exemple /Cur/USD qui permet de changer la devise pour afficher les prix en dollars US.
    Ça fait plein de doublons qui n'apporte rien en terme de référencement je pense, il va y avoir aussi pour chaque page les devises /Cur/EUR et /Cur/GBP !
    Sans compter les langues que l'on peut changer (Allemand, Anglais, Français et Espagnol) alors si pour chaque langue il charge chaque monnaie ... ça fait beaucoup pour rien je trouve.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 213
    J'aime reçus:
    563
    si tu fournis des liens (même en JS), c'est assez logique qu'il les suive, non ? ça doit être ça
     
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 128
    J'aime reçus:
    318
    Le changement de devise devrait être fait en POST.
     
  6. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    47
    J'aime reçus:
    1
    Oui c'est vrai ! Sur le coup je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot.
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 213
    J'aime reçus:
    563
    je crois que tu te trompes : Google ne se base pas seulement sur les sitemaps, il suit les liens (internes ou externes), il exécute javascript, il suit les redirections, etc.
     
Chargement...
Similar Threads - Référencement DDOS Amazonbot Forum Date
Améliorer le référencement local (dans chaque ville) Référencement Google 14 Avril 2021
Indisponibilité et impact référencement Tests et études de cas 10 Mars 2021
Ne pas faire apparaître les sous-pages dans le menu : impact sur leur référencement ? Débuter en référencement 21 Février 2021
Sticky Posts (mise en avant) WORPDRESS - Mauvais pour le référencement? Crawl et indexation Google, sitemaps 18 Février 2021
Référencement mot clé avec accent et sans, c'est pareil ? Référencement Google 15 Février 2021
Products tabs référencement Débuter en référencement 10 Février 2021
Garder référencement nouveau site Référencement Google 9 Février 2021
Référencement les textes dans une image Crawl et indexation Google, sitemaps 4 Février 2021
Référencement Marketplace Référencement Google 20 Janvier 2021
Utiliser une grille CSS peut-il nuire au référencement ? Débuter en référencement 17 Janvier 2021