Référencement = DDOS ? Amazonbot, SemrushBot...

Discussion dans 'Débuter en référencement' créé par Blackart, 8 Octobre 2020.

  1. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    57
    J'aime reçus:
    1
    Salut,

    Depuis quelques jours j'ai plusieurs requêtes par secondes juste pour le moteur de recherche Amazon, alors si j'ajoute à ce moteur de recherche, les requêtes pour les autres moteurs de recherche, ça me charge énormément le serveur. Mon CPU est en moyenne entre 3 et 10% à cause des requêtes en base de données.

    Voilà un exemple de requêtes:
    Code:
    100.26.177.229 - - [08/Oct/2020:21:09:28 +0000] "GET /peinture-numerique HTTP/1.1" 200 17604 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.12 - - [08/Oct/2020:21:09:28 +0000] "GET /shop/un/p/0 HTTP/1.1" 200 14700 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:29 +0000] "GET /Finish/framed/ HTTP/1.1" 200 17529 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.11 - - [08/Oct/2020:21:09:30 +0000] "GET /shop/nature/p/50 HTTP/1.1" 200 13972 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:30 +0000] "GET /Finish/print/ HTTP/1.1" 200 17473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    Mais aussi à quoi sert ce amazonbot ?

    Est-ce utile de laisser les bots charger mon serveur comme ça ou je devrais mettre une limite via le fichier robots.txt ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 777
    J'aime reçus:
    269
    Amazon a Alexa, je ne pense pas que limiter les bots des moteurs de recherche soient une bonne idée !
     
  3. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    57
    J'aime reçus:
    1
    Bonjour,

    Merci pour la réponse.

    Je comprends, ce qui me chagrine dans toutes ces requêtes c'est qu'elles ne sont pas basées sur les sitemaps. Il me charge des url contenant par exemple /Cur/USD qui permet de changer la devise pour afficher les prix en dollars US.
    Ça fait plein de doublons qui n'apporte rien en terme de référencement je pense, il va y avoir aussi pour chaque page les devises /Cur/EUR et /Cur/GBP !
    Sans compter les langues que l'on peut changer (Allemand, Anglais, Français et Espagnol) alors si pour chaque langue il charge chaque monnaie ... ça fait beaucoup pour rien je trouve.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 470
    J'aime reçus:
    613
    si tu fournis des liens (même en JS), c'est assez logique qu'il les suive, non ? ça doit être ça
     
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 176
    J'aime reçus:
    327
    Le changement de devise devrait être fait en POST.
     
  6. Blackart
    Blackart WRInaute discret
    Inscrit:
    11 Juin 2018
    Messages:
    57
    J'aime reçus:
    1
    Oui c'est vrai ! Sur le coup je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot.
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 470
    J'aime reçus:
    613
    je crois que tu te trompes : Google ne se base pas seulement sur les sitemaps, il suit les liens (internes ou externes), il exécute javascript, il suit les redirections, etc.
     
Chargement...
Similar Threads - Référencement DDOS Amazonbot Forum Date
Référencement - nom des fichiers images Débuter en référencement Aujourd'hui à 14:24
Référencement Google vs Maps Débuter en référencement 30 Août 2021
Référencement par agence arnaque ou pas Demandes d'avis et de conseils sur vos sites 25 Août 2021
Référencement local Référencement international (langues, pays) 13 Août 2021
Fichier avec ou sans extension php pour le référencement Crawl et indexation Google, sitemaps 3 Août 2021
Référencement avec sous domaines Problèmes de référencement spécifiques à vos sites 27 Juillet 2021
Redirection www optimisée pour le référencement Débuter en référencement 15 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
iframe et référencement ... Demandes d'avis et de conseils sur vos sites 23 Juin 2021
Pour le référencement, est-ce mieux avec ou sans www ? Débuter en référencement 15 Juin 2021