Référencement = DDOS ? Amazonbot, SemrushBot...

[Blackart]

Salut,

Depuis quelques jours j'ai plusieurs requêtes par secondes juste pour le moteur de recherche Amazon, alors si j'ajoute à ce moteur de recherche, les requêtes pour les autres moteurs de recherche, ça me charge énormément le serveur. Mon CPU est en moyenne entre 3 et 10% à cause des requêtes en base de données.

Voilà un exemple de requêtes:

100.26.177.229 - - [08/Oct/2020:21:09:28 +0000] "GET /peinture-numerique HTTP/1.1" 200 17604 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
185.191.171.12 - - [08/Oct/2020:21:09:28 +0000] "GET /shop/un/p/0 HTTP/1.1" 200 14700 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
100.26.177.229 - - [08/Oct/2020:21:09:29 +0000] "GET /Finish/framed/ HTTP/1.1" 200 17529 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
185.191.171.11 - - [08/Oct/2020:21:09:30 +0000] "GET /shop/nature/p/50 HTTP/1.1" 200 13972 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
100.26.177.229 - - [08/Oct/2020:21:09:30 +0000] "GET /Finish/print/ HTTP/1.1" 200 17473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"

Mais aussi à quoi sert ce amazonbot ?

Est-ce utile de laisser les bots charger mon serveur comme ça ou je devrais mettre une limite via le fichier robots.txt ?

Merci,
Vincent.

 

[rick38]

Amazon a Alexa, je ne pense pas que limiter les bots des moteurs de recherche soient une bonne idée !

 

[Blackart]

Bonjour,

Merci pour la réponse.

Je comprends, ce qui me chagrine dans toutes ces requêtes c'est qu'elles ne sont pas basées sur les sitemaps. Il me charge des url contenant par exemple /Cur/USD qui permet de changer la devise pour afficher les prix en dollars US.
Ça fait plein de doublons qui n'apporte rien en terme de référencement je pense, il va y avoir aussi pour chaque page les devises /Cur/EUR et /Cur/GBP !
Sans compter les langues que l'on peut changer (Allemand, Anglais, Français et Espagnol) alors si pour chaque langue il charge chaque monnaie ... ça fait beaucoup pour rien je trouve.

 

[WebRankInfo]

si tu fournis des liens (même en JS), c'est assez logique qu'il les suive, non ? ça doit être ça

 

[spout]

Le changement de devise devrait être fait en POST.

 

[Blackart]

Oui c'est vrai ! Sur le coup je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot.

 

[WebRankInfo]

je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot

je crois que tu te trompes : Google ne se base pas seulement sur les sitemaps, il suit les liens (internes ou externes), il exécute javascript, il suit les redirections, etc.