1. Pour Black Friday on FRACASSE les prix ⚡ avec RM Tech Découverte
    Rejeter la notice

Référencement = DDOS ? Amazonbot, SemrushBot...

Discussion dans 'Débuter en référencement' créé par Blackart, 8 Octobre 2020.

  1. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Salut,

    Depuis quelques jours j'ai plusieurs requêtes par secondes juste pour le moteur de recherche Amazon, alors si j'ajoute à ce moteur de recherche, les requêtes pour les autres moteurs de recherche, ça me charge énormément le serveur. Mon CPU est en moyenne entre 3 et 10% à cause des requêtes en base de données.

    Voilà un exemple de requêtes:
    Code:
    100.26.177.229 - - [08/Oct/2020:21:09:28 +0000] "GET /peinture-numerique HTTP/1.1" 200 17604 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.12 - - [08/Oct/2020:21:09:28 +0000] "GET /shop/un/p/0 HTTP/1.1" 200 14700 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:29 +0000] "GET /Finish/framed/ HTTP/1.1" 200 17529 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    185.191.171.11 - - [08/Oct/2020:21:09:30 +0000] "GET /shop/nature/p/50 HTTP/1.1" 200 13972 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
    100.26.177.229 - - [08/Oct/2020:21:09:30 +0000] "GET /Finish/print/ HTTP/1.1" 200 17473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    Mais aussi à quoi sert ce amazonbot ?

    Est-ce utile de laisser les bots charger mon serveur comme ça ou je devrais mettre une limite via le fichier robots.txt ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 543
    J'aime reçus:
    210
    Amazon a Alexa, je ne pense pas que limiter les bots des moteurs de recherche soient une bonne idée !
     
  3. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Bonjour,

    Merci pour la réponse.

    Je comprends, ce qui me chagrine dans toutes ces requêtes c'est qu'elles ne sont pas basées sur les sitemaps. Il me charge des url contenant par exemple /Cur/USD qui permet de changer la devise pour afficher les prix en dollars US.
    Ça fait plein de doublons qui n'apporte rien en terme de référencement je pense, il va y avoir aussi pour chaque page les devises /Cur/EUR et /Cur/GBP !
    Sans compter les langues que l'on peut changer (Allemand, Anglais, Français et Espagnol) alors si pour chaque langue il charge chaque monnaie ... ça fait beaucoup pour rien je trouve.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 914
    J'aime reçus:
    482
    si tu fournis des liens (même en JS), c'est assez logique qu'il les suive, non ? ça doit être ça
     
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 098
    J'aime reçus:
    301
    Le changement de devise devrait être fait en POST.
     
  6. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Oui c'est vrai ! Sur le coup je n'ai pas pensé que les robots feraient autre chose que les sitemaps puisque c'est ce que fait googlebot.
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 914
    J'aime reçus:
    482
    je crois que tu te trompes : Google ne se base pas seulement sur les sitemaps, il suit les liens (internes ou externes), il exécute javascript, il suit les redirections, etc.
     
Chargement...
Similar Threads - Référencement DDOS Amazonbot Forum Date
Qui a de très bon site de référencement a me proposé Référencement Google 12 Novembre 2020
Débuter en référencement Débuter en référencement 5 Novembre 2020
les pseudos dans les référencement ? Crawl et indexation Google, sitemaps 30 Octobre 2020
Référencement des fiches produits e-commerce 28 Octobre 2020
WordPress référencement tag et catégorie Problèmes de référencement spécifiques à vos sites 18 Octobre 2020
WordPress Bug de référencement après passage du .fr au .com Débuter en référencement 9 Octobre 2020
Référencement National vs Local Problèmes de référencement spécifiques à vos sites 4 Octobre 2020
Absence de référencement Problèmes de référencement spécifiques à vos sites 29 Septembre 2020
Astuce Pages dupliquées pour un référencement local Débuter en référencement 27 Septembre 2020
Référencement de sous domaines Débuter en référencement 17 Septembre 2020