Noyé par les requêtes de google: Tous mon serveur plante (CPU, RAM et SWAP à 99%)

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par kiffegrave, 17 Avril 2011.

  1. kiffegrave
    kiffegrave Nouveau WRInaute
    Inscrit:
    17 Avril 2011
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,

    Je possède plusieurs blog: dont Kiffegrave.com .
    Celui est littéralement noyé par les requêtes du moteur de recherche de google ce qui fait planté mon serveur. J'avais déjà eu ce problème avec mon blog extalys.net que j'ai du enlevé momentanément pour que mes autres sites restent en ligne.

    Je me suis inscrit aux servuces webtools de google mais cela ne m'a pas aidé.

    De plus google ne reconnait pas la commande Crawl-delay: 3600 du fichier robots.txt

    S'il vous plait aidez-mo je n'ai trouvé aucune solution! 8O

    Merci :|
     
  2. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    L'optimisation de tes sites est peut-être à revoir ? Allégement des requêtes sql, mise en place de caches, ajout d'index sur certains champs, etc ..

    On peut en savoir plus sinon ? Tu as quel trafic avec quel serveur ?
     
  3. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 473
    J'aime reçus:
    1
    Diminue déjà la vitesse d'indexation sur GWT. Ca te donnera quelques semaines (mois ?) pour optimiser ton site.
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 780
    J'aime reçus:
    240
    Tu as essayé en installant WP Super Cache ou W3 Total Cache ?
     
  5. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 139
    J'aime reçus:
    272
    Bienvenue au forum.

    Vous pouvez comme le précise Spout utiliser un système de cache ou changer le crawl dans les outils comme le précise Finstreet. Vous pouvez aussi tester avec un autre serveur pour vérifier si ce n'est pas celui-ci qui ne fonctionne pas correctement.

    Si vous souhaitez vous présenter au forum :
    https://www.webrankinfo.com/forum/t/les-membres-qui-le-souhaitent-se-presentent.17387/ .

    N'hésitez pas à donner votre avis aux topics :
    https://www.webrankinfo.com/forum/f/demandes-davis-et-de-conseils-sur-vos-sites.36/ .
     
  6. kiffegrave
    kiffegrave Nouveau WRInaute
    Inscrit:
    17 Avril 2011
    Messages:
    3
    J'aime reçus:
    0
    Sut tous les blog j'utilise un système de cache WP Super Cache.

    J'ai réglé la vitesse d'indexation de google dans les outils webtools.

    En lisant les logs je me sus aperçu que le problème provenait d'un autre moteur de recherche www.majestic12.co.uk/ et du google chinois www.baidu.com/ j'ai banni le premier en le mettant à travers l'ipTable. Je cherche d'ailleur une liste à inclure si vous avez ça :)

    Sinon j'ai ajouter aux .htaccess toute une liste de spambot que j'ai trouvé sur http://perishablepress.com/ # PERISHABLE PRESS ULTIMATE USER-AGENT BLACKLIST

    Avec ça j'espère avoir réglé 50% de mes problèmes.

    Mais je suis ouvert à toutes les optimisations.

    Sinon Kiffegrave fais dans les 3000 visiteurs unique par jours les autres doivent faire dans les 10.000 pages lues.
     
  7. JanoLapin
    JanoLapin WRInaute accro
    Inscrit:
    21 Septembre 2008
    Messages:
    4 250
    J'aime reçus:
    0
    tous les robots ne sont pas forcémment inutiles.

    Certains peuvent par exemple trouver de l'utilité à Majestic12. Celui-ci propose d'ailleurs sur son site une page pour les webmasters, en leur expliquant comment le brider, afin d'atténuer les éventuels problèmes liés au passage du bot.
     
Chargement...
Similar Threads - Noyé requêtes google Forum Date
GSC : domaine noyé dans sous domaine Débuter en référencement 28 Janvier 2018
Est-ce pénalisant d'être noyé parmi une centaine de liens pour adultes ? Débuter en référencement 28 Février 2011
Qwant 20 milliards de requetes en 2018? 2 x plus que Google? Autres moteurs de recherche connus 2 Avril 2019
Marqueur nommé ou interrogatif pour les requetes préparées ? Développement d'un site Web ou d'une appli mobile 30 Décembre 2018
Requêtes Google search control et mots-clés de mon site Débuter en référencement 26 Novembre 2018
par quoi commencent les requêtes ? Débuter en référencement 16 Novembre 2018
Augmentation inexpliquée du nombre de requêtes Http Problèmes de référencement spécifiques à vos sites 30 Octobre 2018
Combiner 2 requetes préparées Développement d'un site Web ou d'une appli mobile 30 Septembre 2018
Des sites qui invitent les utilisateurs à effectuer des requêtes sur Google Référencement Google 3 Mars 2018
Recherches vocales sur Google Home : étude de 3000 requêtes Référencement Google 10 Février 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice