Trop de scan des robots

[XGilbert]

Bonjour,
Voici mon problème :
J'ai plusieurs sites avec beaucoup de contenu (certains avec environ 70.000 pages).
Aujourd'hui, j'avais plus de 15 robots qui scannaient mes pages, ils ont scannés plus de 900.000 pages rien qu'a eux.
Je n'ai pas autant de visites d'internautes, mais les moteurs me bouffent toutes les ressources du serveur, et cela arrive pratiquement tout les jours.
Y'a t-i-l un moyen pour "limiter" le nombre de pages vue par les robots, ou un moyen pour que cela me prennent moins de ressources et moins de bande passante ?
Dans GWT, je sais que l'on peut baisser la demande d'exploration du site par le robot, mais pour les autres moteurs ?
Cela est-il néfaste pour le référencement ?
Merci pour vos réponses ou vos retours d'expériences sur ce sujet.

 

[agenceinternet]

Est-ce que ton contenu change régulièrement ou bien est-ce que se sont des pages statiques ?

Si c'est dynamique, je doute que se soit une bonne choses de vouloir ralentir les moteurs de recherches, vous en pensez quoi ?

Ou autrement si tu as 15 moteur différent qui sont passé, peut être voir si c'est possible de ne pas ralentir Google, Bing et Yahoo, mais que les autres... Mais là je sais pas comment est-ce qu'il faut procéder, ni même si c'est possible.

 

[finstreet]

Alors ca je vais suivre avec attention. J'ai le même problème. Ils me mettent en carafe mon mysql depuis que j'ai diminué le poids de chaque page, ils mangent encore + qu'avant. Je viens de passer à la mise en cache d'une partie du site, on verra les résultats.

 

[agenceinternet]

Ah oui, XGilbert, es-que tu utilises un système de cache ?

 

[XGilbert]

Est-ce que ton contenu change régulièrement ou bien est-ce que se sont des pages statiques ?

Si c'est dynamique, je doute que se soit une bonne choses de vouloir ralentir les moteurs de recherches, vous en pensez quoi ?

Ou autrement si tu as 15 moteur différent qui sont passé, peut être voir si c'est possible de ne pas ralentir Google, Bing et Yahoo, mais que les autres... Mais là je sais pas comment est-ce qu'il faut procéder, ni même si c'est possible.

Oui, le site est dynamique.
Les articles, une fois publiés ne changent pas, mais il y en a des nouveaux chaque jours.

Ah oui, XGilbert, es-que tu utilises un système de cache ?

Oui, bien sur.


Sinon, on pensait avoir deux versions du site. Je m'explique. Si c'est un robot qui est détecté, on lui envoie le contenu sans le template, presque en brut, de quoi l'alimenter, en gagnant quelques ko. Qu'en pensez-vous ?

 

[amph37]

je te déconseille cette technique de cloacking. Tu risquerais d'être pénalisé. Rien ne t'empêcherai alors de blinder tes pages de mcls. Même si cela n'est de toute évidence pas ton intention dans ce cas.
Il faut envoyer au bot exactement le même contenu qu'au visiteurs en théorie.

Sinon tu peux peut-être n'autoriser que les bots qui te rapportent et bloquer ceux qui ne servent quasiment à rien.

 

[agenceinternet]

oui dans ce cas je ne vois pas d'autres solutions qu'assumer ce gros trafic ou alors de bloquer les bot de moteur de recherche qui ne t'amène que très très peu de visiteurs... Mais je doute que ce soit une très bonne chose.

 

[XGilbert]

Sinon tu peux peut-être n'autoriser que les bots qui te rapportent et bloquer ceux qui ne servent quasiment à rien.

Le souci vient surtout des bots importants. Même en supprimant les bots secondaires, ça ne changera rien a mon problème, ces derniers ne scan que quelques dizaines de pages par jour.
On essaye encore d'optimiser le cache pour être sur que la base ne tombe pas, mais ça arrive que ça soit le serveur web qui tombe

 

[OTP]

Se placer sur un dédié plus performant ?

 

[amph37]

Dans ce cas, il va peut être falloir envisager de passer sur un plus gros serveur ou bien utiliser un serveur uniquement pour gérer le sql par exemple.

EDIT: bon ben grillé....

 

[Zecat]

Ces temps ci chez moi c'ets cuil qui est pris de boulimie ...

 

[agenceinternet]

Est-ce que c'est possible de connaitre la configuration du serveur actuel ?

Il faudrait effectivement dans ce cas voir pour un serveur plus puissant pour tenir la charge que les bots crées...

 

[amph37]

Ces temps ci chez moi c'ets cuil qui est pris de boulimie ...

En effet, Twiceler a été très présent chez moi aussi.

 

[XGilbert]

On a divisé la charge sur deux serveurs, et le problème est réglé.
Merci pour vos réponses