Harcelement des moteurs de recherche

bsmadja · 10 Juillet 2007

Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.

Merci pour vos reponses

Kaliiii · 10 Juillet 2007

et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

HawkEye · 10 Juillet 2007

Code:

<meta name="revisit-after" content="1 day" />

Ca allègera un peu.

Si pas, tu mets "2 days", "3 days"...

NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ?

finstreet · 11 Juillet 2007

Kaliiii a dit:
et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...

C surtout Yahoo qui s'énervait y'a pas longtemps

takeiteasy · 11 Juillet 2007

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:

HawkEye · 11 Juillet 2007

Le bot de Y! ne s'appelle pas "Slurp" pour rien hein

julienr · 12 Juillet 2007

35mmcomp a dit:
Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

amri-referencement · 12 Juillet 2007

bsmadja a dit:
Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.

Merci pour vos reponses

Bonjour,

C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?

C'est le monde à l'envers là. :wink:

Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.

A bientôt sur WRI

Fanny AMRI

finstreet · 12 Juillet 2007

julienr a dit:
35mmcomp a dit:

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:

Cliquez pour agrandir...

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente

takeiteasy · 12 Juillet 2007

Oui les IP sont différentes.

julienr · 12 Juillet 2007

je confirme !
à l'heure actuelle je suis aussi victime

du harcelement de yahoo à raison d'une page toute les 10 secondes !

74.6.25.155 - - [12/Jul/2007:20:51:47 +0200] "GET HTTP/1.0" 200 7010 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.212 - - [12/Jul/2007:20:51:50 +0200] "GET HTTP/1.0" 404 482 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.25.48 - - [12/Jul/2007:20:51:55 +0200] "GET HTTP/1.0" 200 4431 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.23.225 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 9014 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.27.33 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 4176 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.230 - - [12/Jul/2007:20:52:08 +0200] "GET HTTP/1.0" 200 5905 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.49 - - [12/Jul/2007:20:52:29 +0200] "GET HTTP/1.0" 200 3831 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

en revanche mon load se porte très bien !

darkjukka · 12 Juillet 2007

Il vient aussi de me crawler 90 pages en 3 minutes, c'est impressionnant ^^

Pas de soucis pour mon serveur en tout cas

julienr · 12 Juillet 2007

qu'est ce qui se passe chez yahoo, ils ont achetés des nouveaux serveurs ?

darkjukka · 12 Juillet 2007

En tout cas si ça résulte sur quelque chose de positif on ne va pas se plaindre !

frenchhorn · 12 Juillet 2007

Code:

<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

takeiteasy · 12 Août 2007

Sur mon site, depuis juin, Slurp est passé devant Googlebot (environ 30% de crawl en plus) ...

passion · 12 Août 2007

Plus ton site est visité mieux c'est, non??

Si tu t'amuses à les repousser, tu sais ces robots sont succeptibles...attention, à ne pas jouer avec le feu!!

Etonné de ton poste?? :roll:
S'il s'agit bien des bots des pricipaux moteurs, c'est super au moins, tu es suivi de près!!

ybet · 12 Août 2007

frenchhorn a dit:
Code:

<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

justement, elle sert à rien :lol:

BadProcESs · 12 Août 2007

ybet a dit:
frenchhorn a dit:

Code:

<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

Cliquez pour agrandir...

justement, elle sert à rien :lol:

Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien !

En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).

ybet · 12 Août 2007

BadProcESs a dit:
Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien !
En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).

Jamais pensé qu'elle était utilisée. :?

Kazados · 12 Août 2007

Kaliiii a dit:
et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

+1
Y en a qui essaie de les attirer à tout prix :lol:

frenchhorn · 12 Août 2007

BadProcESs a dit:
ybet a dit:

frenchhorn a dit:

Code:

<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

Cliquez pour agrandir...

justement, elle sert à rien :lol:

Cliquez pour agrandir...

Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien !
En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).

merci pour cette infos, on m'aurait mentit :wink: ? je te fais confiance sur ce coup là et je ne mettrais pas "15 days" :wink:

a+

takeiteasy · 14 Août 2007

passion a dit:
Plus ton site est visité mieux c'est, non??

Si tu t'amuses à les repousser, tu sais ces robots sont succeptibles...attention, à ne pas jouer avec le feu!!

Etonné de ton poste?? :roll:
S'il s'agit bien des bots des pricipaux moteurs, c'est super au moins, tu es suivi de près!!

Je ne me plains pas bien au contraire... C'est un simple constat ! :wink:

En bande passante en juillet :

- Slurp : 3 Go
- Googleot : 2 Go

Slurp a toujours bien crawlé mon site, mais depuis juin je constate qu'il est passé à la vitesse supérieure, et tellement importante qu'il est passé devant Googlebot, c'est tout.