Harcelement des moteurs de recherche

Nouveau WRInaute
Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.


Merci pour vos reponses
 
WRInaute occasionnel
et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?
 
WRInaute accro
Code:
<meta name="revisit-after" content="1 day" />

Ca allègera un peu.

Si pas, tu mets "2 days", "3 days"...

NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ?
 
WRInaute accro
Kaliiii a dit:
et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...

C surtout Yahoo qui s'énervait y'a pas longtemps :)
 
WRInaute impliqué
35mmcomp a dit:
Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:
il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?
 
WRInaute occasionnel
bsmadja a dit:
Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.


Merci pour vos reponses

Bonjour,

C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?

C'est le monde à l'envers là. :wink:

Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.

A bientôt sur WRI

Fanny AMRI
 
WRInaute accro
julienr a dit:
35mmcomp a dit:
Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:
il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente
 
WRInaute impliqué
je confirme !
à l'heure actuelle je suis aussi victime ;) du harcelement de yahoo à raison d'une page toute les 10 secondes !

74.6.25.155 - - [12/Jul/2007:20:51:47 +0200] "GET HTTP/1.0" 200 7010 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.212 - - [12/Jul/2007:20:51:50 +0200] "GET HTTP/1.0" 404 482 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.25.48 - - [12/Jul/2007:20:51:55 +0200] "GET HTTP/1.0" 200 4431 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.23.225 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 9014 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.27.33 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 4176 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.230 - - [12/Jul/2007:20:52:08 +0200] "GET HTTP/1.0" 200 5905 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.49 - - [12/Jul/2007:20:52:29 +0200] "GET HTTP/1.0" 200 3831 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

en revanche mon load se porte très bien !
 
WRInaute accro
Plus ton site est visité mieux c'est, non??

Si tu t'amuses à les repousser, tu sais ces robots sont succeptibles...attention, à ne pas jouer avec le feu!!

Etonné de ton poste?? :roll:
S'il s'agit bien des bots des pricipaux moteurs, c'est super au moins, tu es suivi de près!!
 
WRInaute passionné
ybet a dit:
frenchhorn a dit:
Code:
<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

justement, elle sert à rien :lol:

Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien ! ;)
En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).
 
WRInaute accro
BadProcESs a dit:
Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien ! ;)
En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).

Jamais pensé qu'elle était utilisée. :?
 
WRInaute discret
Kaliiii a dit:
et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?
+1
Y en a qui essaie de les attirer à tout prix :lol:
 
WRInaute passionné
BadProcESs a dit:
ybet a dit:
frenchhorn a dit:
Code:
<meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

justement, elle sert à rien :lol:

Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien ! ;)
En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).

merci pour cette infos, on m'aurait mentit :wink: ? je te fais confiance sur ce coup là et je ne mettrais pas "15 days" :wink:

a+
 
WRInaute discret
passion a dit:
Plus ton site est visité mieux c'est, non??

Si tu t'amuses à les repousser, tu sais ces robots sont succeptibles...attention, à ne pas jouer avec le feu!!

Etonné de ton poste?? :roll:
S'il s'agit bien des bots des pricipaux moteurs, c'est super au moins, tu es suivi de près!!

Je ne me plains pas bien au contraire... C'est un simple constat ! :wink:

En bande passante en juillet :

- Slurp : 3 Go
- Googleot : 2 Go

Slurp a toujours bien crawlé mon site, mais depuis juin je constate qu'il est passé à la vitesse supérieure, et tellement importante qu'il est passé devant Googlebot, c'est tout.
 
Discussions similaires
Haut