|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
bsmadja
Nouveau WRInaute
Inscrit le: 07 Sep 2003
Messages: 5
|
 Posté le : Mar Juil 10, 2007 19:44 Sujet du message: Harcelement des moteurs de recherche |
|
|
Bonjour a tous.
Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .
Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.
Merci pour vos reponses |
|
| |
|
 |
Kaliiii
WRInaute passionné
Inscrit le: 02 Mar 2005
Messages: 591
Localisation: France
|
| Posté le : Mar Juil 10, 2007 21:13 Sujet du message: Harcelement des moteurs de recherche |
|
|
et il se plaint !
A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !
Combien de requetes par jour ca représente ? |
|
| |
|
|
HawkEye
Modérateur
Inscrit le: 23 Fév 2004
Messages: 12425
Localisation: Google
|
| Posté le : Mar Juil 10, 2007 21:30 Sujet du message: Harcelement des moteurs de recherche |
|
|
| Code: |
| <meta name="revisit-after" content="1 day" /> |
Ca allègera un peu.
Si pas, tu mets "2 days", "3 days"...
NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ? |
|
| |
|
|
finstreet
WRInaute accro
Inscrit le: 10 Juil 2005
Messages: 9400
|
| Posté le : Mer Juil 11, 2007 12:59 Sujet du message: Harcelement des moteurs de recherche |
|
|
| Kaliiii a écrit: |
et il se plaint !
A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !
Combien de requetes par jour ca représente ? |
si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...
C surtout Yahoo qui s'énervait y'a pas longtemps  |
|
| |
|
|
takeiteasy
WRInaute occasionnel
Inscrit le: 09 Juil 2003
Messages: 101
Localisation: Montpellier
|
| Posté le : Mer Juil 11, 2007 21:57 Sujet du message: Harcelement des moteurs de recherche |
|
|
Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...  |
|
| |
|
|
HawkEye
Modérateur
Inscrit le: 23 Fév 2004
Messages: 12425
Localisation: Google
|
| Posté le : Mer Juil 11, 2007 22:00 Sujet du message: Harcelement des moteurs de recherche |
|
|
| Le bot de Y! ne s'appelle pas "Slurp" pour rien hein |
|
| |
|
|
julienr
WRInaute passionné
Inscrit le: 05 Aoû 2003
Messages: 655
|
| Posté le : Jeu Juil 12, 2007 11:35 Sujet du message: Harcelement des moteurs de recherche |
|
|
| 35mmcomp a écrit: |
| Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... |
il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ? |
|
| |
|
|
amri-referencement
WRInaute impliqué
Inscrit le: 04 Jan 2007
Messages: 471
Localisation: Nantes
|
| Posté le : Jeu Juil 12, 2007 11:54 Sujet du message: Re: Harcelement des moteurs de recherche |
|
|
| bsmadja a écrit: |
Bonjour a tous.
Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .
Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.
Merci pour vos reponses |
Bonjour,
C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?
C'est le monde à l'envers là. 
Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.
A bientôt sur WRI
Fanny AMRI |
|
| |
|
|
finstreet
WRInaute accro
Inscrit le: 10 Juil 2005
Messages: 9400
|
| Posté le : Jeu Juil 12, 2007 12:58 Sujet du message: Harcelement des moteurs de recherche |
|
|
| julienr a écrit: |
| 35mmcomp a écrit: |
| Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... |
il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ? |
y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente |
|
| |
|
|
takeiteasy
WRInaute occasionnel
Inscrit le: 09 Juil 2003
Messages: 101
Localisation: Montpellier
|
| Posté le : Jeu Juil 12, 2007 16:09 Sujet du message: Harcelement des moteurs de recherche |
|
|
| Oui les IP sont différentes. |
|
| |
|
|
julienr
WRInaute passionné
Inscrit le: 05 Aoû 2003
Messages: 655
|
| Posté le : Jeu Juil 12, 2007 20:53 Sujet du message: Harcelement des moteurs de recherche |
|
|
je confirme !
à l'heure actuelle je suis aussi victime du harcelement de yahoo à raison d'une page toute les 10 secondes !
en revanche mon load se porte très bien ! |
|
| |
|
|
darkjukka
WRInaute impliqué
Inscrit le: 28 Avr 2007
Messages: 254
|
| Posté le : Jeu Juil 12, 2007 21:23 Sujet du message: Harcelement des moteurs de recherche |
|
|
Il vient aussi de me crawler 90 pages en 3 minutes, c'est impressionnant ^^
Pas de soucis pour mon serveur en tout cas |
|
| |
|
|
julienr
WRInaute passionné
Inscrit le: 05 Aoû 2003
Messages: 655
|
| Posté le : Jeu Juil 12, 2007 21:25 Sujet du message: Harcelement des moteurs de recherche |
|
|
| qu'est ce qui se passe chez yahoo, ils ont achetés des nouveaux serveurs ? |
|
| |
|
|
darkjukka
WRInaute impliqué
Inscrit le: 28 Avr 2007
Messages: 254
|
| Posté le : Jeu Juil 12, 2007 21:30 Sujet du message: Harcelement des moteurs de recherche |
|
|
| En tout cas si ça résulte sur quelque chose de positif on ne va pas se plaindre ! |
|
| |
|
|
frenchhorn
WRInaute passionné
Inscrit le: 08 Fév 2007
Messages: 847
|
| Posté le : Jeu Juil 12, 2007 23:39 Sujet du message: Harcelement des moteurs de recherche |
|
|
| Code: |
<meta name="revisit-after" content="1 day" />
|
je croyais que cette meta ne servait a rien... |
|
| |
|
|
| |
|
|
