Harcelement des moteurs de recherche

Discussion dans 'Crawl et indexation Google, sitemaps' créé par bsmadja, 10 Juillet 2007.

  1. bsmadja
    bsmadja Nouveau WRInaute
    Inscrit:
    7 Septembre 2003
    Messages:
    3
    J'aime reçus:
    0
    Bonjour a tous.

    Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
    Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

    Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.


    Merci pour vos reponses
     
  2. Kaliiii
    Kaliiii WRInaute occasionnel
    Inscrit:
    2 Mars 2005
    Messages:
    466
    J'aime reçus:
    0
    et il se plaint !

    A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

    Combien de requetes par jour ca représente ?
     
  3. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 943
    J'aime reçus:
    4
    Code:
    <meta name="revisit-after" content="1 day" />
    Ca allègera un peu.

    Si pas, tu mets "2 days", "3 days"...

    NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ?
     
  4. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 473
    J'aime reçus:
    1
    si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...

    C surtout Yahoo qui s'énervait y'a pas longtemps :)
     
  5. takeiteasy
    takeiteasy WRInaute discret
    Inscrit:
    9 Juillet 2003
    Messages:
    76
    J'aime reçus:
    0
    Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:
     
  6. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 943
    J'aime reçus:
    4
    Le bot de Y! ne s'appelle pas "Slurp" pour rien hein :)
     
  7. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    941
    J'aime reçus:
    0
    il vient pas toujours avec la même ip ?
    je veux dire, il te bombarde avec des ip différentes à chaque get ?
     
  8. amri-referencement
    amri-referencement WRInaute occasionnel
    Inscrit:
    4 Janvier 2007
    Messages:
    448
    J'aime reçus:
    0
    Bonjour,

    C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?

    C'est le monde à l'envers là. :wink:

    Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.

    A bientôt sur WRI

    Fanny AMRI
     
  9. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 473
    J'aime reçus:
    1
    y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente
     
  10. takeiteasy
    takeiteasy WRInaute discret
    Inscrit:
    9 Juillet 2003
    Messages:
    76
    J'aime reçus:
    0
    Oui les IP sont différentes.
     
  11. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    941
    J'aime reçus:
    0
    je confirme !
    à l'heure actuelle je suis aussi victime ;) du harcelement de yahoo à raison d'une page toute les 10 secondes !

    en revanche mon load se porte très bien !
     
  12. darkjukka
    darkjukka WRInaute impliqué
    Inscrit:
    28 Avril 2007
    Messages:
    588
    J'aime reçus:
    0
    Il vient aussi de me crawler 90 pages en 3 minutes, c'est impressionnant ^^

    Pas de soucis pour mon serveur en tout cas :)
     
  13. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    941
    J'aime reçus:
    0
    qu'est ce qui se passe chez yahoo, ils ont achetés des nouveaux serveurs ? :)
     
  14. darkjukka
    darkjukka WRInaute impliqué
    Inscrit:
    28 Avril 2007
    Messages:
    588
    J'aime reçus:
    0
    En tout cas si ça résulte sur quelque chose de positif on ne va pas se plaindre !
     
  15. frenchhorn
    frenchhorn WRInaute passionné
    Inscrit:
    8 Février 2007
    Messages:
    1 063
    J'aime reçus:
    0
    Code:
     
    <meta name="revisit-after" content="1 day" /> 
    
    je croyais que cette meta ne servait a rien...
     
  16. takeiteasy
    takeiteasy WRInaute discret
    Inscrit:
    9 Juillet 2003
    Messages:
    76
    J'aime reçus:
    0
    Sur mon site, depuis juin, Slurp est passé devant Googlebot (environ 30% de crawl en plus) ...
     
  17. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 438
    J'aime reçus:
    68
    Plus ton site est visité mieux c'est, non??

    Si tu t'amuses à les repousser, tu sais ces robots sont succeptibles...attention, à ne pas jouer avec le feu!!

    Etonné de ton poste?? :roll:
    S'il s'agit bien des bots des pricipaux moteurs, c'est super au moins, tu es suivi de près!!
     
  18. ybet
    ybet WRInaute accro
    Inscrit:
    22 Novembre 2003
    Messages:
    7 527
    J'aime reçus:
    0
    justement, elle sert à rien :lol:
     
  19. BadProcESs
    BadProcESs WRInaute passionné
    Inscrit:
    28 Juillet 2003
    Messages:
    1 841
    J'aime reçus:
    0
    Essaye de mettre "15 days" sur un de tes sites et tu verra si elle sert à rien ! ;)
    En fait, cette balise sert à définir l'interval maximal, pas minimal, de revisite d'une page (tester, en tout cas avec Google).
     
  20. ybet
    ybet WRInaute accro
    Inscrit:
    22 Novembre 2003
    Messages:
    7 527
    J'aime reçus:
    0
    Jamais pensé qu'elle était utilisée. :?
     
  21. Kazados
    Kazados WRInaute discret
    Inscrit:
    8 Juillet 2007
    Messages:
    147
    J'aime reçus:
    0
    +1
    Y en a qui essaie de les attirer à tout prix :lol:
     
  22. frenchhorn
    frenchhorn WRInaute passionné
    Inscrit:
    8 Février 2007
    Messages:
    1 063
    J'aime reçus:
    0
    merci pour cette infos, on m'aurait mentit :wink: ? je te fais confiance sur ce coup là et je ne mettrais pas "15 days" :wink:

    a+
     
  23. takeiteasy
    takeiteasy WRInaute discret
    Inscrit:
    9 Juillet 2003
    Messages:
    76
    J'aime reçus:
    0
    Je ne me plains pas bien au contraire... C'est un simple constat ! :wink:

    En bande passante en juillet :

    - Slurp : 3 Go
    - Googleot : 2 Go

    Slurp a toujours bien crawlé mon site, mais depuis juin je constate qu'il est passé à la vitesse supérieure, et tellement importante qu'il est passé devant Googlebot, c'est tout.
     
Chargement...
Similar Threads - Harcelement moteurs recherche Forum Date
Cacher Whois suite à harcelement Noms de domaine et référencement 28 Janvier 2010
mon site internet n'apparaît plus dans les moteurs de recherche Problèmes de référencement spécifiques à vos sites Hier à 18:15
SERP sur les différents moteurs de recherches Demandes d'avis et de conseils sur vos sites 10 Mai 2019
Site absent de tous les moteurs sauf Google après un piratage Problèmes de référencement spécifiques à vos sites 30 Juillet 2018
Etre présent sur les moteurs de recherche en premier Netlinking, backlinks, liens et redirections 10 Juillet 2017
position dans les moteurs de recherches Rédaction web et référencement 7 Juin 2017
Blog difficile de remetre sur les moteurs Débuter en référencement 9 Mai 2017
Une seule page indexée, sur tous moteurs Problèmes de référencement spécifiques à vos sites 16 Octobre 2016
SEO - Site (neuf) disparu des moteurs de recherches Débuter en référencement 16 Octobre 2016
Votre page d'accueil ne peut pas être indexée par les moteurs de recherche Débuter en référencement 5 Octobre 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice