Googlebot trop actif bloqué

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Lentreprenaute, 28 Octobre 2004.

  1. Lentreprenaute
    Lentreprenaute WRInaute impliqué
    Inscrit:
    18 Octobre 2003
    Messages:
    713
    J'aime reçus:
    0
    Bonjour,

    j'ai sur mon site installé un script anti-aspi et voila que depuis peu, il m'arrive d'attraper
    un bot et de le bannir de mon site "66.249.66.100 voila celui que je viens de prendre",
    la question cela peut il nuire a mon referencement si j'en attrape un ou deux de temps en temps.

    Florent
     
  2. totoro
    totoro WRInaute impliqué
    Inscrit:
    28 Juillet 2004
    Messages:
    756
    J'aime reçus:
    0
    Enleve les range d'ip de google dans ton script, ca doit être jouable sans trop de mal...
    Laisse passer les "66.249.*" un peu plus que les autres.

    Tu filtres combien de connections simultanées ?

    Si tu filtres trop, tu cours effectivement le risque d'avoir des pages en moins...
     
  3. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    900
    J'aime reçus:
    0
    Le bot de Google y va en douceur, il avale pas tout d'un coup et laisse des intervalles de temps très correctes entre les passages.
    Après le bot Adsense c'est peu être autre chose, en tout cas chez moi il est loin d'épuiser mes 10Mb/s
     
Chargement...
Similar Threads - Googlebot actif bloqué Forum Date
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018