Le crawl qui suit la Google Dance

Discussion dans 'Crawl et indexation Google, sitemaps' créé par sdamain, 13 Février 2004.

  1. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Ce crawl a t'il déjà eu lieu sur vos sites?
     
  2. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    A en croire l'agent placé sur différents sites, le nombre de pages crawlées par jour a été plus élevé ces trois derniers jours.
     
  3. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Le tien en fait il partie?
     
  4. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Le mien en fait partie, et ça se voit très nettement sur le rapport
    Mais il semblerait que ça ait commencé la veille de la GGdance.
    Si on regarde le graph de WRI c'est également le cas.
    Cependant, pour d'autres sites c'est moins visible, plus étalé.
     
  5. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Malgré mon PR5 (depuis l'avant dernière GD) je n'ai pas eu cette chance encore.
    Ca va probablement venir.
     
  6. moutyk
    moutyk WRInaute impliqué
    Inscrit:
    1 Mars 2003
    Messages:
    524
    J'aime reçus:
    0
    Ca n'existe plus les crawl !!??

    Moi en tout cas ca ne se confirme pas sur mon site
     
  7. anguenot.com
    anguenot.com WRInaute impliqué
    Inscrit:
    14 Mai 2003
    Messages:
    644
    J'aime reçus:
    0
    Ca crawle dur en ce moment même chez mois. 4GGBots me font l'honneur de leur visite:
    64.68.82.176
    64.68.82.135
    64.68.82.144
    64.68.82.199
     
  8. legolfquebecois
    legolfquebecois WRInaute discret
    Inscrit:
    2 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Plus de nouvelles de google bot depuis 48h alors qu'il crawle normalement au moins deux pages par jour chez moi???
     
  9. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Ca crawl depuis ce matin :D
     
  10. mixmax06
    mixmax06 WRInaute occasionnel
    Inscrit:
    7 Mars 2003
    Messages:
    374
    J'aime reçus:
    0
    Salut.
    moi aussi, j'ai 5 bots , allez les petits ......


    André
     
  11. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 120
    J'aime reçus:
    549
    pourrais-tu changer la taille des graphiques ? on n'y voit pas grand chose pour l'instant... pourtant ça a l'air très intéressant.

    pour info : j'avais désactivé l'enregistrement des visites des robots dans le forum pendant qq jours, quand j'ai eu des soucis avec le serveur. c'est remis en place depuis.
     
  12. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Bonne idée, j'ai rajouté un zoom quand on clique sur l'image
     
  13. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    J'ai eu aussi une grosse activité du googlebot depuis 2 jours.
     
  14. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 120
    J'aime reçus:
    549
    quelques remarques :
    - je ne pense pas qu'il soit nécessaire d'avoir un PR>=4 pour utiliser la requete site: qui liste les pages indexées par Google
    - peux-tu préciser ce que signifie ton échelle de 1 à 10 en ordonnée ?
    - le nb de pages indexées par Google est-il recalculé régulièrement ?
     
  15. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    1- c'est probable
    2-l'échelle de 1 à 10 correspond à l'échelle du PR, mais les autres courbes n'ont pas cette nature d'échelle, je rajoute donc la précision dans chaque légende.
    3-Oui, une fois par jour
     
  16. PuraVida
    PuraVida WRInaute impliqué
    Inscrit:
    13 Janvier 2004
    Messages:
    741
    J'aime reçus:
    0
    oui, ca continue!!
    5 googlebot aujourd'hui :lol:
     
  17. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Juste un petite remarque technique sur les impacts des crawls post-GGDance :
    Ceux-ci parcourent plus de page par jour qu'en temps normal, ça peut avoir un impact important sur les ressources d'un site hébergeant quelques miliers ou dizaines de miliers de pages. Voici donc quelques astuces pour réduire cette charge supplémentaire :
    - utiliser une redirection 301 pour toute page de type nomdedomaine.com vers www .nomdedomaine.com Il est effectivement inutile que le bot lise deux fois la même page (de temps en temps sur le domaine, de temps en temps sur le sous-domaine www). Un thread sur le forum explique comment le faire via le fichier .htaccess
    - Bien gérer ses paramètres dynamiques : si une page est du format h**p://www.domaine.com/page.php?p1=truc&p2=machin, éviter de faire des liens sur d'autres pages de la forme h**p://www.domaine.com/page.php?p2=machin&p1=truc. Cette inversion de paramètres fait que la page pourra être crawlée avec ces deux versions alors que c'est un même contenu.
    L'idée est de faire crawler l'essentiel et non pas plusieurs fois la même chose, on augmente nos chances d'avoir un crawl exhaustif
     
Chargement...
Similar Threads - crawl suit Google Forum Date
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020