Le crawl qui suit la Google Dance

Discussion dans 'Crawl et indexation Google, sitemaps' créé par sdamain, 13 Février 2004.

  1. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Ce crawl a t'il déjà eu lieu sur vos sites?
     
  2. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    463
    J'aime reçus:
    3
    A en croire l'agent placé sur différents sites, le nombre de pages crawlées par jour a été plus élevé ces trois derniers jours.
     
  3. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Le tien en fait il partie?
     
  4. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    463
    J'aime reçus:
    3
    Le mien en fait partie, et ça se voit très nettement sur le rapport
    Mais il semblerait que ça ait commencé la veille de la GGdance.
    Si on regarde le graph de WRI c'est également le cas.
    Cependant, pour d'autres sites c'est moins visible, plus étalé.
     
  5. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Malgré mon PR5 (depuis l'avant dernière GD) je n'ai pas eu cette chance encore.
    Ca va probablement venir.
     
  6. moutyk
    moutyk WRInaute impliqué
    Inscrit:
    1 Mars 2003
    Messages:
    524
    J'aime reçus:
    0
    Ca n'existe plus les crawl !!??

    Moi en tout cas ca ne se confirme pas sur mon site
     
  7. anguenot.com
    anguenot.com WRInaute impliqué
    Inscrit:
    14 Mai 2003
    Messages:
    644
    J'aime reçus:
    0
    Ca crawle dur en ce moment même chez mois. 4GGBots me font l'honneur de leur visite:
    64.68.82.176
    64.68.82.135
    64.68.82.144
    64.68.82.199
     
  8. legolfquebecois
    legolfquebecois WRInaute discret
    Inscrit:
    2 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Plus de nouvelles de google bot depuis 48h alors qu'il crawle normalement au moins deux pages par jour chez moi???
     
  9. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Ca crawl depuis ce matin :D
     
  10. mixmax06
    mixmax06 WRInaute occasionnel
    Inscrit:
    7 Mars 2003
    Messages:
    374
    J'aime reçus:
    0
    Salut.
    moi aussi, j'ai 5 bots , allez les petits ......


    André
     
  11. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 471
    J'aime reçus:
    613
    pourrais-tu changer la taille des graphiques ? on n'y voit pas grand chose pour l'instant... pourtant ça a l'air très intéressant.

    pour info : j'avais désactivé l'enregistrement des visites des robots dans le forum pendant qq jours, quand j'ai eu des soucis avec le serveur. c'est remis en place depuis.
     
  12. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    463
    J'aime reçus:
    3
    Bonne idée, j'ai rajouté un zoom quand on clique sur l'image
     
  13. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    J'ai eu aussi une grosse activité du googlebot depuis 2 jours.
     
  14. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 471
    J'aime reçus:
    613
    quelques remarques :
    - je ne pense pas qu'il soit nécessaire d'avoir un PR>=4 pour utiliser la requete site: qui liste les pages indexées par Google
    - peux-tu préciser ce que signifie ton échelle de 1 à 10 en ordonnée ?
    - le nb de pages indexées par Google est-il recalculé régulièrement ?
     
  15. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    463
    J'aime reçus:
    3
    1- c'est probable
    2-l'échelle de 1 à 10 correspond à l'échelle du PR, mais les autres courbes n'ont pas cette nature d'échelle, je rajoute donc la précision dans chaque légende.
    3-Oui, une fois par jour
     
  16. PuraVida
    PuraVida WRInaute impliqué
    Inscrit:
    13 Janvier 2004
    Messages:
    741
    J'aime reçus:
    0
    oui, ca continue!!
    5 googlebot aujourd'hui :lol:
     
  17. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    463
    J'aime reçus:
    3
    Juste un petite remarque technique sur les impacts des crawls post-GGDance :
    Ceux-ci parcourent plus de page par jour qu'en temps normal, ça peut avoir un impact important sur les ressources d'un site hébergeant quelques miliers ou dizaines de miliers de pages. Voici donc quelques astuces pour réduire cette charge supplémentaire :
    - utiliser une redirection 301 pour toute page de type nomdedomaine.com vers www .nomdedomaine.com Il est effectivement inutile que le bot lise deux fois la même page (de temps en temps sur le domaine, de temps en temps sur le sous-domaine www). Un thread sur le forum explique comment le faire via le fichier .htaccess
    - Bien gérer ses paramètres dynamiques : si une page est du format h**p://www.domaine.com/page.php?p1=truc&p2=machin, éviter de faire des liens sur d'autres pages de la forme h**p://www.domaine.com/page.php?p2=machin&p1=truc. Cette inversion de paramètres fait que la page pourra être crawlée avec ces deux versions alors que c'est un même contenu.
    L'idée est de faire crawler l'essentiel et non pas plusieurs fois la même chose, on augmente nos chances d'avoir un crawl exhaustif
     
Chargement...
Similar Threads - crawl suit Google Forum Date
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020