Googlebot : rapide et bon viseur

Discussion dans 'Crawl et indexation Google, sitemaps' créé par herveG, 23 Février 2004.

  1. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    salut,

    1) hier midi, je mets 4 pages supplémentaires en ligne. ces 4 pages ne sont liées qu entre elles et la première est liée par un lien unique en provenance d une page déja indexée depuis longtemps.

    2) 1 heure plus tard, le bot passe sur les 4 pages juste mises en ligne

    3) mais pas la moindre trace de bot sur la page qui lie la premiere de ces 4 pages.

    Question : comment le bot a-t-il "su" au bout d´une heure que j avais mis 4 nouvelles pages en ligne sans etre passé sur la seule page qui fait le lien vers ces 4 pages ???

    a+
    Hervé
     
  2. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    T'es sûr que c'est pas le robot d'AdSense, hein ?
    T'as surfé sur tes pages avec la GoogleBar ?

    Fred
     
  3. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    le bot etait :

    crawler8.googlebot.com IP : 64.68.87.55

    Surfé dessus avec la GD, oui sans doute. mais je ne peux pas le confirmer a 100%
    en tout cas, la page faisant le lien vers ces pages n a pas été crawlé. pourtant je suis vraisemblblement aussi passé dessus avec la googlebar.

    Cést une bonne indication pour la mise en place de nouvelles page dans ce cas......!! :)

    a+
    hervé
     
  4. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    Tiens, ça mériterais de faire un test...
    Je vais mettre une page en ligne sans liens, et on serait plusieurs a aller dessus avec la ggbar, en votant pour la page en question..


    REEDIT la page en question est
    -http://www.observatoire-environnement.org/OBSERVATOIRE/ ggBar.php
    (enlevez le blanc)
     
  5. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    C'est l'user-agent qu'il faut regarder. Celui du bot Adsense est Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)

    Le robot d'adsense ne vient crawler que les pages qu'il ne connait pas déjà (ou qui ont changé ?). Sinon, tu imagines, pour chaque page vue sur ton site, tu aurais une visite du bot.

    Fred
     
  6. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    l´agent est : Googlebot/2.1

    précision : je n ai pas "voté" pour les 4 pages en question.

    a+
    Hervé
     
  7. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    je peux en créer une autre sans que les gens votent
    mais on a aucun controle sur ce que vont faire les gens

    REEDIT la 2ème page en question est
    -http://www.observatoire-environnement.org/OBSERVATOIRE/ ggBar2.php
    (enlevez le blanc)

    Si vous faites les manips demandées, dites le ... :idea:
     
  8. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    tu ne donnes l adresse de tes pages qu a deux ou trois personens ici et on s engage a ne pas "voter". par contre, le fait que tes pages n est pas de lien aura peutetre pour effet que le bot n y passe pas. remarque faudra deja qu il vienne pour s en apercevoir....!! :) tu me dis, je suis ok pour le test. a+
     
  9. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    j'en ai créée une autre pour tester qu'à quelques uns...
    MP pour avoir son adresse...
     
  10. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    J'ai observé un truc un peu similaire mais diificile de savoir si ce n'est pas du au hasard : J'ai remarqué que le bot venait plus rapidement sur les pages modifiées et qu'il insistait pendant plusieurs jours. J'ai eu 4-5 full crawls sur un site (auquel je touche en ce moment) la semaine dernière.

    Ce que je ne comprends pas trop, c'est que s'il interroge mon serveur pour savoir quelles sont les pages modifiées, je devrais le voir dans mes logs.
     
  11. CJ
    CJ Nouveau WRInaute
    Inscrit:
    12 Décembre 2003
    Messages:
    14
    J'aime reçus:
    0
    Bjr,

    J'ai noté que GG passe sur des nouvelles pages ("surfées" avec ggTbar + Deskbar...), non liées, avec ou sans nouveau nom de domaine et ce depuis un mois environ.

    Dans la rubrique "si j'était GG" je récupérerai les visites de toolbar sur des pages non liées pour accelerer la croissance de ma base et mieux planifier les crawls GGbot entre autre.

    Claude
     
  12. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    je crois que c est ce qu il fait... !! il nous a pas attendu pour avoir cette idée lumineuse !!! qu est ce qu on est lent a la détente..:!! :)
     
  13. CJ
    CJ Nouveau WRInaute
    Inscrit:
    12 Décembre 2003
    Messages:
    14
    J'aime reçus:
    0
    D'autant que l'hypothèse est peut être fausse...ou inexacte.


    Claude
     
  14. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    surtout que je crois que les pages non liées, si elle sont crawlée ne seront pas forcément indexées car orphelines. mais apres tout, pourquoi pas. une page orpheline peut tres bien apporter un contenu intéressant sur une requete donnée. par contre, j imagine pas le boulot pour raffraichir les caches de ces pages orphelines sans liens entrants..... :?
     
  15. CJ
    CJ Nouveau WRInaute
    Inscrit:
    12 Décembre 2003
    Messages:
    14
    J'aime reçus:
    0
    Les index.xxx sont des pages orphelines. ie -toto.free.fr/index.php ou -http://www.toto.com/index.xxx ou encore -http://www.toto.com/titi/index.xxx

    Ca ne pose pas de problème à GG.

    Claude
     
  16. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    je ne vois pas bien en quoi ces pages sont orphelines. si aucun lien ne pointe vers ces pages alors google ne les indexera pas (sauf si comme nous ouhaitons le voir avec notre test, google a changé ses habitudes et envisage d'indexer toutes les pages existantes meme les orphelines). a+ hervé
     
  17. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    bon , en tout cas, j ai fait le test sur les deux pages : avec vote (positif) et sans vote. on attend le resultat....
     
  18. Anonymous
    Anonymous Guest
    La question bête : c'est quoi cette histoire de vote ??
     
  19. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 471
    J'aime reçus:
    613
  20. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    et hop, une petite page de résultats indexée..... :wink: qui vient garnir le panier (déja bien garni) de WRI......
     
  21. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 471
    J'aime reçus:
    613
    ce n'est franchement pas le but, je n'ai rien à gagner sur cette page... et regarde bien les magnifiques frames :-(
     
  22. CJ
    CJ Nouveau WRInaute
    Inscrit:
    12 Décembre 2003
    Messages:
    14
    J'aime reçus:
    0
    Bjr,

    Heu que l'on se comprenne bien je n'ai pas la pretention de savoir pourquoi (seul GG peut apporter une réponse).

    Nouveau domaine, nouvel index.xxx donc page orpheline (heu..cad sans liens entrants...) = pr0 en moins de 48h et cela sans vote, sans soumission, mais simple surf avec la toolbar.
    Vérifié sur 4 nouveaux sites en 1 mois environ...

    ...pages orphelines qu'il connait OU qu'il ne connaît pas mais à qui il delivre un pr herité. Sincerement j'en ai aucune idée.

    IMHO il y a plusieurs tests à organiser (ie. new domain et page index.xxx, new domain page toto.xxx, domaine dejà existant ou non etc..).

    Claude
     
  23. bertotj
    bertotj WRInaute occasionnel
    Inscrit:
    12 Janvier 2004
    Messages:
    311
    J'aime reçus:
    0
  24. MonWeb
    MonWeb WRInaute discret
    Inscrit:
    18 Août 2003
    Messages:
    140
    J'aime reçus:
    0
  25. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
  26. MonWeb
    MonWeb WRInaute discret
    Inscrit:
    18 Août 2003
    Messages:
    140
    J'aime reçus:
    0
    Bon tu lève le secret pour le nom des pages toto et toto2.html :)

    On a donc la reponse sur ton post, mais tu devrais voter maintenant pour voir si ça change et si google bot viens voir tes pages au nom secret :)

    Cordialement
     
  27. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    a voté

    la page publique c'est /toto.html

    la page secrete je la garde...

    mais bon, je crois que tout ceci c'est fantasme.. on verra bien
     
  28. J'ai voté pour la première et j'ai dédié mon abstention sur la seconde à tous les jeunes iraniens ;-)
     
Chargement...
Similar Threads - Googlebot rapide viseur Forum Date
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Fréquence passage googlebot Crawl et indexation Google, sitemaps 30 Janvier 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019