Googlebot

Discussion dans 'Crawl et indexation Google, sitemaps' créé par mahefarivony, 5 Novembre 2002.

  1. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    yo,

    Petite question : le fait que googlebot cherche sur mon site le fichier robot.txt et ne le trouve pas pose-t-il problème ?

    merchi

    PS: accessoirement, le googlebot est passé 60 fois hier... pour une premiere,c'est bien ? pas bien ? ca veut rien dire ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    Le + simple je pense c'est de mettre un fichier robots.txt avec
    Code:
    # Allow all
    User-agent:  *
    Disallow:
    (tu n'interdis donc rien) comme ça GoogleBot n'aura plus d'erreur 404 (c'est ce que j'ai fait pour WRI)
    Depuis hier GoogleBot est passé à un crawl de masse on dirait...
     
  3. Antoine
    Antoine Nouveau WRInaute
    Inscrit:
    31 Octobre 2002
    Messages:
    7
    J'aime reçus:
    0
    oui j'observe aussi un crawl de masse
    vous savez pourquoi?
     
  4. Fruge
    Fruge WRInaute discret
    Inscrit:
    20 Juillet 2002
    Messages:
    94
    J'aime reçus:
    0
    C'est le "Deep-Crawl" : queqlues jours apres chaque Google Dance, Google visite de facon approfondie ("Deep") les sites qu'il connait.

    Fruge
     
  5. Antoine
    Antoine Nouveau WRInaute
    Inscrit:
    31 Octobre 2002
    Messages:
    7
    J'aime reçus:
    0
    quelle types d'infos sont recherchées pendant le deep crawl?
    Quand sont elles utilisées par google?
     
  6. Fruge
    Fruge WRInaute discret
    Inscrit:
    20 Juillet 2002
    Messages:
    94
    J'aime reçus:
    0
    Selon mon experience, les infos collectees sont utilisees (et disponible pour les visiteurs de Google) lors de la google dance qui suit (soit 3 semaines plus tard).

    Par exemple, juste avant la derniere Deep-Visite, j'avais entierement modifié les url de mon site, mais les nouvelles URL ne sont disponibles sur Google que depuis la derniere google Dance

    L'autre type de visite, les visites plus superficielles (avec les adresses IP : 64.quelquechose.. ; les deep-visites ont lieu avec les IP : 216.quelquechose...) sont AMHA des visites qui permettent uniquement a google de faire des petites mises a jour : s'il trouve de nouvelles pages, il les fait apparaitre 2-3 jours sur google, puis ellles disparaissent jusqu'a la prochaines google dance ou elles reviennent definitivement.

    Fruge
     
  7. Antoine
    Antoine Nouveau WRInaute
    Inscrit:
    31 Octobre 2002
    Messages:
    7
    J'aime reçus:
    0
    tres interessant!
    j'observe des choses similaires
    D'autres confirment?

    C'est quand meme un peu inquietant parce que ca veut dire que si je fais des changement juste apres le deep crawl il faut attendre le prcohain dee craxl puis la prochaine dance pour le voir dans google.
    Donc: changement demain => indéxés dans 70 jours!

    sinon c'est vraiment bizarre ces petits passages tous les 2/3 jours qui prennent des grappes de pages et les relache...
     
  8. Fruge
    Fruge WRInaute discret
    Inscrit:
    20 Juillet 2002
    Messages:
    94
    J'aime reçus:
    0
    Oui !

    Ca fait 4 ou 5 mois que je regarde ces phenomenes de pres, et a chaque fois, je constate que les modification faites avant la Deep sont definitivement mis en ligne lors de la GD qui suit,... et que les modifications faites juste apres la Deep... mettent bcp plus de temps a etre definitivement sur Google

    Ce qui explique que depuis 2 ou 3 mois, je bourre a mort afin de finir toutes mes modifications importantes avant le Deep ! ;-)

    Bye
     
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    Pour compléter Fruge, voici une info à propos de GoogleStats : j'ai modifié le script pour qu'il stocke maintenant l'adresse IP de GoogleBot.
    Cette nouvelle version est disponible mais il faut réinstaller l'application, ce qui fait perdre tout l'historique. Je n'ai pas eu le temps de faire un script d'upgrade, je vais y réfléchir...
     
  10. Fruge
    Fruge WRInaute discret
    Inscrit:
    20 Juillet 2002
    Messages:
    94
    J'aime reçus:
    0
    Pour faire la différence entre la Deep-Visit et la Refresh-Visit : c'est une bonne idée ! ;-)
     
  11. Eservice
    Eservice WRInaute passionné
    Inscrit:
    18 Septembre 2002
    Messages:
    1 204
    J'aime reçus:
    0
    Bonjour, je m'en doutais. Merci de confirmer :wink:
    les deep crawl en 216 ont aussi un nom de domaine différent crawlxx.googlebot.com alors que les daily crawl en 64 s'appellent crawlerxx.googlebot.com
     
  12. speedyop
    speedyop Nouveau WRInaute
    Inscrit:
    5 Novembre 2002
    Messages:
    12
    J'aime reçus:
    0
    ouin, ca veut dire que pour un nouveau site lancer juste apres une GD faut attendre deux mois pour bien etre referencer... un moi pour un passage de la GD et un autre pour la mise en prod.

    moi aussi j'ai remarquer que mon site avait été mis a jour samedi (date du cache le 1 novembre) puis qu'il est subitement revenu en arriere (cache au 12 octobre).
     
  13. Anonymous
    Anonymous Guest
    robots.txt

    Attention, le nom du fichier doit être robots.txt et pas robot.txt comme indiqué dans ton message.
    PLL
     
  14. hervedidier
    hervedidier WRInaute occasionnel
    Inscrit:
    28 Juin 2002
    Messages:
    426
    J'aime reçus:
    0
    Je confirme : j'observe les memes phenomes de "deep visit" et de "refresh visit", aux memes periodes de temps.

    Avec les memes resultats.
     
Chargement...
Similar Threads - Googlebot Forum Date
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps Vendredi à 10:06
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
Strikingly et Googlebot : Contenu invisible dans la Search Demandes d'avis et de conseils sur vos sites 3 Avril 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Impact gestion paramètre url sur Googlebot Crawl et indexation Google, sitemaps 12 Mai 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice