Faire un point sur les crawl

Discussion dans 'Crawl et indexation Google, sitemaps' créé par caro, 12 Février 2004.

  1. caro
    caro WRInaute impliqué
    Inscrit:
    21 Juillet 2003
    Messages:
    765
    J'aime reçus:
    0
    Salut à tous
    Après lecture de tas de posts je constate ne pas être la seule à être complètement perdu au niveau des robots, des crawl, fullcrawl (qui me dit on n'existe plus) ...

    https://www.webrankinfo.com/analyses/art ... e-page.php
    "Dès la fin de la Google Dance, pendant que le webmaster se débrouille pour optimiser son site, GoogleBot passe en régime d'indexation massive (full crawl). "
    mais on vient de me dire que ce n'existait plus.

    Pourrait on faire un résumé sur les crawls :
    - combien passent ils de fois et les corrélations avec le PR
    - pourquoi google ne visite que l'index ?
    - quand google indexe t'il l'ensemble du site ?
    - et si il ne fait plus de full crawl, comment et quand va t'il indexé toutes les pages ?
    - enfin tout ce que vous pourrez dire sur les fréquences et le fonctionnement des crawls est à bon à prendre :lol:

    Merci
    carole :wink:
     
  2. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    - ça dépend, j'ai plusieurs sites à même PR, certains voient le bot tous les mois, d'autres tous les 3 jours... (je parle de deep crawl, car sur la page d'accueil il vient tous les jours)
    - il peut y avoir plein de raison, l'une d'entre elles étant qu'il n'y a pas forcément d'intérêt à crawler tous les jours un site qui n'est mis à jour que 2 fois par mois
    - là encore, ça varie :D
    - devine ? ça varie :D Mais sinon, selon sans doute ton PR, ta fréquence de mise à jour, ton ancienneté, etc., ça peut aller de tous les jours à tous les mois

    Fred
     
  3. Lamb
    Lamb WRInaute discret
    Inscrit:
    6 Février 2004
    Messages:
    100
    J'aime reçus:
    0
    Pour ma part, j'administre un portail / forum, et j'ai également des petits soucis avec le GoogleBot : il ne passe quasiment plus depuis 3 bonnes semaines.
    C'est assez ennuyeux, et je ne comprend pas vraiment pourquoi... Peut être une histoire de BL et de PR0 ?

    Je suis également inscris sur Adsense, mais étant donné que les robots et que la base de données sont différentes, je ne vois pas trop en quoi ça influe sur mon référencement.
     
  4. john2
    john2 WRInaute discret
    Inscrit:
    31 Décembre 2003
    Messages:
    208
    J'aime reçus:
    0
    8O

    Qui a dit ca ? si il y a plus de full crawl, google ne pourra plus indexer beaucoup de pages...

    Normalement, ca devrai bientot arriver.

    C'est parce que t'on site est nouveau, alors il ne prend que l'index. Après, il devrai tous les prendrent.
     
  5. yannouk
    yannouk WRInaute passionné
    Inscrit:
    11 Octobre 2003
    Messages:
    1 568
    J'aime reçus:
    0
    il se dit que le full crawl serait remplacé par un crawl permanent et regulier...Mais entre la théorie et la pratique, je suis sceptique
     
  6. caro
    caro WRInaute impliqué
    Inscrit:
    21 Juillet 2003
    Messages:
    765
    J'aime reçus:
    0
    1) c'est mahefarivony :twisted: (oula la fayote :lol: )
    2) mes sites ne sont pas du tout récent
    3) je vois que je suis vraiment pas la seule à m'embrouiller avec les crawls
    quelqu'un pourrait il faire un article complet ?

    merci
    carole :wink:
     
  7. BadProcESs
    BadProcESs WRInaute passionné
    Inscrit:
    28 Juillet 2003
    Messages:
    1 841
    J'aime reçus:
    0
    De toute façons, je préfère la brasse ! :mrgreen:

    [​IMG]
     
  8. yannouk
    yannouk WRInaute passionné
    Inscrit:
    11 Octobre 2003
    Messages:
    1 568
    J'aime reçus:
    0
    ca va peut etre vous interresser, mais ce que vient de subir drimmo aujourd'hui ressemble de tre pres a un crawl...plutot full
     
  9. john2
    john2 WRInaute discret
    Inscrit:
    31 Décembre 2003
    Messages:
    208
    J'aime reçus:
    0
    Moi, j'ai eu 23 robots aujourd' hui. Mais ca continue d'augmenter...
     
  10. caro
    caro WRInaute impliqué
    Inscrit:
    21 Juillet 2003
    Messages:
    765
    J'aime reçus:
    0
    serait ce un deepcrawl qui suit la GD ?

    je dois bien avoué que je perds pied avec les crawls :cry:

    Fred surnomé JoJo :lol: a écrit :
    sur certains sites il passe tous les 3 jours d'autres 1 fois par mois
    tu parles du deepcrawl qui fait toutes les pages ?
    en fait comme j'étais bien classés j'ai jamais attaché d'importance aux crawlers
    et à leurs fréquences ou autres stats, mais depuis la panique du début d'année
    je commence à regretter ce manque de connaissance dans ce domaine
    mais pourquoi ils passent pas !!! :evil:
     
  11. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    Oui, sur un de mes sites, j'ai une visite de toutes mes pages tous les 3 ou 4 jours.

    Fred
     
  12. Lentreprenaute
    Lentreprenaute WRInaute impliqué
    Inscrit:
    18 Octobre 2003
    Messages:
    713
    J'aime reçus:
    0
    Caro,

    Mon site a 4 mois & des bananes, et j'ai un crawl de toutes mes pages on va dire toute les 3 semaines, pourtant j'ai des pages qui changent tous les jours pour certaines.
    et apres un GD, j'ai un PR4 qui bouge pas non plus malgre deux bons liens recent de pr4&5, va savoir ce que nous fait Gérard

    Florent
     
  13. caro
    caro WRInaute impliqué
    Inscrit:
    21 Juillet 2003
    Messages:
    765
    J'aime reçus:
    0
    1) quel est le PR de ce site ?
    2) c'est quand meme bizarre qu'à meme pr on n'arrive pas à savoir pourquoi le crawl passe plus souvent et surtout pourquoi il s'arrete ou pas à l'index :cry:
     
  14. john2
    john2 WRInaute discret
    Inscrit:
    31 Décembre 2003
    Messages:
    208
    J'aime reçus:
    0
    Quand c'est un full crawl, il ne s'arrete pas a l'index !

    Après, y en a qui ont plus de full crawl... peut-etre parce qu'ils ont beaucoup de backlink.

    Moi, j'ai un full crawl toute les 3 semaines

    Mais entre temp, il arrive presque tout les jour un robot qui ne visite que l'index.
     
  15. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    C'est un PR5. On parle souvent de la fréquence de mise à jour comme facteur de la fréquence de passage du bot. Mais on pourrait peut-être aussi envisager un facteur ancienneté.

    Fred
     
  16. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 467
    J'aime reçus:
    0
    La frequence de mise à jour :
    La syntaxe des pages, leur poid, leur structure et les temps de réponse du serveur sont surement des éléments pris en compte et donc à optimiser.
     
  17. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
Chargement...
Similar Threads - crawl Forum Date
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020