Faire un point sur les crawl

[caro]

Salut à tous
Après lecture de tas de posts je constate ne pas être la seule à être complètement perdu au niveau des robots, des crawl, fullcrawl (qui me dit on n'existe plus) ...

https://www.webrankinfo.com/analyses/art ... e-page.php
"Dès la fin de la Google Dance, pendant que le webmaster se débrouille pour optimiser son site, GoogleBot passe en régime d'indexation massive (full crawl). "
mais on vient de me dire que ce n'existait plus.

Pourrait on faire un résumé sur les crawls :
- combien passent ils de fois et les corrélations avec le PR
- pourquoi google ne visite que l'index ?
- quand google indexe t'il l'ensemble du site ?
- et si il ne fait plus de full crawl, comment et quand va t'il indexé toutes les pages ?
- enfin tout ce que vous pourrez dire sur les fréquences et le fonctionnement des crawls est à bon à prendre :lol:

Merci
carole :wink:

 

[George Abitbol]

Pourrait on faire un résumé sur les crawls :
- combien passent ils de fois et les corrélations avec le PR
- pourquoi google ne visite que l'index ?
- quand google indexe t'il l'ensemble du site ?
- et si il ne fait plus de full crawl, comment et quand va t'il indexé toutes les pages ?

- ça dépend, j'ai plusieurs sites à même PR, certains voient le bot tous les mois, d'autres tous les 3 jours... (je parle de deep crawl, car sur la page d'accueil il vient tous les jours)
- il peut y avoir plein de raison, l'une d'entre elles étant qu'il n'y a pas forcément d'intérêt à crawler tous les jours un site qui n'est mis à jour que 2 fois par mois
- là encore, ça varie
- devine ? ça varie Mais sinon, selon sans doute ton PR, ta fréquence de mise à jour, ton ancienneté, etc., ça peut aller de tous les jours à tous les mois

Fred

 

[Lamb]

Pour ma part, j'administre un portail / forum, et j'ai également des petits soucis avec le GoogleBot : il ne passe quasiment plus depuis 3 bonnes semaines.
C'est assez ennuyeux, et je ne comprend pas vraiment pourquoi... Peut être une histoire de BL et de PR0 ?

Je suis également inscris sur Adsense, mais étant donné que les robots et que la base de données sont différentes, je ne vois pas trop en quoi ça influe sur mon référencement.

 

[john2]

des crawl, fullcrawl (qui me dit on n'existe plus) ...

8O

Qui a dit ca ? si il y a plus de full crawl, google ne pourra plus indexer beaucoup de pages...

Normalement, ca devrai bientot arriver.

- pourquoi google ne visite que l'index ?

C'est parce que t'on site est nouveau, alors il ne prend que l'index. Après, il devrai tous les prendrent.

 

[yannouk]

il se dit que le full crawl serait remplacé par un crawl permanent et regulier...Mais entre la théorie et la pratique, je suis sceptique

 

[caro]

des crawl, fullcrawl (qui me dit on n'existe plus) ...

8O

Qui a dit ca ? si il y a plus de full crawl, google ne pourra plus indexer beaucoup de pages...

Normalement, ca devrai bientot arriver.

- pourquoi google ne visite que l'index ?

C'est parce que t'on site est nouveau, alors il ne prend que l'index. Après, il devrai tous les prendrent.

1) c'est mahefarivony :twisted: (oula la fayote :lol: )
2) mes sites ne sont pas du tout récent
3) je vois que je suis vraiment pas la seule à m'embrouiller avec les crawls
quelqu'un pourrait il faire un article complet ?

merci
carole :wink:

 

[BadProcESs]

3) je vois que je suis vraiment pas la seule à m'embrouiller avec les crawls
quelqu'un pourrait il faire un article complet ?

De toute façons, je préfère la brasse ! :mrgreen:

 

[yannouk]

ca va peut etre vous interresser, mais ce que vient de subir drimmo aujourd'hui ressemble de tre pres a un crawl...plutot full

 

[john2]

Moi, j'ai eu 23 robots aujourd' hui. Mais ca continue d'augmenter...

 

[caro]

serait ce un deepcrawl qui suit la GD ?

je dois bien avoué que je perds pied avec les crawls :cry:

Fred surnomé JoJo :lol: a écrit :
sur certains sites il passe tous les 3 jours d'autres 1 fois par mois
tu parles du deepcrawl qui fait toutes les pages ?
en fait comme j'étais bien classés j'ai jamais attaché d'importance aux crawlers
et à leurs fréquences ou autres stats, mais depuis la panique du début d'année
je commence à regretter ce manque de connaissance dans ce domaine
mais pourquoi ils passent pas !!! :evil:

 

[George Abitbol]

sur certains sites il passe tous les 3 jours d'autres 1 fois par mois
tu parles du deepcrawl qui fait toutes les pages ?

Oui, sur un de mes sites, j'ai une visite de toutes mes pages tous les 3 ou 4 jours.

Fred

 

[Lentreprenaute]

Caro,

Mon site a 4 mois & des bananes, et j'ai un crawl de toutes mes pages on va dire toute les 3 semaines, pourtant j'ai des pages qui changent tous les jours pour certaines.
et apres un GD, j'ai un PR4 qui bouge pas non plus malgre deux bons liens recent de pr4&5, va savoir ce que nous fait Gérard

Florent

 

[caro]

Oui, sur un de mes sites, j'ai une visite de toutes mes pages tous les 3 ou 4 jours.

1) quel est le PR de ce site ?
2) c'est quand meme bizarre qu'à meme pr on n'arrive pas à savoir pourquoi le crawl passe plus souvent et surtout pourquoi il s'arrete ou pas à l'index :cry:

 

[john2]

et surtout pourquoi il s'arrete ou pas à l'index

Quand c'est un full crawl, il ne s'arrete pas a l'index !

Après, y en a qui ont plus de full crawl... peut-etre parce qu'ils ont beaucoup de backlink.

Moi, j'ai un full crawl toute les 3 semaines

Mais entre temp, il arrive presque tout les jour un robot qui ne visite que l'index.

 

[George Abitbol]

1) quel est le PR de ce site ?
2) c'est quand meme bizarre qu'à meme pr on n'arrive pas à savoir pourquoi le crawl passe plus souvent et surtout pourquoi il s'arrete ou pas à l'index :cry:

C'est un PR5. On parle souvent de la fréquence de mise à jour comme facteur de la fréquence de passage du bot. Mais on pourrait peut-être aussi envisager un facteur ancienneté.

Fred

 

[Kmacleod]

La frequence de mise à jour :
La syntaxe des pages, leur poid, leur structure et les temps de réponse du serveur sont surement des éléments pris en compte et donc à optimiser.

 

[Suede]

Il y a une étude en cours sur l'interaction PR/crawl/GD :
cf https://www.webrankinfo.com/forum/t/crawl-depuis-ce-matin.7434/
et http://www.interclasse.com/tools/bot-analysis.php

François