Description du système de crawl et d'indexation de Google

C'est un article réellement très intéressant, il y a matière à discussion en effet.
Mon sentiment depuis 2006, c'était que GG donnait une certaine priorité au crawl des redirections (c'est pour ça que j'avais froidement mis les berszerkers derrière une 302 du root).

 

moi ce qui m'intéresse, c'est d'avoir plus d'informations sur :
"certaines thématiques sont traitées de façon spécifique, comme par exemple l'actualité."

si quelqu'un en a...

 

Intéressante cette notion de couches de périodes différentes qui explique pas mal de constats fait régulièrement en matière de crawlabilité. allez hop une reco :wink:

 

interressant
+1 reco

 

en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire

 

Très intéressant article pour mieux comprendre les crawls et le fonctionnement de Google.

 

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

 

Rien de bien nouveau. On sait bien que la fréquence de crawl des pages sur internet n'est pas la même pour toutes et que beaucoup de paramètres rentrent en jeu (comme ceux que tu as marqué et sûrement d'autres).

J'aime bien quand tu marques "est très vieux (il a été déposé en juillet 2003 et accepté fin 2007) et Google a sans doute adapté son système depuis..." et dans le titre de ton lien " l'état actuel du système " ...

 

Le kiwi est radin :d

 

Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

 

Justement, le site qui est crawlé plus fréquemment aura la date la plus ancienne (de crawl pour un contenu en particulier).

 

Je suppose qu'avant le crawl il y a une phase "inventaire des pages" qui permet de résoudre ce pb ... sinon ca serait trop facile et ca se saurait en plus.

 

Oui, mais on est bien d'accord qu'un site faisant partie de la couche quotidienne sera crawlé tres frequement (sans parler d'inclusion dans l'index). Donc une nouvelle page sera très vite vue. Alors qu'un site de la couche de base sera crawler moins frequement, et une nouvelle page peut être decouverte plusieurs jours après sa mise en ligne.
Le problème du DC reste donc entier.

 

Ce qui serait bien aussi, c'est une explication sur comment et pourquoi une page actualité est priorisé et ensuite mis très loin aux oubliettes. Donc comment concevoir une page qui traite d'Actualités tous en restant dans le Top10 sur google pendant plusieurs mois.

 

L'"actualité" est un truc jetable par excellence. Une dépêche sera logiquement mise au top puis chassée par les analyses et les dossiers la concernant.
C'est la réponse : évolution.
Les malins modifient à peine le papier de départ, lui ajoutant les menues nouveautés, et ils modifient légèrement le title en gardant les mots-clés. Suffit de surveiller GG-news pour le constater.

 

je pense effectivement que Google sait gérer ce cas.

 

Merci, bon article!

Pour en revenir à la découverte d'URL et niveaux de crawl:
Je rajouterais Google peut également découvrir par la google toolbar. Je crois que ce n'est plus à démontrer.

 

En effet, je suis assez concerné par ça. Le fait de traiter des "news du jour" favorise un peu l'indexation. Je ne sais pas trop comment ça fonctionne (j'imagine que c'est un truc qui utilise le principe de Google News) mais généralement Google arrive a positionner des résultats récents notamment sur des trucs qui buzz durant une journée par exemple.
Après c'est classique : ancienneté du site, force du référencement, pertinence, etc.
C'est assez nouveau, ça du être introduit en même temps que l'indexation en "temps réel".

Négatif, Olivier, tu n'as pas fait des tests là dessus ?
Je pencherai plus pour une histoire de cookie ou de referer.

 

Avec la GGbar installée, la consultation d'une page envoie une requête à GG pour pouvoir afficher le PR de la page, je pense que ça, c'est certain.
Maintenant, si Matt Cutts affirme que quand GG reçoit l'info qu'il existe une page inconnue de sa bdd, il ne fait rien, bin ok, ok ok. S'il le dit ...

 

En lisant ça, je vois que j'ai encore du chemin à parcourir. Je n'avais pas du tout connaissance de ce genre de système, même si à le lire ça semble plutôt logique.

Mais un site qui ne fait pas d'actualités, mais qui a un contenu mis à jour quotidiennement. Par exemple je prends mon cas, les membres viennent mettre des projets. Le jour où le site aura une activité importante, il y aura beaucoup de projets posté chaque jour. Si en page d'accueil je mets les derniers projets ajoutés, google vient t'il chaque minute, ou préfère t'il mettre comme un site à voir quotidiennement, ou alors je reste définitivement en couche de base ?

 

C'est toujours intéressant de savoir l'information.

 

tu as la réponse au dessus :

tout simplement

 

Je veux bien croire Matt Cutts....
Mais dans ce cas, difficile d'expliquer comment des sites en cours de dev se retrouvent indexés.
Je travail seul, aucune personne ne connais mes ndd en cours de dev, aucun lien, pas de rss , rien.
Dernier exemple; j'utilise un cms, je copie mes BDD d'un site à l'autre pour tester avec du contenu.
Surprise, je retrouve indexé le site en dev en moins de 24h.
Avec en prime un contenu dupliqué. et une apparition sur la première page des deux site en questions.....
Je vois vraiment pas comment le site a été crawlé si ce n'ai pas par GGbar. le site est uniquement indexé dans GG, aucun autre moteur ne l'a trouvé...
GG ferait peut être dans la voyance.

 

Je travaillais sur un site il y a quelques mois. Je suis le seul à connaître l'url. Et ben google le connait déjà... et j'ai une toolbar

bon article sinon

 

Et pourquoi vous avez la barre google au fait ? Si y a bien un truc inutile, c'est ça !

 

Toutes façons Google connaît tout ... la dernière fois je cherchais mon portable, j'ai demandé à Google il m'a indiqué qu'il était sous mon lit ... formidable, mais jusqu'où iront ils ...

Sérieusement si Matt Cutts a indiqué que non pour la toolbars c'est peut être pour que les gens continuent à l'installer sans crainte ... après tout, se faire tiré des informations à son insu n'est pas très rassurant. Mais c'est vrai que c'est pas très important.

 

Pour les corrections orthographiques manquantes de FireFox. :mrgreen:

 

Y a des dictionnaires à ajouter comme des extensions pour firefox

 

la majorité des surfeurs ne se servent pas de firefox


la google barre c'est pour surveiller le pagerank bien entendu :lol:
(moi je me sers aussi du moteur de recherche intégré,
du lien direct vers gmail)

 

Mais aussi pour l'orthographe dans les formulaires

 

Chez les développeurs et les référenceurs je pense que les utilisateurs régulier d'internet explorer ne sont pas légion, à part pour tester les corrections de bug (et encore : ie tab permet de profiter des plugins de firefox tout en affichant avec ie)

 

Hello, très interessant effectivement,
si je peux me permettre d'ajouter une remarque sur l'intro liée à mon epxerience :
"Google peut découvrir des nouvelles URL de 3 façons" : j'ai indexé un site dans google sans aucune de ces 3 façons, ce site avait des tags google Addsense pendant son devt et voilà que je le retrouve ds l'index de Google après 2 semaines de devt... Et si ce n'est pas les tags Addsens qui ont dvoilé l'existence dudit site, j'ai ouie dire que la Google Toolbar, que j'ai sur mon navigateur, pouvait renvoyer l'existence d'un nouveau site et donc entrainer son indexation.

 

Ce serait pas la première fois qu'il raconte des cracks celui-ci, son blog c'est quand même de la comm. pour webmaster...

J'ai des urls d'outils privés de ma société qui se sont retrouvés indexés dans google alors qu'il n'y a évidemment aucun lien pointant dessus...et un robots.txt dans le dossier 8O

 

Bonjour et merci pour cet article très intéressant.
Pour un débutant comme moi y'a déjà assez de zones d'ombre dans le fonctionnement de :?: GoogleCorp :?: comme ça alors des articles dans ce genre sont vraiment les bienvenus ...
On en veut encore ! Bonne réf à tous :wink:

 

Trés bon article.