Le budget de crawl de Google : définition et conseils d'optimisation

[WebRankInfo]

Suite à l'excellent article paru dans le blog de Google, j'ai rédigé un dossier que j'estime assez complet sur la notion de budget de crawl. Jusqu'à présent on entendait surtout Google dire que ça n'existe pas, mais ce n'est pas ce qui est (bien) expliqué dans leur article. Au contraire, en tout cas pour les gros sites, c'est un sujet très important d'optimisation du référencement naturel.

En gros, selon moi, la meilleure façon d'optimiser le crawl (à part d'accélérer son site) est de réduire la "masse noire" (lisez mon article en entier pour les explications). En plus ça "nettoie" souvent le site de pages de mauvaise qualité, ce qui est bénéfique pour l'ensemble du référencement (cf. algos Panda, Phantom et autres liés à la qualité).

Avez-vous des compléments à suggérer / retours d'expérience / questions ?

 

[Digit]

En complément de ces statistiques, vous pouvez en déduire le poids moyen par élément crawlé. L'article précise une illustration de pages crawlées par jour (moyenne 2500) et volume (150 Mo pour faire simple) ce qui donne 60ko en moyenne. Plus c'est lourd, plus ça prend du temps à télécharger et donc cela a un impact sur la troisième mesure (temps de chargement d'une page). Or justement, Google favorise les sites rapides aux sites lents. Il est donc important de conserver un poids faible des pages afin de réduire la durée de chargement de la page et donc d'avoir un meilleur indice de performance, qui sera bénéfique au référencement.

 

[WebRankInfo]

en effet, juste 2 remarques :
- la courbe de Google mélange tous les types de documents, qui ne s'optimisent pas de la même façon
- la taille en Ko d'une page HTML n'est pas le seul critère qui a un impact sur le temps de téléchargement (et de chargement complet de la page)

 

[guydumais]

Effectivement le temps de chargement de chaque page web d'un site est un facteur de classement MAJEUR dans les moteurs de recherche en 2017.

Dernièrement, j'ai optimisé un site WordPress qui est hébergé et géré par une autre agence web. Le site du client avait quelques bonnes positions sur la première page des résultats de recherche Google pour des mots clés populaires pendant quelques mois puis il est passé de la première page à la huitième page et dixième page pour les mêmes mots clés. Après vérification, j'ai constaté qu'il y avait un délai de 15 secondes avant l'envoi de chaque page web du site vers les visiteurs et que cela durait depuis plusieurs semaines. Inacceptable avec ce que l'on connait aujourd'hui des exigences minimales définies par Google.

Après analyse du site une fois que j'ai réussi à avoir accès à l'administration du site, j'ai découvert qu'il y avait plusieurs extensions WordPress (plugins) inutiles qui occasionnait des délais. J'ai effectué un ménage des plugins et optimisé le code (Cache, GZip, compression de Javascript et CSS, etc.) pour réduire le temps de chargement de 15 secondes à 3 secondes en moyenne pour chaque page. Après quelques jours, le site à commencer à réapparaître sur la première page des résultats de recherche Google. Évidement, j'en ai profité pour optimiser les métas (Title, Description) et le contenu de chaque page web pour améliorer le positionnement qui est maintenant meilleur que les résultats initiaux.

Adresse du site Web WordPress optimisé :
https://entretienoptimum.com/

 

[supp057]

Bonjour,

Merci pour l'information ! Si c'est bénéfique pour le positionnement de notre site et dans d'autre cas facilite la récupération des backlinks, je crois que c'est une bonne option. En tout cas, Google ne cesse de nous impressionner !

A très bientôt !

 

[jackluter]

Thank you for the information.

 

[nabil2010]

si j'ai bien compris le budget crawl de google dépend du poids des pages