Le budget de crawl de Google : définition et conseils d'optimisation

WebRankInfo · 17 Janvier 2017

Suite à l'excellent article paru dans le blog de Google, j'ai rédigé un dossier que j'estime assez complet sur la notion de budget de crawl. Jusqu'à présent on entendait surtout Google dire que ça n'existe pas, mais ce n'est pas ce qui est (bien) expliqué dans leur article. Au contraire, en tout cas pour les gros sites, c'est un sujet très important d'optimisation du référencement naturel.

En gros, selon moi, la meilleure façon d'optimiser le crawl (à part d'accélérer son site) est de réduire la "masse noire" (lisez mon article en entier pour les explications). En plus ça "nettoie" souvent le site de pages de mauvaise qualité, ce qui est bénéfique pour l'ensemble du référencement (cf. algos Panda, Phantom et autres liés à la qualité).

Avez-vous des compléments à suggérer / retours d'expérience / questions ?

Digit · 17 Janvier 2017

En complément de ces statistiques, vous pouvez en déduire le poids moyen par élément crawlé. L'article précise une illustration de pages crawlées par jour (moyenne 2500) et volume (150 Mo pour faire simple) ce qui donne 60ko en moyenne. Plus c'est lourd, plus ça prend du temps à télécharger et donc cela a un impact sur la troisième mesure (temps de chargement d'une page). Or justement, Google favorise les sites rapides aux sites lents. Il est donc important de conserver un poids faible des pages afin de réduire la durée de chargement de la page et donc d'avoir un meilleur indice de performance, qui sera bénéfique au référencement.

WebRankInfo · 17 Janvier 2017

en effet, juste 2 remarques :
- la courbe de Google mélange tous les types de documents, qui ne s'optimisent pas de la même façon
- la taille en Ko d'une page HTML n'est pas le seul critère qui a un impact sur le temps de téléchargement (et de chargement complet de la page)

guydumais · 15 Août 2017

Effectivement le temps de chargement de chaque page web d'un site est un facteur de classement MAJEUR dans les moteurs de recherche en 2017.

Dernièrement, j'ai optimisé un site WordPress qui est hébergé et géré par une autre agence web. Le site du client avait quelques bonnes positions sur la première page des résultats de recherche Google pour des mots clés populaires pendant quelques mois puis il est passé de la première page à la huitième page et dixième page pour les mêmes mots clés. Après vérification, j'ai constaté qu'il y avait un délai de 15 secondes avant l'envoi de chaque page web du site vers les visiteurs et que cela durait depuis plusieurs semaines. Inacceptable avec ce que l'on connait aujourd'hui des exigences minimales définies par Google.

Après analyse du site une fois que j'ai réussi à avoir accès à l'administration du site, j'ai découvert qu'il y avait plusieurs extensions WordPress (plugins) inutiles qui occasionnait des délais. J'ai effectué un ménage des plugins et optimisé le code (Cache, GZip, compression de Javascript et CSS, etc.) pour réduire le temps de chargement de 15 secondes à 3 secondes en moyenne pour chaque page. Après quelques jours, le site à commencer à réapparaître sur la première page des résultats de recherche Google. Évidement, j'en ai profité pour optimiser les métas (Title, Description) et le contenu de chaque page web pour améliorer le positionnement qui est maintenant meilleur que les résultats initiaux.

Adresse du site Web WordPress optimisé :
https://entretienoptimum.com/

supp057 · 31 Août 2017

Bonjour,

Merci pour l'information ! Si c'est bénéfique pour le positionnement de notre site et dans d'autre cas facilite la récupération des backlinks, je crois que c'est une bonne option. En tout cas, Google ne cesse de nous impressionner !

A très bientôt !

jackluter · 4 Octobre 2017

Thank you for the information.

nabil2010 · 31 Décembre 2017

si j'ai bien compris le budget crawl de google dépend du poids des pages

Similar Threads - budget crawl Google	Forum	Date
Budget de crawl et images "Indexée, mais non envoyée via un sitemap"	Problèmes de référencement spécifiques à vos sites	13 Mai 2019
Migration, redirections, budget de crawl	Débuter en référencement	1 Octobre 2018
Petit budget pour Adwords, ça vaut la peine ?	AdWords	21 Janvier 2018
Référencement naturel par agence réputée pour quel budget ? Et résultat ?	Débuter en référencement	13 Mars 2016
Presentation Site Budget TV	Demandes d'avis et de conseils sur vos sites	21 Janvier 2015
Quelle stratégie pour booster SEO avec un budget de 500€/mois ?	Débuter en référencement	27 Janvier 2014
Référencement et publicité pour petit budget	Débuter en référencement	11 Août 2013
Latence entre modification budget et apparition en front	AdWords	1 Août 2013
Référencer un site professionnel avec un petit budget	Débuter en référencement	10 Juillet 2013
questions sur budget adwords	AdWords	29 Avril 2013