Le budget crawl

Discussion dans 'Référencement Google' créé par indigene, 5 Mars 2020.

  1. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 092
    J'aime reçus:
    156
    Olivier, je viens de relire ton article très complet sur le budget crawl mais certains points me semblent flous.

    Par exemple tu dis que google s'adapte à la vitesse du serveur et limitera son nombre d'url crawlées quand il juge que ça met le serveur à genoux. Sur un gros site avec énormément d'url c'est sans doute vrai mais sur un petit site, à mon avis, ce n'est pas comme cela que ça se passe. Je dirais que google s'adapte à la charge du serveur et va effectuer ses crawls à des heures de faible affluence, la nuit par exemple.

    Ensuite, même si c'est sous-entendu mais pas dit clairement, je pense que le budget crawl peut être résumé en quelques points :

    - c'est fonction de la page et de sa popularité (backlinks + trafic + fraicheur)
    - certaines pages sont crawlées plus souvent que d'autres
    - la suppression d'url inutiles ne va pas forcément changer le budget crawl pour les petits sites (c'est lié au fait que c'est déterminé à la page)

    Je m'explique. Si sur un site on a 5000 urls mais seulement 300 urls sont vraiment importantes et le reste c'est la masse noire. Si on a par exemple 500 visites du robot par jour. En supprimant la moitié des urls on ne va pas passer à 500 visites par jour donc chaque page crawlée deux fois plus souvent. On risque de tomber rapidement à 250 ou 300 visites du robot par jour parce que chaque page continuera à être crawlée suivant la même fréquence. Sur mon site j'ai des pages qui sont crawlées tous les 10 jours, d'autres plus souvent, etc...

    Donc en définitive le budget crawl n'est pas un budget alloué au sens où nous l'entendons pour un budget financier. C'est en réalité une fréquence de passage du robot déterminé pour chaque page. Et pour les nouvelles pages détectées c'est déterminé en fonction du site. Elles seront explorées plus ou moins rapidement selon que votre site est populaire ou non.

    A l'origine, ce budget crawl était calculé en fonction des indications que l'on donnait dans le sitemap xml mais qui n'ont pas été respectées très longtemps par Google qui s'est rapidement mis à calculer ses propres fréquences :
    <changefreq>monthly</changefreq>
    <priority>0.5</priority>

    Je pense que beaucoup d'éditeurs de sites pensent toujours que le budget crawl (terme apparu il y a seulement quelques années) est quelque chose de nouveau et que ça correspond à un véritable budget au sens d'un budget financier. Il était donc important de préciser les choses en expliquant clairement que ce n'est qu'une fréquence de passage calculée par google et que supprimer des pages zombies (ou la masse noire) n'aura pas forcément d'incidence sur la fréquence de passage des autres pages. Ceci n'est vrai que pour les énormes sites où il y a un aspect "limitation du crawl pour ne pas mettre à genou le serveur" qui entre en jeu.

    Pour augmenter son budget crawl la solution est d'augmenter sa popularité et l'autorité du domaine (et des pages). Enfin c'est comme ça que je vois les choses.
     
Chargement...
Similar Threads - budget crawl Forum Date
Budget de crawl et images "Indexée, mais non envoyée via un sitemap" Problèmes de référencement spécifiques à vos sites 13 Mai 2019
Migration, redirections, budget de crawl Débuter en référencement 1 Octobre 2018
Le budget de crawl de Google : définition et conseils d'optimisation Techniques avancées de référencement 17 Janvier 2017
Quel budget seo pour une plateforme ? Débuter en référencement 25 Mars 2020
Astuce Adwords - budget qui change chaque jour Référencement Google 10 Octobre 2019
Quel budget pour le référencement naturel ? comment facturer Référencement Google 9 Septembre 2019
Petit budget pour Adwords, ça vaut la peine ? AdWords 21 Janvier 2018
Référencement naturel par agence réputée pour quel budget ? Et résultat ? Débuter en référencement 13 Mars 2016
Presentation Site Budget TV Demandes d'avis et de conseils sur vos sites 21 Janvier 2015
Quelle stratégie pour booster SEO avec un budget de 500€/mois ? Débuter en référencement 27 Janvier 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice