Crawl : pourquoi Google re-indexe t-il plus que nécessaire ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par hibou57, 11 Janvier 2011.

  1. hibou57
    hibou57 WRInaute passionné
    Inscrit:
    1 Novembre 2006
    Messages:
    1 015
    J'aime reçus:
    0
    Good morning, Ohayo gosaïmasu, Sba7 nnour, Guten tag,

    Une petite colle, une question que je me pose : pourquoi le robot Google crawl t-il bien plus qu’il ne le serait nécessaire, des pages qui changent bien moins souvent qu’il ne les re-indexe ?

    Exemple : une ou des pages sont mises à jours 2 ou 3 fois par an, voir une fois par an, le SiteMap n’est pas erroné et donne des date de mise à jour correct, et pourtant Google les re-indexe parfois tous les jours, et même quelque fois plusieurs fois dans la journée.

    Pourquoi ? :?:

    Est-ce que la fréquence de mise à jour suggéré par le SiteMap et qui est souvent mal évaluée quand ça change trop peu souvent peut avoir son importance ici ? Mais je pensais que le robot Google n’en tenait pas trop compte et se fiait plutôt à la fréquence de mise à jour effective.

    Je me demande quand-même pourquoi il re-crawl si fréquemment des pages dont il doit bien avoir logué quelque-part qu’elles ne changent pas si fréquemment.

    Any idea ? How does it work ?
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    Peut être que des liens sont régulièrement créés vers ces pages, ce qui expliquerait que le robot retrouve régulièrement le chemin vers celles-ci.
     
  3. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 358
    J'aime reçus:
    2
    pour savoir qu'elles ne changent pas, il faut bien les visiter non ?
     
  4. hibou57
    hibou57 WRInaute passionné
    Inscrit:
    1 Novembre 2006
    Messages:
    1 015
    J'aime reçus:
    0
    Il y en a de temps en temps, mais pas tant que ça.

    Mais ensuite quand « on » sait, pourquoi faire comme si « on » ne savait pas ?
     
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    Si une page ne change pas durant un certain temps, rien ne dit qu'elle ne va pas changer plus tard.

    Il suffit d'un nouveau lien vers cette page pour initier un nouveau crawl j'imagine.
     
  6. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 358
    J'aime reçus:
    2
    Quand on sait quoi ? Parce que tu sais que la valeur Alcatel a gagné 0% en un an, tu sais quoi d'autres ? Qu'elle ne va pas gagner 20% l'année prochaine ? Tu n'en sais rien. Là c'est pareil.
     
  7. hibou57
    hibou57 WRInaute passionné
    Inscrit:
    1 Novembre 2006
    Messages:
    1 015
    J'aime reçus:
    0
    Sait-on s’il honore les éléments “changefreq” d’un Sitemap ? Me semble évident qu’il ignore les éléments “priority”, je me demande s’il n’ignore pas tout autant ces “changefreq”.

    Quelqu’un qui se pose la même question : Does Google use the Sitemap "Changefreq" attribute ?

    Quelqu’un plus loin dit que ce n’est qu’un facteur parmi d’autres et que Google en donne le poids qu’il veut, mais cela équivaut à « pas de réponse » si on ne donne pas la moindre idée du poids qu’il donne (parce que si le poids est 0.1%, on peut simplifier en disant qu’il l’ignore).

    Vais faire un test plus tard…
     
  8. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 358
    J'aime reçus:
    2
    Non mais faut arrêter avec le sitemap :) Ca sert à rien sauf à voir si les pages sont indexées.
     
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    +1. Un bon site bien structure au niveau du linking internet n'a pas besoin de sitemap. Et le cas échéant, c'est bien plus efficace de travailler son site plutôt que de se reposer sur le sitemap pour en faire indexer les pages.
     
  10. hibou57
    hibou57 WRInaute passionné
    Inscrit:
    1 Novembre 2006
    Messages:
    1 015
    J'aime reçus:
    0
    Oops, je ne savais pas que ça ne sert à rien. Au moins ça explique pourquoi ça a toujours eu l’air de ne servir à rien.

    Merci pour cette réponse.

    Sinon, quelles sont les sources qui confirment que ça ne sert à rien ? C’est l’observation collective ou est-ce qu’un article est paru à ce sujet chez Google ou autres moteurs ?
     
  11. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 358
    J'aime reçus:
    2
    Google va même t'expliquer que la barre verte ca sert à quelque chose. Le sitemap est un outil parmi tant d'autres. Qui a surement des avantages en terme techniques pour Google et quelques avantages pour le webmaster, mais s'il suffisait d'écrire "modif quotidienne" pour voir le robot passer tous les jours, ca se saurait.
     
Chargement...
Similar Threads - Crawl Google indexe Forum Date
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Crawl Google, nombre d'impressions versus position Crawl et indexation Google, sitemaps 5 Avril 2019
Google crawle des pages existant sur d'autres sites Crawl et indexation Google, sitemaps 1 Janvier 2019
Google crawle encore des liens désavoués qui me font des 404 Référencement Google 22 Décembre 2018
Le budget de crawl de Google : définition et conseils d'optimisation Techniques avancées de référencement 17 Janvier 2017
Google crawle des url inexistantes "mobile" Crawl et indexation Google, sitemaps 8 Janvier 2017
Crawl google reste en statut cours de traitement search console Crawl et indexation Google, sitemaps 22 Décembre 2016
Google me crawl une url qui n'existe pas Crawl et indexation Google, sitemaps 22 Juin 2016
Google crawl mon site en HTTP alors qu'il est en HTTPS Crawl et indexation Google, sitemaps 24 Mai 2016
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
Crawl de page par Google Bot via une recherche web Crawl et indexation Google, sitemaps 5 Août 2015
Est-ce que Google crawl les onclick? Crawl et indexation Google, sitemaps 23 Juillet 2015