Vitesse d'exploration par Google - Outils pour Webmasters

tu es sur un dédié?

 

Je pense que s'en est la raison.
Augmenter la vitesse d'exploration augmente la charge du serveur.

 

Ben si: c'est en crawlant rapidement ton domaine que la charge du serveur augmente.

 

Ben non: c'est pas le poid du crawl qui change mais sa vitesse.

 

Le bot crawl le domaine à une vitesse raisonnable pour que le visiteur puisse continuer à surfer sur le site de manière fluide.
Si tu augmentes cette vitesse, la navigation s'en ressent pendant le crawl.

 

Oui c'est bon
Et non, ton site n'est pas en cause mais plutôt ton hébergement :wink:

 

Re: Vitesse d'exploration par Google - Outils pour Webmaster

Même chose pour moi. Et c'est aussi pour un site chez ovh. Comme quoi, les nombreux problèmes de lenteurs qu'il y a eu les dernières semaines ont vraiment un impact sur le référencement !

 

J’irai même plus loin.

<mode hypothèse>
J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la charge induite par le trafic supplémentaire.
</mode hypothèse>

A vérifier mais je ne sais pas comment :?

 

Pour me conforter dans cette hypothèse, je me dis que Google n’a aucun intérêt à présenter en tête des requêtes un site down aux heures de pointes.
Par ailleurs, je n’en ai jamais rencontré.

 

Alléluia

Peut être qu'avec une exploration plus rapide, Google estime qu'il le serait :wink:

 

Je n'ai pas la même lecture de cette phrase: A mon avis, ça signifie que pour l'instant, à la vitesse normale, Google arrive à explorer ton site sans problème. Si ton nombre de pages augmente rapidement, passer à la vitesse superieure pourrait apporter un plus (et donc ils activeraient cette fonction), mais au risque de consommer plus de bande passante.

 

Il semblerait que j'ai mis dans le mille

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site. Vous trouverez également des informations sur l'étendue de l'exploration de votre site Googlebot au cours des 90 derniers jours. Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer". Ce nouveau paramètre sera valable 90 jours. Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide. Si vous souhaitez que Googlebot explore votre site plus rapidement, sélectionnez simplement l'option "Plus rapide" et cliquez sur "Enregistrer". À tout moment, vous pouvez accéder à cet outil et choisir l'option "Normale" pour rétablir la vitesse d'exploration initiale. Si, après 90 jours, vous ne souhaitez pas revenir à une exploration normale, vous pouvez sélectionner "Moins rapide" ou "Plus rapide" par le biais de l'outil.

source

 

Non au contraire, ça veut dire que sur le site, tout va bien: Google n'estime pas que l'exploration est restreinte, et si un jour Google pense qu'une exploration plus rapide est necessaire (certainement compte tenu de la progression du nombre de pages), il ne le fera pas automatiquement, mais rendra l'option disponible.
J'ai la même indication dans mon compte sitemaps, et Google explore mon site tous les jours sans problème.

 

Je n'ai à aucun moment prétendu le contraire.

Présentement, nous ne sommes pas d'accord sur l'interprétation.

Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide.

Onthisplanet, sur la page "Vitesse d’exploration", la case "Plus rapide" est-elle sélectionnable?
Chez moi, elle ne l'est pas.

 

Idem pour moi.

Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.

 

Idem pour toi
Mais j'y songe sérieusement, une dédibox probablement.

 

Tout dépend de ce qu'il te ramène et de son potentiel.

 

Moi je ne pense pas que Google fasse un crash-test des sites pour le ranking. Mais c'est vrai qui si ton serveur est constamment sur les genoux quand le bot passe, tu auras des soucis de positionnement, c'est logique (d'ailleurs je le constate sur un site hebergé sur l'offre promotionnelle de 1&1). Mais c'est simple à vérifier: Dans les statistiques d'exploration de sitemaps, si tu as fréquemment des erreurs du type "réseau innaccessible", tu peux effectivement penser à faire évoluer ton hebergement. S'il n'y a pas d'erreur, c'est que tout va bien de ce côté.

 

N'est-ce pas sous entendu ci-dessous:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur.

 

Bah il me semble évident que la vitesse d'exploration est conditionnée par la vitesse d'évolution d'un site. Par exemple, moi j'ai un forum assez vivant, et Google y passe plusieurs fois par jour, en consommant beaucoup de bande passante. A côté de ça, j'ai des sites statiques dont les mises à jour sont rares, et la, Google passe épisodiquement. Franchement, je crois que si Google faisait des tests de montée en charge de chaque serveur, ce serait vraiment ennuyeux pour les webmaster... Imagine sur un serveur mutualisé qui heberge 300 sites! Si google les teste un par un chaque jour jusqu'à épuisement du quota de bande passante...

 

Mais il le fait, par algorithmes: en fonction du diagnostique, il autorise ou non l’activation de la case "Plus rapide".

En tout cas, c'est ce que je comprends en lisant l'aide fournie par Google.

 

Non franchement je pense que tu n'es pas dans le vrai
Tiens si ça peut commencer à te convaincre: J'ai récemment lancé une petite plateforme de blogs qui est hebergée sur un serveur dédié (completement sous-exploité car trés peu de visiteurs), et je n'ai pas non plus la case "+ rapide" dans le sitemaps. Et pourtant, je peux te dire que Google pourrait y aller rapidement pour le crawl, il est quasimment tout seul!

 

La question n'est pas de me convaincre ou non, elle réside dans l'interprétation de ce que dit Google

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site. Vous trouverez également des informations sur l'étendue de l'exploration de votre site Googlebot au cours des 90 derniers jours. Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer". Ce nouveau paramètre sera valable 90 jours. Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide. Si vous souhaitez que Googlebot explore votre site plus rapidement, sélectionnez simplement l'option "Plus rapide" et cliquez sur "Enregistrer". À tout moment, vous pouvez accéder à cet outil et choisir l'option "Normale" pour rétablir la vitesse d'exploration initiale. Si, après 90 jours, vous ne souhaitez pas revenir à une exploration normale, vous pouvez sélectionner "Moins rapide" ou "Plus rapide" par le biais de l'outil.

source

 

Déchainer est sans doute un terme quelque peu fort, non? :?

Nous débattons Onthisplanet

 

Pour moi, ça veut dire qu'au travers de ses différents crawls, il s'est aperçu qu'il n'avait pas besoin d'aller plus vite, vu le peu de changements du contenu des pages crawlées;
S'il calculait automatiquement la charge optimale du serveur, il ne laisserait pas la possibilité de diminuer cette vitesse de crawl.
J'ai eu des sites chez OVH (90Plan et 300GP) qui ont eu l'option plus rapide pendant quelques mois.
Mais sur certains sites, je suis repassé en "Moins rapide"

 

(Je suis content de voir que je ne suis pas le seul à avoir compris )
Non, ton site n'est pas asmathique, il est simplement "normal". Mais si un jour sa croissance devient exceptionnellement rapide, Google te donnera la possibilité de l'autoriser à crawler plus rapidement.

 

plus que ce critère, il faut regarder le nombre de pages crawlées (mi, max et moyen).
J'ai un site, où le nombre de pages moyen crawlé et supérieur au nombre de pages dans l'index de GG :cry:

 

Ce n'est pas si: Google le fait, c'est stipulé en toutes lettres :wink:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.

Il est aussi dit concernant la réduction de la vitesse:

Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer"

Par contre vous remarquerez que le choix d'augmenter la vitesse leur est réservé:

Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide.

 

Ce n'est pas tout à fait ce qui est marqué.

Ce qu'ils disent c'est qu'ils calculent la vitesse optimale de crawl, (par rapport à différents paramètres qui doivent tenir compte des liens internes dans les pages, du sitemap, de la vitesse de modification des pages, etc... à aucun moment de la bande passante), et si nous, on trouve qu'il charge trop notre serveur, on peut réduire cette vitesse. De même pour augmenter, s'ils pouvaient calculer automatiquement la charge d'un serveur ils ne laisseraient pas cette possibilité

 

Ca ressemble à de la mauvaise foi où alors tu ne prends pas la peine de tout lire 8O

Je cite pour la nième fois:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.

nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante

Explique moi aussi pourquoi je ne peux pas séléctionner "Plus Rapide"

 

Keep cool Salva, ce tout petit problème ne mérite pas d'invoquer la "mauvaise foi".
Pour mieux comprendre la phrase, tu peux lire la version originale en anglais:
"If we determine that we are limiting how much we crawl your site (in other words, we would crawl your site more if we felt your server could handle the additional bandwidth), we will let you know this and offer the option for a faster crawl."
Le "si nous savions", ca veut dire "si vous cochiez la case + rapide, nous saurions que votre serveur peut nous accorder d'avantage de bande passante".
Moi je ne la trouve même pas ambigüe cette phrase... Tout me semble évident, donc je ne peux pas te l'expliquer mieux. En plus techniquement, ce serait abérant que Google épuise la bande passante des sites web pour le ranking... Il faut savoir que certains hebergements sont limités en bande passante: Une fois le maximum atteint, tu as une page blanche "bandwidth exceeded" jusqu'au mois suivant. Donc imagine seulement la catastrophe... Sur certains hebergements gratuits, le site est directement fermé en cas de conso excessive.

 

Pour éclairer les septiques :wink:

http://www.annuaire-info.com/referencem ... googlebot/

 

Mais je suis cool, crois moi :wink:
Mais quand j'en rencontre un exemple flagrant (de mauvaise foi), pourquoi pas.
Si s'en est pas, c'est pire

 

En tout cas dans le lien que tu as donné, tu as la réponse à ta question:
Quand la case "+ rapide" est dispo,:

C'est ce que je dis depuis le début. J'en reste la pour ma part.

 

Tu as aussi prétendu autre chose.
Je te laisse le soin de tout relire :wink:

 

De ceci:

<mode hypothèse>
J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la surcharge induite par le trafic supplémentaire.
</mode hypothèse>

Vous en pensez quoi?

Une personne en mesure d’infirmer ou de confirmer?

 

Vu le nombre de sites hébergés sur free.fr et leur positionnement, j'ai des doutes. Surtout quand on connait les problèmes de montée en charge que connait free à certains moments (de la journée, de la semaine, ...)

 

tout dépend du succès des requêtes en question

 

hypothèse rejetée j'ai transféré un de mes sites amen (sphera/linux) sur un 90ovh et cela n'a pas influencé le référencement ni la réponse de cet outil google.

je ne pense pas que la vitesse du crawlbot soit un facteur m^me infime.

 

Ce n'est pas la question

Celle que je me pose:
Si un site (plus précisément le serveur qui l'héberge) n’est pas apte à supporter la surcharge induite par le trafic supplémentaire (consécutif à un meilleur positionnement), a t-il une chance de se retrouver en tête des requêtes?

 

ça doit dépendre du taux de surcharge et comment il se traduit s'il est répété etc. Une lenteur d'accès exagérée doit un minimum bloquer les bots, tout dépend donc (si on parle de google), de son degré de tolérance. Il faudrait tester ... Ce qui ne me semble pas évident.

A priori un site qui rencontrerait ce genre de pb de manière répété raterait la moitié des google dance. Si on part du principe que le site est en premier sur une requete importante et que bcp de site cible cette requete alors je ne vois pas comment il se maintiendrait en première place.[/quote]

 

Re: Vitesse d'exploration par Google - Outils pour Webmaster

[/quote]

Tu estimes donc qu'il pourrait paraître dans les premiers résultats de recherche mais ne pas y rester?

 

EUh, sauf si j'ai mal compris l'hypothèse de départ :

A - le site est positonné en 1 sur une requete
ce positionnement entraine une surchage (bande pasante over)
le bot ne peux plus indexé que par intermittence

soit la requete est concurrentielle : le site chute dans les abimes
soit la requete n'est pas concurrencielle : le site garde sa position

B - Le site n'est pas optimisé et est surchargé.
le bot ne peux plus indexé que par intermittence
le site ne décollera jamais des bas-fonds

donc pour répondre a ta question : Oui

 

pour moi rien ne dit le contraire je retiens l'hypothèse

 

On y est presque

Sachant que Google est capable de déterminer la charge d’un serveur, je me dis qu’il n’a aucun intérêt à présenter un site qui ne pourrait faire face à l’afflux supplémentaire de charge serveur induit par la 1ère place d’une requête concurrentielle (le site en question serait optimisé sémantiquement parlant qui avec des ressources suffisantes serait en 1ère position).

Je souhaiterais savoir si Google le positionnera quand même à la 1ère place, du moins pour un certain temps.

Où alors d'entrée, sur une position moins reluisante (donc moins de visiteurs) qui permettrait au serveur d’assumer la charge demandée.

Si vous avez des retours, c’est avec plaisir que je vous lirai.

Merci.

 

Disons que si on part à l'inverse sur des contre-exemples. J'ai devant moi sur une requête très concurrentielle un vieux site tout moche dont je ne pense pas qu'il soit sur un dédié, et qui veut pas bouger le c.. !

Alors je reste en deuxième place avec le site du www en question qui fait pourtant énormément de visites (plus d'un millier par jour) et pourtant pas très visité par les robots..

 

Quel âge a ce c.. de site

 

disons que c'est un vieux c.. ! mais nous on a deux ans quand même, alors place aux jeunes vieux pas c.. ('fin j'espère) ! (pour trouver la requete en question, il suffit de regarder les premiers mots du titre de la page principale du site en www hein )

 

si les hypothèses du dessus sont bonnes, il suffit de lui faire un bon référencement, au site concurrent, comme cela il aura plein de visiteurs et ça lui chargera son serveur d'où un DOS et comme gg trouvera que son serveur n'assure pas, il le retrogradera :twisted: :twisted:

 

2001 quand même pour le NDD :wink:

Mais ça me dit pas si son serveur n'est pas apte à supporter la surcharge.
Présentement , je parle de surcharge engendrée par les visiteurs et non de crawl des bots.

Si tu as 1000 visites/jour, il doit en avoir au moins autant.

 

C'est marrant comment un texte peut prêter à des interprétations différentes.

A mon avis, c'est vpx qui a raison.
Salva, je ne vois pas où tu as pris le texte en français que tu cites (moi je vois un texte en anglais) mais ta traduction n'est pas tout à fait exacte. Le sens est "si nous sentons que nous avons limité le crawl alors nous vous proposerons..."
Tant que googlebot a l'impression qu'il peut lire autant de pages que nécessaire, il ne proposera pas l'option.

A mon avis, on a tous mis "vitesse supérieure" il y a quelques mois et le bot ne savait plus où donner de la tête, donc maintenant ils grisent l'option tant qu'ils estiment en lire suffisamment.

 

Toujours tourner 7 fois la langue dans sa bouche :wink:
http://www.annuaire-info.com/referencem ... googlebot/

Tu souhaites donner ton avis, parfait. Mais au moins donnes toi la peine de tout lire.

 

Moi j'ai déjà mis en vitesse d'exploration plus rapide, le délai imparti est dépassé, voici ce que ça affiche now à la place : "Plus rapide Actuellement, le taux d'exploration n'est pas un facteur pour votre site. "

tac rien compris..

 

Ca signifie qu'en choisissant plus rapide, la charge serveur est trop importante.

 

ça risque pas non > dédié et 1300 Visites par jour.. (les autres sites sur le dédié font pas d'audience). En fait, lorsque l'on choisit "rapide", il donne une date max où il s'arrête, et c'est depuis qu'il a atteint cette date il y a peu qu'il me met ça.

 

Exacte
L’aide en ligne de Google pour les webmasters et des messages récents sur le blog de Matt Cutts expliquent clairement que la disponibilité de cette option est liée au concept de”Hostload“. La “charge du serveur web” est estimée par Google en comparant le besoin d’accès de Google à votre serveur et la capacité de celui-ci à transférer, sans problème, les données demandées.

L’option “Plus rapide” ne sera pas disponible pour un serveur que Google considère comme suffisamment performant.

Par contre, si le temps moyen de téléchargement d’une page (troisième graphique de la page “Vitesse d’exploration“) est considéré comme ”long” par Google, le moteur de recherche pourrait conclure qu’il ne peut faire plus d’accès sans mettre en danger le bon fonctionnement de votre site. Dans ces conditions, Google ne visite pas toutes les pages de votre serveur qu’il voudrait indexer. Google offre alors, à vos risques et périls, la possibilité d’autoriser une augmentation de la fréquence des visites de Googlebot et de ses autres robots.

Source

 

Merci pour ça,

Conclusion : un site ayant un hébergement plus performant est plus disposé à être indexé PLUS RAPIDEMENT certainement, mais mieux positionné, on ne sait toujours pas...

D'autres Z'expériences ?

 

Ce critère fait partie des 'Mythes du référencement sur Google'

Cf https://www.webrankinfo.com/actualites/2 ... google.htm

Je cite :

Sous entendu : pas d'influence sur le positionnement.

Arnaud

 

Merci ça me rassure qq part

 

Je confirme, je crois même que Matt avait fait un post là dessus...
Ca semble normal quelque part, une page lourde peut en effet avoir beaucoup de contenu pertinent...
Après je serais curieux de savoir à partir de quel délais Google Bot laisse tomber l'affaire...

 

oui c'est bien ce qui me semblait aussi. Et le point important idem, à partir de combien de temps google lache-t-il l'affaire, imaginons une page équivalent à un livre de poche de 400 pages ? l'a lit-il entièrement ? si oui qu'en retient t-il.

Si on se réfère à ce qu'on entend le plus fréquement google ne prendrait en compte que X (300 - 500) mots du contenu visible, mais lit-il le reste ? Et à quoi cela lui sert-il s'il ne le prend pas en compte ? Ce bot est-il un flemmard ?

 

Google prend toute la page en compte.
Facile à vérifier: tu prends une phrase quelconque (sur une page de plus de 500 mots) que tu soumets en requête à Google.

 

Mais à partir de combien de temps il considère que le serveur ne répond pas?

 

et bien justement c çà la question, aucune info.

hypothèse : pas longtemps

soit le serveur répond tout de suite (il reviendra le bot sauf si le serveur ne répond jamais)

soit le serveur répond pas et il passe à autre chose (m'étonnerai qu'il essaye 10 000 ping qui pourrait être taxés de flood).

 

il y a 1 truc que je ne comprends pas : admettons que mon site ait un trafic mensuel de 2%/mois, est ce que cela a 1 rapport avec l'accessibilité du site ? Ceci veut il dire que GGbot va crawlé mes pages plus vite :?:

 

Ca tombe bien, moi non plus :wink: 2% de quoi ?

 

lol oui désolé c'était pas clair.
Je veux dire sur le panneau admin ovh pour le 60 gp je lis :
Capacité traffic mensuel: 20 Go
Utilisé : 400 Mo
Donc je voulais dire 2% de la capacité max sur la bande passante autorisée sur cet hébergement.

Puis je en déduire que GGbot va crawlé plus vite mon site parce que je n'utilise pas bcp de bande passante ?

 

J'ai raté quelque chose, mais je n'ai pas vu où indiquer la bande passante à notre disposition dans l'interface webmaster de google. :lol:
Très de plaisanterie, gg ne tient pas compte de ça pour crawler. Soit il trouve le site intéressant et il va le crawler plus profondément, soit il l'a déjà crawlé entièrement, il ne trouve pas de nouveaux liens et les pages déjà crawlées ne changeant pas, il n'a aucun intérêt à crawler plus rapidement, il a déjà suffisamment de travail comme ça.
SI il trouve qu'il pourrait intensifier son travail sur ton site, il proposerait d'aller plus vite, si ce n'est pas le cas, c'est que ça lui suffit.
Et en plus, comme tous les webmasters se sont dit, "chic, je le règle au max, comme ça je serais crawlé plus souvent" et bien maintenant c'est supprimé ou très limité.
En plus, j'ai des doutes sur le crawl plus efficient des liens dans la sitemap.

 

alors là, je comprend pas ...
j'ai 3 serveurs dédiés pour ce site, normalement ça devrait tourner du tonnerre, et j'ai toujours
"La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition."

 

en même temps ça dépend, ya ptet un ratio entre le nombre de pages restant à indexer et la capacité de ton serveur

 

par rapport à ce que je vois selon mes sites sur serveurs dédiés ou mutu, je comprends qu'il utilise la vitesse la plus importante quand il sait que sur un même serveur on n'a pas de milliers de sites et que, par défaut, sur un mutu, il considère qu'il ne faut pas trop charger et c'est pour cela que l'option "plus rapide" peut être disponible.

 

L'option "plus rapide" apparait quand un site est mis à jour quotidiennement avec ajout de plusieurs pages par jour accessibles depuis la page d'accueil.

 

non, pour moi ça dépend du nombre de sites hébergés sur la même ip : mets un site qui ne bouge pas du tout sur un mutualisé, tu auras l'option plus rapide. Sur un dédié avec peut d'autres sites, gg sait qu'il ne gênera pas ton serveur en crawlant à la vitesse qu'il veut.

 

j'ai un site et un seul pour une IP, et une mise à jour toutes les 15 minutes en moyenne, donc pour moi ce n'est pas ca qui fraine. je ne comprend pas le problème

 

c'est quoi le problème ? que gg ne crawle pas assez vite ou qu'il ne fasse pas apparaitre "plus rapide" dans l'interface ?

 

Bonjour à tous,

Je possède un site communautaire et depuis 2 mois, j'ai ouvert mon "e-shop".
Depuis que j'ai mis un "site map" automatisé (OS Commerce) sur ce dernier, et que je modifie le site tous les jours (d'où le site map), l'option "plus rapide " est apparue :



a+