Vitesse d'exploration par Google - Outils pour Webmasters

WRInaute accro
Bonjour,

Google Outils pour webmasters me dit, pour un de mes sites :

La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition.

Qu'est ce que ça signifie réellement ?

Michaël
 
WRInaute accro
salva a dit:
Je pense que s'en est la raison.
Augmenter la vitesse d'exploration augmente la charge du serveur.

J'étais passé en haute vitesse avant. Mais si le serveur est surchargé, ça ne vient pas de mon site... Trop de monde sur ce serveur ?
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Je pense que s'en est la raison.
Augmenter la vitesse d'exploration augmente la charge du serveur.

J'étais passé en haute vitesse avant. Mais si le serveur est surchargé, ça ne vient pas de mon site... Trop de monde sur ce serveur ?
Ben si: c'est en crawlant rapidement ton domaine que la charge du serveur augmente.
 
WRInaute accro
salva a dit:
Onthisplanet a dit:
salva a dit:
Je pense que s'en est la raison.
Augmenter la vitesse d'exploration augmente la charge du serveur.

J'étais passé en haute vitesse avant. Mais si le serveur est surchargé, ça ne vient pas de mon site... Trop de monde sur ce serveur ?
Ben si: c'est en crawlant rapidement ton domaine que la charge sur serveur augmente.

Ok, mais le crawl rapide sur mon site n'a jamais explosé les stats. Plutôt une bonne vieille brasse des familles !
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Onthisplanet a dit:
salva a dit:
Je pense que s'en est la raison.
Augmenter la vitesse d'exploration augmente la charge du serveur.

J'étais passé en haute vitesse avant. Mais si le serveur est surchargé, ça ne vient pas de mon site... Trop de monde sur ce serveur ?
Ben si: c'est en crawlant rapidement ton domaine que la charge sur serveur augmente.

Ok, mais le crawl rapide sur mon site n'a jamais explosé les stats. Plutôt une bonne vieille brasse des familles !
Ben non: c'est pas le poid du crawl qui change mais sa vitesse.
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Ben non: c'est pas le poid du crawl qui change mais sa vitesse.

Tu veux dire que ce sont les pics en instantané qui dimensionnent, c'est ça ?
Le bot crawl le domaine à une vitesse raisonnable pour que le visiteur puisse continuer à surfer sur le site de manière fluide.
Si tu augmentes cette vitesse, la navigation s'en ressent pendant le crawl.
 
WRInaute accro
salva a dit:
Onthisplanet a dit:
salva a dit:
Ben non: c'est pas le poid du crawl qui change mais sa vitesse.

Tu veux dire que ce sont les pics en instantané qui dimensionnent, c'est ça ?
Le bot crawl le domaine à une vitesse raisonnable pour que le visiteur puisse continuer à surfer sur le site de manière fluide.
Si tu augmentes cette vitesse, la navigation s'en ressent pendant le crawl.

Ok. En gros, je laisse en vitesse standard, ça ira. Et le problème ne vient pas de mon site, c'est déjà ça. C'est bon ?
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Onthisplanet a dit:
salva a dit:
Ben non: c'est pas le poid du crawl qui change mais sa vitesse.

Tu veux dire que ce sont les pics en instantané qui dimensionnent, c'est ça ?
Le bot crawl le domaine à une vitesse raisonnable pour que le visiteur puisse continuer à surfer sur le site de manière fluide.
Si tu augmentes cette vitesse, la navigation s'en ressent pendant le crawl.

Ok. En gros, je laisse en vitesse standard, ça ira. Et le problème ne vient pas de mon site, c'est déjà ça. C'est bon ?
Oui c'est bon :)
Et non, ton site n'est pas en cause mais plutôt ton hébergement :wink:
 
WRInaute accro
salva a dit:
Oui c'est bon :)
Et non, ton site n'est pas en cause mais plutôt ton hébergement :wink:

Tu penses que cette insuffisance de l'hébergement pourrait aussi me nuire au niveau de la navigation par les internautes ?
 
WRInaute passionné
Re: Vitesse d'exploration par Google - Outils pour Webmaster

Onthisplanet a dit:
Google Outils pour webmasters me dit, pour un de mes sites :

La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition.

Même chose pour moi. Et c'est aussi pour un site chez ovh. Comme quoi, les nombreux problèmes de lenteurs qu'il y a eu les dernières semaines ont vraiment un impact sur le référencement !
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Oui c'est bon :)
Et non, ton site n'est pas en cause mais plutôt ton hébergement :wink:

Tu penses que cette insuffisance de l'hébergement pourrait aussi me nuire au niveau de la navigation par les internautes ?
J’irai même plus loin.

<mode hypothèse>

J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la charge induite par le trafic supplémentaire.
</mode hypothèse>

A vérifier mais je ne sais pas comment :?
 
WRInaute accro
salva a dit:
J’irai même plus loin.

<mode hypothèse>

J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la charge induite par le trafic supplémentaire.
</mode hypothèse>

A vérifier mais je ne sais pas comment :?

Oulà, c'est grave ça. Quelqu'un pour confirmer ?
Ca voudrait dire qu'il vaut mieux déplacer mon site ?
 
WRInaute accro
Pour me conforter dans cette hypothèse, je me dis que Google n’a aucun intérêt à présenter en tête des requêtes un site down aux heures de pointes.
Par ailleurs, je n’en ai jamais rencontré.
 
WRInaute accro
salva a dit:
Pour me conforter dans cette hypothèse, je me dis que Google n’a aucun intérêt à présenter en tête des requêtes un site down aux heures de pointes.
Par ailleurs, je n’en ai jamais rencontré.

D'un autre coté, je n'ai jamais vu mon site down (en dehors des pannes OVH généralisées) !
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Pour me conforter dans cette hypothèse, je me dis que Google n’a aucun intérêt à présenter en tête des requêtes un site down aux heures de pointes.
Par ailleurs, je n’en ai jamais rencontré.

D'un autre coté, je n'ai jamais vu mon site down (en dehors des pannes OVH généralisées) !
Alléluia :D

Peut être qu'avec une exploration plus rapide, Google estime qu'il le serait :wink:
 
WRInaute impliqué
Je n'ai pas la même lecture de cette phrase: A mon avis, ça signifie que pour l'instant, à la vitesse normale, Google arrive à explorer ton site sans problème. Si ton nombre de pages augmente rapidement, passer à la vitesse superieure pourrait apporter un plus (et donc ils activeraient cette fonction), mais au risque de consommer plus de bande passante.
 
WRInaute accro
vpx a dit:
Je n'ai pas la même lecture de cette phrase: A mon avis, ça signifie que pour l'instant, à la vitesse normale, Google arrive à explorer ton site sans problème. Si ton nombre de pages augmente rapidement, passer à la vitesse superieure pourrait apporter un plus (et donc ils activeraient cette fonction), mais au risque de consommer plus de bande passante.

Je préfère cette lecture, sous tous les aspects. GG n'est-il pas en train de me dire qu'il a fait le tour du proprio et que pour voir les évolutions, il n'a pas besoin d'aller plus vite que la normale ?
 
WRInaute accro
vpx a dit:
Je n'ai pas la même lecture de cette phrase: A mon avis, ça signifie que pour l'instant, à la vitesse normale, Google arrive à explorer ton site sans problème. Si ton nombre de pages augmente rapidement, passer à la vitesse superieure pourrait apporter un plus (et donc ils activeraient cette fonction), mais au risque de consommer plus de bande passante.
Il semblerait que j'ai mis dans le mille :oops:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site. Vous trouverez également des informations sur l'étendue de l'exploration de votre site Googlebot au cours des 90 derniers jours. Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer". Ce nouveau paramètre sera valable 90 jours. Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide. Si vous souhaitez que Googlebot explore votre site plus rapidement, sélectionnez simplement l'option "Plus rapide" et cliquez sur "Enregistrer". À tout moment, vous pouvez accéder à cet outil et choisir l'option "Normale" pour rétablir la vitesse d'exploration initiale. Si, après 90 jours, vous ne souhaitez pas revenir à une exploration normale, vous pouvez sélectionner "Moins rapide" ou "Plus rapide" par le biais de l'outil.

source
 
WRInaute impliqué
Non au contraire, ça veut dire que sur le site, tout va bien: Google n'estime pas que l'exploration est restreinte, et si un jour Google pense qu'une exploration plus rapide est necessaire (certainement compte tenu de la progression du nombre de pages), il ne le fera pas automatiquement, mais rendra l'option disponible.
J'ai la même indication dans mon compte sitemaps, et Google explore mon site tous les jours sans problème.
 
WRInaute accro
Il passe moi aussi tous les jours, a priori sans soucis. On peut dire en tout cas que ce n'est pas absolument clair...
 
WRInaute accro
vpx a dit:
Non au contraire, ça veut dire que sur le site, tout va bien:
Je n'ai à aucun moment prétendu le contraire.
vpx a dit:
Google n'estime pas que l'exploration est restreinte, et si un jour Google pense qu'une exploration plus rapide est necessaire (certainement compte tenu de la progression du nombre de pages), il ne le fera pas automatiquement, mais rendra l'option disponible.
J'ai la même indication dans mon compte sitemaps, et Google explore mon site tous les jours sans problème.
Présentement, nous ne sommes pas d'accord sur l'interprétation.

Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide.

Onthisplanet, sur la page "Vitesse d’exploration", la case "Plus rapide" est-elle sélectionnable?
Chez moi, elle ne l'est pas.
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Onthisplanet, sur la page "Vitesse d’exploration", la case "Plus rapide" est-elle sélectionnable?
Chez moi, elle ne l'est pas.

Elle le fut. Elle ne l'est plus.
Idem pour moi.

Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.
 
WRInaute accro
salva a dit:
Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.

Si tu le fais, tiens moi au courant ! :wink:
 
WRInaute accro
Onthisplanet a dit:
salva a dit:
Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.

Si tu le fais, tiens moi au courant ! :wink:
Idem pour toi :D
Mais j'y songe sérieusement, une dédibox probablement.
 
WRInaute accro
salva a dit:
Onthisplanet a dit:
salva a dit:
Idem pour toi :D
Mais j'y songe sérieusement, une dédibox probablement.

Moi, je n'y songe pas. Un dédié pour un site perso, c'est un peu cher !
Tout dépend de ce qu'il te ramène et de son potentiel.

Le potentiel : il serait important si j'y bossais toute la journée.
Ce qu'il ramène : je n'ai pas envie de le dépenser dans un dédié...
 
WRInaute impliqué
salva a dit:
Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.
Moi je ne pense pas que Google fasse un crash-test des sites pour le ranking. Mais c'est vrai qui si ton serveur est constamment sur les genoux quand le bot passe, tu auras des soucis de positionnement, c'est logique (d'ailleurs je le constate sur un site hebergé sur l'offre promotionnelle de 1&1). Mais c'est simple à vérifier: Dans les statistiques d'exploration de sitemaps, si tu as fréquemment des erreurs du type "réseau innaccessible", tu peux effectivement penser à faire évoluer ton hebergement. S'il n'y a pas d'erreur, c'est que tout va bien de ce côté.
 
WRInaute accro
vpx a dit:
salva a dit:
Je reste convaincu que si je passais en dédié avec des ressources suffisantes, non seulement je pourrais la sélectionnée mais surtout, je gagnerais en positionnement.
Moi je ne pense pas que Google fasse un crash-test des sites pour le ranking. Mais c'est vrai qui si ton serveur est constamment sur les genoux quand le bot passe, tu auras des soucis de positionnement, c'est logique (d'ailleurs je le constate sur un site hebergé sur l'offre promotionnelle de 1&1). Mais c'est simple à vérifier: Dans les statistiques d'exploration de sitemaps, si tu as fréquemment des erreurs du type "réseau innaccessible", tu peux effectivement penser à faire évoluer ton hebergement. S'il n'y a pas d'erreur, c'est que tout va bien de ce côté.
N'est-ce pas sous entendu ci-dessous:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur.
 
WRInaute impliqué
Bah il me semble évident que la vitesse d'exploration est conditionnée par la vitesse d'évolution d'un site. Par exemple, moi j'ai un forum assez vivant, et Google y passe plusieurs fois par jour, en consommant beaucoup de bande passante. A côté de ça, j'ai des sites statiques dont les mises à jour sont rares, et la, Google passe épisodiquement. Franchement, je crois que si Google faisait des tests de montée en charge de chaque serveur, ce serait vraiment ennuyeux pour les webmaster... Imagine sur un serveur mutualisé qui heberge 300 sites! Si google les teste un par un chaque jour jusqu'à épuisement du quota de bande passante...
 
WRInaute accro
vpx a dit:
Bah il me semble évident que la vitesse d'exploration est conditionnée par la vitesse d'évolution d'un site. Par exemple, moi j'ai un forum assez vivant, et Google y passe plusieurs fois par jour, en consommant beaucoup de bande passante. A côté de ça, j'ai des sites statiques dont les mises à jour sont rares, et la, Google passe épisodiquement. Franchement, je crois que si Google faisait des tests de montée en charge de chaque serveur, ce serait vraiment ennuyeux pour les webmaster... Imagine sur un serveur mutualisé qui heberge 300 sites! Si google les teste un par un chaque jour jusqu'à épuisement du quota de bande passante...
Mais il le fait, par algorithmes: en fonction du diagnostique, il autorise ou non l’activation de la case "Plus rapide".

En tout cas, c'est ce que je comprends en lisant l'aide fournie par Google.
 
WRInaute impliqué
Non franchement je pense que tu n'es pas dans le vrai ;)
Tiens si ça peut commencer à te convaincre: J'ai récemment lancé une petite plateforme de blogs qui est hebergée sur un serveur dédié (completement sous-exploité car trés peu de visiteurs), et je n'ai pas non plus la case "+ rapide" dans le sitemaps. Et pourtant, je peux te dire que Google pourrait y aller rapidement pour le crawl, il est quasimment tout seul!
 
WRInaute accro
vpx a dit:
Non franchement je pense que tu n'es pas dans le vrai ;)
Tiens si ça peut commencer à te convaincre: J'ai récemment lancé une petite plateforme de blogs qui est hebergée sur un serveur dédié (completement sous-exploité car trés peu de visiteurs), et je n'ai pas non plus la case "+ rapide" dans le sitemaps. Et pourtant, je peux te dire que Google pourrait y aller rapidement pour le crawl, il est quasimment tout seul!
La question n'est pas de me convaincre ou non, elle réside dans l'interprétation de ce que dit Google

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site. Vous trouverez également des informations sur l'étendue de l'exploration de votre site Googlebot au cours des 90 derniers jours. Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer". Ce nouveau paramètre sera valable 90 jours. Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide. Si vous souhaitez que Googlebot explore votre site plus rapidement, sélectionnez simplement l'option "Plus rapide" et cliquez sur "Enregistrer". À tout moment, vous pouvez accéder à cet outil et choisir l'option "Normale" pour rétablir la vitesse d'exploration initiale. Si, après 90 jours, vous ne souhaitez pas revenir à une exploration normale, vous pouvez sélectionner "Moins rapide" ou "Plus rapide" par le biais de l'outil.

source
 
WRInaute accro
salva a dit:
Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site.
Pour moi, ça veut dire qu'au travers de ses différents crawls, il s'est aperçu qu'il n'avait pas besoin d'aller plus vite, vu le peu de changements du contenu des pages crawlées;
S'il calculait automatiquement la charge optimale du serveur, il ne laisserait pas la possibilité de diminuer cette vitesse de crawl.
J'ai eu des sites chez OVH (90Plan et 300GP) qui ont eu l'option plus rapide pendant quelques mois.
Mais sur certains sites, je suis repassé en "Moins rapide"
 
WRInaute impliqué
(Je suis content de voir que je ne suis pas le seul à avoir compris :) )
Non, ton site n'est pas asmathique, il est simplement "normal". Mais si un jour sa croissance devient exceptionnellement rapide, Google te donnera la possibilité de l'autoriser à crawler plus rapidement.
 
WRInaute accro
vpx a dit:
(Je suis content de voir que je ne suis pas le seul à avoir compris :) )
Non, ton site n'est pas asmathique, il est simplement "normal". Mais si un jour sa croissance devient exceptionnellement rapide, Google te donnera la possibilité de l'autoriser à crawler plus rapidement.

Ok, j'ai compris. J'espère un jour pouvoir te donner l'opportunité de confirmer cette interprétation !
(N'empêche que mon forum est quand même asmathique...)
 
WRInaute accro
plus que ce critère, il faut regarder le nombre de pages crawlées (mi, max et moyen).
J'ai un site, où le nombre de pages moyen crawlé et supérieur au nombre de pages dans l'index de GG :cry:
 
WRInaute accro
Leonick a dit:
salva a dit:
Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site.
Pour moi, ça veut dire qu'au travers de ses différents crawls, il s'est aperçu qu'il n'avait pas besoin d'aller plus vite, vu le peu de changements du contenu des pages crawlées;
S'il calculait automatiquement la charge optimale du serveur, il ne laisserait pas la possibilité de diminuer cette vitesse de crawl.
J'ai eu des sites chez OVH (90Plan et 300GP) qui ont eu l'option plus rapide pendant quelques mois.
Mais sur certains sites, je suis repassé en "Moins rapide"

Ce n'est pas si: Google le fait, c'est stipulé en toutes lettres :wink:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.

Il est aussi dit concernant la réduction de la vitesse:

Si vous souhaitez limiter la vitesse d'exploration de votre site, sélectionnez simplement l'option "Moins rapide" et cliquez sur "Enregistrer"

Par contre vous remarquerez que le choix d'augmenter la vitesse leur est réservé:

Si nous estimons que l'exploration de votre site est restreinte (nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante), nous vous le ferons savoir et vous proposerons une exploration plus rapide.
 
WRInaute accro
salva a dit:
Ce n'est pas si: Google le fait, c'est stipulé en toutes lettres :wink:
Ce n'est pas tout à fait ce qui est marqué.
Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site.
Ce qu'ils disent c'est qu'ils calculent la vitesse optimale de crawl, (par rapport à différents paramètres qui doivent tenir compte des liens internes dans les pages, du sitemap, de la vitesse de modification des pages, etc... à aucun moment de la bande passante), et si nous, on trouve qu'il charge trop notre serveur, on peut réduire cette vitesse. De même pour augmenter, s'ils pouvaient calculer automatiquement la charge d'un serveur ils ne laisseraient pas cette possibilité
 
WRInaute accro
Leonick a dit:
salva a dit:
Ce n'est pas si: Google le fait, c'est stipulé en toutes lettres :wink:
Ce n'est pas tout à fait ce qui est marqué.
Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite sans surcharger la bande passante de votre serveur. Vous pouvez utiliser l'outil de réglage de la vitesse d'exploration, accessible à partir de l'onglet Diagnostic, pour nous demander de modifier ce paramètre pour votre site.
Ce qu'ils disent c'est qu'ils calculent la vitesse optimale de crawl, (par rapport à différents paramètres qui doivent tenir compte des liens internes dans les pages, du sitemap, de la vitesse de modification des pages, etc... à aucun moment de la bande passante), et si nous, on trouve qu'il charge trop notre serveur, on peut réduire cette vitesse. De même pour augmenter, s'ils pouvaient calculer automatiquement la charge d'un serveur ils ne laisseraient pas cette possibilité
Ca ressemble à de la mauvaise foi où alors tu ne prends pas la peine de tout lire 8O

Je cite pour la nième fois:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.


nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante

Explique moi aussi pourquoi je ne peux pas séléctionner "Plus Rapide"
 
WRInaute impliqué
salva a dit:
Ca ressemble à de la mauvaise foi où alors tu ne prends pas la peine de tout lire 8O

Je cite pour la nième fois:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.


nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante

Explique moi aussi pourquoi je ne peux pas séléctionner "Plus Rapide"
Keep cool Salva, ce tout petit problème ne mérite pas d'invoquer la "mauvaise foi".
Pour mieux comprendre la phrase, tu peux lire la version originale en anglais:
"If we determine that we are limiting how much we crawl your site (in other words, we would crawl your site more if we felt your server could handle the additional bandwidth), we will let you know this and offer the option for a faster crawl."
Le "si nous savions", ca veut dire "si vous cochiez la case + rapide, nous saurions que votre serveur peut nous accorder d'avantage de bande passante".
Moi je ne la trouve même pas ambigüe cette phrase... Tout me semble évident, donc je ne peux pas te l'expliquer mieux. En plus techniquement, ce serait abérant que Google épuise la bande passante des sites web pour le ranking... Il faut savoir que certains hebergements sont limités en bande passante: Une fois le maximum atteint, tu as une page blanche "bandwidth exceeded" jusqu'au mois suivant. Donc imagine seulement la catastrophe... Sur certains hebergements gratuits, le site est directement fermé en cas de conso excessive.
 
WRInaute accro
vpx a dit:
salva a dit:
Ca ressemble à de la mauvaise foi où alors tu ne prends pas la peine de tout lire 8O

Je cite pour la nième fois:

Googlebot dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration de chaque site.


nous explorerions plus de pages de votre site si nous savions que votre serveur pouvait gérer une bande passante plus importante

Explique moi aussi pourquoi je ne peux pas séléctionner "Plus Rapide"
Keep cool Salva, ce tout petit problème ne mérite pas d'invoquer la "mauvaise foi".
Pour mieux comprendre la phrase, tu peux lire la version originale en anglais:
"If we determine that we are limiting how much we crawl your site (in other words, we would crawl your site more if we felt your server could handle the additional bandwidth), we will let you know this and offer the option for a faster crawl."
Moi je ne la trouve même pas ambigüe cette phrase... Tout me semble évident, donc je ne peux pas te l'expliquer mieux. En plus techniquement, ce serait abérant que Google épuise la bande passante des sites web pour le ranking... Il faut savoir que certains hebergements sont limités en bande passante: Une fois le maximum atteint, tu as une page blanche "bandwidth exceeded" jusqu'au mois suivant. Donc imagine seulement la catastrophe... Sur certains hebergements gratuits, le site est directement fermé en cas de conso excessive.
Mais je suis cool, crois moi :wink:
Mais quand j'en rencontre un exemple flagrant (de mauvaise foi), pourquoi pas.
Si s'en est pas, c'est pire :D
 
WRInaute impliqué
En tout cas dans le lien que tu as donné, tu as la réponse à ta question:
Quand la case "+ rapide" est dispo,:
Quand Google propose cette option, il faudrait peut-être se demander s’il n’est pas possible d’optimiser le fonctionnement de son site ou penser à l’installer sur un serveur plus rapide…
C'est ce que je dis depuis le début. J'en reste la pour ma part. ;)
 
WRInaute accro
vpx a dit:
En tout cas dans le lien que tu as donné, tu as la réponse à ta question:
Quand la case "+ rapide" est dispo,:
Quand Google propose cette option, il faudrait peut-être se demander s’il n’est pas possible d’optimiser le fonctionnement de son site ou penser à l’installer sur un serveur plus rapide…
C'est ce que je dis depuis le début. J'en reste la pour ma part. ;)
Tu as aussi prétendu autre chose.
Je te laisse le soin de tout relire :wink:
 
WRInaute accro
De ceci:

<mode hypothèse>
J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la surcharge induite par le trafic supplémentaire.
</mode hypothèse>

Vous en pensez quoi?

Une personne en mesure d’infirmer ou de confirmer?
 
WRInaute accro
salva a dit:
<mode hypothèse>
J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la surcharge induite par le trafic supplémentaire.
</mode hypothèse>
Vu le nombre de sites hébergés sur free.fr et leur positionnement, j'ai des doutes. Surtout quand on connait les problèmes de montée en charge que connait free à certains moments (de la journée, de la semaine, ...)
 
WRInaute passionné
Leonick a dit:
salva a dit:
<mode hypothèse>
J’ai le sentiment que notre ami Google ne positionnera jamais (j’entends par là, un très bon positionnement) un site quelconque si ce dernier n’est pas apte à supporter la surcharge induite par le trafic supplémentaire.
</mode hypothèse>
Vu le nombre de sites hébergés sur free.fr et leur positionnement, j'ai des doutes. Surtout quand on connait les problèmes de montée en charge que connait free à certains moments (de la journée, de la semaine, ...)
tout dépend du succès des requêtes en question
 
WRInaute impliqué
hypothèse rejetée j'ai transféré un de mes sites amen (sphera/linux) sur un 90ovh et cela n'a pas influencé le référencement ni la réponse de cet outil google.

je ne pense pas que la vitesse du crawlbot soit un facteur m^me infime.

:)
 
WRInaute accro
Altenide a dit:
hypothèse rejetée j'ai transféré un de mes sites amen (sphera/linux) sur un 90ovh et cela n'a pas influencé le référencement ni la réponse de cet outil google.

je ne pense pas que la vitesse du crawlbot soit un facteur m^me infime.

:)
Ce n'est pas la question :)

Celle que je me pose:
Si un site (plus précisément le serveur qui l'héberge) n’est pas apte à supporter la surcharge induite par le trafic supplémentaire (consécutif à un meilleur positionnement), a t-il une chance de se retrouver en tête des requêtes?
 
WRInaute impliqué
Si un site (plus précisément le serveur qui l'héberge) n’est pas apte à supporter la surcharge induite par le trafic supplémentaire (consécutif à un meilleur positionnement), a t-il une chance de se retrouver en tête des requêtes?

ça doit dépendre du taux de surcharge et comment il se traduit s'il est répété etc. Une lenteur d'accès exagérée doit un minimum bloquer les bots, tout dépend donc (si on parle de google), de son degré de tolérance. Il faudrait tester ... Ce qui ne me semble pas évident.

A priori un site qui rencontrerait ce genre de pb de manière répété raterait la moitié des google dance. Si on part du principe que le site est en premier sur une requete importante et que bcp de site cible cette requete alors je ne vois pas comment il se maintiendrait en première place.[/quote]
 
WRInaute accro
Re: Vitesse d'exploration par Google - Outils pour Webmaster

Altenide a dit:
Si un site (plus précisément le serveur qui l'héberge) n’est pas apte à supporter la surcharge induite par le trafic supplémentaire (consécutif à un meilleur positionnement), a t-il une chance de se retrouver en tête des requêtes?

ça doit dépendre du taux de surcharge et comment il se traduit s'il est répété etc. Une lenteur d'accès exagérée doit un minimum bloquer les bots, tout dépend donc (si on parle de google), de son degré de tolérance. Il faudrait tester ... Ce qui ne me semble pas évident.

A priori un site qui rencontrerait ce genre de pb de manière répété raterait la moitié des google dance. Si on part du principe que le site est en premier sur une requete importante et que bcp de site cible cette requete alors je ne vois pas comment il se maintiendrait en première place.
[/quote]

Tu estimes donc qu'il pourrait paraître dans les premiers résultats de recherche mais ne pas y rester?
 
WRInaute impliqué
EUh, sauf si j'ai mal compris l'hypothèse de départ :

A - le site est positonné en 1 sur une requete
ce positionnement entraine une surchage (bande pasante over)
le bot ne peux plus indexé que par intermittence

soit la requete est concurrentielle : le site chute dans les abimes
soit la requete n'est pas concurrencielle : le site garde sa position

B - Le site n'est pas optimisé et est surchargé.
le bot ne peux plus indexé que par intermittence
le site ne décollera jamais des bas-fonds

donc pour répondre a ta question : Oui :)
 
WRInaute accro
On y est presque :D

Sachant que Google est capable de déterminer la charge d’un serveur, je me dis qu’il n’a aucun intérêt à présenter un site qui ne pourrait faire face à l’afflux supplémentaire de charge serveur induit par la 1ère place d’une requête concurrentielle (le site en question serait optimisé sémantiquement parlant qui avec des ressources suffisantes serait en 1ère position).

Je souhaiterais savoir si Google le positionnera quand même à la 1ère place, du moins pour un certain temps.

Où alors d'entrée, sur une position moins reluisante (donc moins de visiteurs) qui permettrait au serveur d’assumer la charge demandée.

Si vous avez des retours, c’est avec plaisir que je vous lirai.

Merci.
 
WRInaute passionné
Disons que si on part à l'inverse sur des contre-exemples. J'ai devant moi sur une requête très concurrentielle un vieux site tout moche dont je ne pense pas qu'il soit sur un dédié, et qui veut pas bouger le c.. !

Alors je reste en deuxième place avec le site du www en question qui fait pourtant énormément de visites (plus d'un millier par jour) et pourtant pas très visité par les robots..
 
WRInaute accro
RomsIW a dit:
Disons que si on part à l'inverse sur des contre-exemples. J'ai devant moi sur une requête très concurrentielle un vieux site tout moche dont je ne pense pas qu'il soit sur un dédié, et qui veut pas bouger le c.. !

Alors je reste en deuxième place avec le site du www en question qui fait pourtant énormément de visites (plus d'un millier par jour) et pourtant pas très visité par les robots..
Quel âge a ce c.. de site :D
 
WRInaute passionné
salva a dit:
RomsIW a dit:
Disons que si on part à l'inverse sur des contre-exemples. J'ai devant moi sur une requête très concurrentielle un vieux site tout moche dont je ne pense pas qu'il soit sur un dédié, et qui veut pas bouger le c.. !

Alors je reste en deuxième place avec le site du www en question qui fait pourtant énormément de visites (plus d'un millier par jour) et pourtant pas très visité par les robots..
Quel âge a ce c.. de site :D
disons que c'est un vieux c.. ! mais nous on a deux ans quand même, alors place aux jeunes vieux pas c.. ('fin j'espère) ! (pour trouver la requete en question, il suffit de regarder les premiers mots du titre de la page principale du site en www hein ;))
 
WRInaute accro
si les hypothèses du dessus sont bonnes, il suffit de lui faire un bon référencement, au site concurrent, comme cela il aura plein de visiteurs et ça lui chargera son serveur d'où un DOS et comme gg trouvera que son serveur n'assure pas, il le retrogradera :twisted: :twisted:
 
WRInaute accro
RomsIW a dit:
salva a dit:
RomsIW a dit:
Disons que si on part à l'inverse sur des contre-exemples. J'ai devant moi sur une requête très concurrentielle un vieux site tout moche dont je ne pense pas qu'il soit sur un dédié, et qui veut pas bouger le c.. !

Alors je reste en deuxième place avec le site du www en question qui fait pourtant énormément de visites (plus d'un millier par jour) et pourtant pas très visité par les robots..
Quel âge a ce c.. de site :D
disons que c'est un vieux c.. ! mais nous on a deux ans quand même, alors place aux jeunes vieux pas c.. ('fin j'espère) ! (pour trouver la requete en question, il suffit de regarder les premiers mots du titre de la page principale du site en www hein ;))
2001 quand même pour le NDD :wink:

Mais ça me dit pas si son serveur n'est pas apte à supporter la surcharge.
Présentement , je parle de surcharge engendrée par les visiteurs et non de crawl des bots.

Si tu as 1000 visites/jour, il doit en avoir au moins autant.
 
WRInaute impliqué
C'est marrant comment un texte peut prêter à des interprétations différentes.

A mon avis, c'est vpx qui a raison.
Salva, je ne vois pas où tu as pris le texte en français que tu cites (moi je vois un texte en anglais) mais ta traduction n'est pas tout à fait exacte. Le sens est "si nous sentons que nous avons limité le crawl alors nous vous proposerons..."
Tant que googlebot a l'impression qu'il peut lire autant de pages que nécessaire, il ne proposera pas l'option.

A mon avis, on a tous mis "vitesse supérieure" il y a quelques mois et le bot ne savait plus où donner de la tête, donc maintenant ils grisent l'option tant qu'ils estiment en lire suffisamment.
 
WRInaute accro
Remi L. a dit:
A mon avis, on a tous mis "vitesse supérieure" il y a quelques mois et le bot ne savait plus où donner de la tête, donc maintenant ils grisent l'option tant qu'ils estiment en lire suffisamment.

En effet, je l'ai cochée pour tous mes sites...
 
WRInaute accro
Remi L. a dit:
C'est marrant comment un texte peut prêter à des interprétations différentes.

A mon avis, c'est vpx qui a raison.
Salva, je ne vois pas où tu as pris le texte en français que tu cites (moi je vois un texte en anglais) mais ta traduction n'est pas tout à fait exacte. Le sens est "si nous sentons que nous avons limité le crawl alors nous vous proposerons..."
Tant que googlebot a l'impression qu'il peut lire autant de pages que nécessaire, il ne proposera pas l'option.

A mon avis, on a tous mis "vitesse supérieure" il y a quelques mois et le bot ne savait plus où donner de la tête, donc maintenant ils grisent l'option tant qu'ils estiment en lire suffisamment.
Toujours tourner 7 fois la langue dans sa bouche :wink:
http://www.annuaire-info.com/referencem ... googlebot/

Tu souhaites donner ton avis, parfait. Mais au moins donnes toi la peine de tout lire.
 
WRInaute passionné
Moi j'ai déjà mis en vitesse d'exploration plus rapide, le délai imparti est dépassé, voici ce que ça affiche now à la place : "Plus rapide Actuellement, le taux d'exploration n'est pas un facteur pour votre site. "

tac rien compris..
 
WRInaute accro
RomsIW a dit:
Moi j'ai déjà mis en vitesse d'exploration plus rapide, le délai imparti est dépassé, voici ce que ça affiche now à la place : "Plus rapide Actuellement, le taux d'exploration n'est pas un facteur pour votre site. "

tac rien compris..
Ca signifie qu'en choisissant plus rapide, la charge serveur est trop importante.
 
WRInaute passionné
salva a dit:
RomsIW a dit:
Moi j'ai déjà mis en vitesse d'exploration plus rapide, le délai imparti est dépassé, voici ce que ça affiche now à la place : "Plus rapide Actuellement, le taux d'exploration n'est pas un facteur pour votre site. "

tac rien compris..
Ca signifie qu'en choisissant plus rapide, la charge serveur est trop importante.
ça risque pas non > dédié et 1300 Visites par jour.. (les autres sites sur le dédié font pas d'audience). En fait, lorsque l'on choisit "rapide", il donne une date max où il s'arrête, et c'est depuis qu'il a atteint cette date il y a peu qu'il me met ça.
 
WRInaute accro
RomsIW a dit:
salva a dit:
RomsIW a dit:
Moi j'ai déjà mis en vitesse d'exploration plus rapide, le délai imparti est dépassé, voici ce que ça affiche now à la place : "Plus rapide Actuellement, le taux d'exploration n'est pas un facteur pour votre site. "

tac rien compris..
Ca signifie qu'en choisissant plus rapide, la charge serveur est trop importante.
ça risque pas non > dédié et 1300 Visites par jour.. (les autres sites sur le dédié font pas d'audience). En fait, lorsque l'on choisit "rapide", il donne une date max où il s'arrête, et c'est depuis qu'il a atteint cette date il y a peu qu'il me met ça.
Exacte
L’aide en ligne de Google pour les webmasters et des messages récents sur le blog de Matt Cutts expliquent clairement que la disponibilité de cette option est liée au concept de”Hostload“. La “charge du serveur web” est estimée par Google en comparant le besoin d’accès de Google à votre serveur et la capacité de celui-ci à transférer, sans problème, les données demandées.

L’option “Plus rapide” ne sera pas disponible pour un serveur que Google considère comme suffisamment performant.

Par contre, si le temps moyen de téléchargement d’une page (troisième graphique de la page “Vitesse d’exploration“) est considéré comme ”long” par Google, le moteur de recherche pourrait conclure qu’il ne peut faire plus d’accès sans mettre en danger le bon fonctionnement de votre site. Dans ces conditions, Google ne visite pas toutes les pages de votre serveur qu’il voudrait indexer. Google offre alors, à vos risques et périls, la possibilité d’autoriser une augmentation de la fréquence des visites de Googlebot et de ses autres robots.


Source
 
WRInaute passionné
Merci pour ça,

Conclusion : un site ayant un hébergement plus performant est plus disposé à être indexé PLUS RAPIDEMENT certainement, mais mieux positionné, on ne sait toujours pas...

D'autres Z'expériences ?
 
WRInaute passionné
WRInaute accro
Je confirme, je crois même que Matt avait fait un post là dessus...
Ca semble normal quelque part, une page lourde peut en effet avoir beaucoup de contenu pertinent...
Après je serais curieux de savoir à partir de quel délais Google Bot laisse tomber l'affaire...
 
WRInaute impliqué
oui c'est bien ce qui me semblait aussi. Et le point important idem, à partir de combien de temps google lache-t-il l'affaire, imaginons une page équivalent à un livre de poche de 400 pages ? l'a lit-il entièrement ? si oui qu'en retient t-il.

Si on se réfère à ce qu'on entend le plus fréquement google ne prendrait en compte que X (300 - 500) mots du contenu visible, mais lit-il le reste ? Et à quoi cela lui sert-il s'il ne le prend pas en compte ? Ce bot est-il un flemmard ?
 
WRInaute accro
Altenide a dit:
oui c'est bien ce qui me semblait aussi. Et le point important idem, à partir de combien de temps google lache-t-il l'affaire, imaginons une page équivalent à un livre de poche de 400 pages ? l'a lit-il entièrement ? si oui qu'en retient t-il.

Si on se réfère à ce qu'on entend le plus fréquement google ne prendrait en compte que X (300 - 500) mots du contenu visible, mais lit-il le reste ? Et à quoi cela lui sert-il s'il ne le prend pas en compte ? Ce bot est-il un flemmard ?
Google prend toute la page en compte.
Facile à vérifier: tu prends une phrase quelconque (sur une page de plus de 500 mots) que tu soumets en requête à Google.
 
WRInaute impliqué
et bien justement c çà la question, aucune info.

hypothèse : pas longtemps

soit le serveur répond tout de suite (il reviendra le bot sauf si le serveur ne répond jamais)

soit le serveur répond pas et il passe à autre chose (m'étonnerai qu'il essaye 10 000 ping qui pourrait être taxés de flood).
 
WRInaute discret
il y a 1 truc que je ne comprends pas : admettons que mon site ait un trafic mensuel de 2%/mois, est ce que cela a 1 rapport avec l'accessibilité du site ? Ceci veut il dire que GGbot va crawlé mes pages plus vite :?:
 
WRInaute discret
lol oui désolé c'était pas clair. :D
Je veux dire sur le panneau admin ovh pour le 60 gp je lis :
Capacité traffic mensuel: 20 Go
Utilisé : 400 Mo
Donc je voulais dire 2% de la capacité max sur la bande passante autorisée sur cet hébergement.

Puis je en déduire que GGbot va crawlé plus vite mon site parce que je n'utilise pas bcp de bande passante ?
 
WRInaute accro
dumbel a dit:
lol oui désolé c'était pas clair. :D
Je veux dire sur le panneau admin ovh pour le 60 gp je lis :
Capacité traffic mensuel: 20 Go
Utilisé : 400 Mo
Donc je voulais dire 2% de la capacité max sur la bande passante autorisée sur cet hébergement.

Puis je en déduire que GGbot va crawlé plus vite mon site parce que je n'utilise pas bcp de bande passante ?
J'ai raté quelque chose, mais je n'ai pas vu où indiquer la bande passante à notre disposition dans l'interface webmaster de google. :lol:
Très de plaisanterie, gg ne tient pas compte de ça pour crawler. Soit il trouve le site intéressant et il va le crawler plus profondément, soit il l'a déjà crawlé entièrement, il ne trouve pas de nouveaux liens et les pages déjà crawlées ne changeant pas, il n'a aucun intérêt à crawler plus rapidement, il a déjà suffisamment de travail comme ça.
SI il trouve qu'il pourrait intensifier son travail sur ton site, il proposerait d'aller plus vite, si ce n'est pas le cas, c'est que ça lui suffit.
Et en plus, comme tous les webmasters se sont dit, "chic, je le règle au max, comme ça je serais crawlé plus souvent" et bien maintenant c'est supprimé ou très limité.
En plus, j'ai des doutes sur le crawl plus efficient des liens dans la sitemap.
 
WRInaute accro
dumbel a dit:
lol oui désolé c'était pas clair. :D
Je veux dire sur le panneau admin ovh pour le 60 gp je lis :
Capacité traffic mensuel: 20 Go
Utilisé : 400 Mo
Donc je voulais dire 2% de la capacité max sur la bande passante autorisée sur cet hébergement.

Puis je en déduire que GGbot va crawlé plus vite mon site parce que je n'utilise pas bcp de bande passante ?

Attention il ne faut pas confondre ta part de BP sur le serveur (qui héberge plusieurs site) et la BP réelle du serveur.
 
WRInaute accro
alors là, je comprend pas ...
j'ai 3 serveurs dédiés pour ce site, normalement ça devrait tourner du tonnerre, et j'ai toujours
"La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition."
 
WRInaute passionné
e-kiwi a dit:
alors là, je comprend pas ...
j'ai 3 serveurs dédiés pour ce site, normalement ça devrait tourner du tonnerre, et j'ai toujours
"La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition."
en même temps ça dépend, ya ptet un ratio entre le nombre de pages restant à indexer et la capacité de ton serveur
 
WRInaute accro
e-kiwi a dit:
alors là, je comprend pas ...
j'ai 3 serveurs dédiés pour ce site, normalement ça devrait tourner du tonnerre, et j'ai toujours
"La vitesse à laquelle Googlebot effectue l'exploration dépend de nombreux facteurs. Actuellement, la vitesse d'exploration n'est pas un facteur dans l'exploration de votre site. Si elle devient un facteur, l'option Plus rapide ci-dessous sera mise à disposition."
par rapport à ce que je vois selon mes sites sur serveurs dédiés ou mutu, je comprends qu'il utilise la vitesse la plus importante quand il sait que sur un même serveur on n'a pas de milliers de sites et que, par défaut, sur un mutu, il considère qu'il ne faut pas trop charger et c'est pour cela que l'option "plus rapide" peut être disponible.
 
WRInaute discret
L'option "plus rapide" apparait quand un site est mis à jour quotidiennement avec ajout de plusieurs pages par jour accessibles depuis la page d'accueil.
 
WRInaute accro
terry a dit:
L'option "plus rapide" apparait quand un site est mis à jour quotidiennement avec ajout de plusieurs pages par jour accessibles depuis la page d'accueil.
non, pour moi ça dépend du nombre de sites hébergés sur la même ip : mets un site qui ne bouge pas du tout sur un mutualisé, tu auras l'option plus rapide. Sur un dédié avec peut d'autres sites, gg sait qu'il ne gênera pas ton serveur en crawlant à la vitesse qu'il veut.
 
WRInaute accro
j'ai un site et un seul pour une IP, et une mise à jour toutes les 15 minutes en moyenne, donc pour moi ce n'est pas ca qui fraine. je ne comprend pas le problème
 
WRInaute accro
e-kiwi a dit:
j'ai un site et un seul pour une IP, et une mise à jour toutes les 15 minutes en moyenne, donc pour moi ce n'est pas ca qui fraine. je ne comprend pas le problème
c'est quoi le problème ? que gg ne crawle pas assez vite ou qu'il ne fasse pas apparaitre "plus rapide" dans l'interface ?
 
P
pascalp32
Guest
Bonjour à tous,

Je possède un site communautaire et depuis 2 mois, j'ai ouvert mon "e-shop".
Depuis que j'ai mis un "site map" automatisé (OS Commerce) sur ce dernier, et que je modifie le site tous les jours (d'où le site map), l'option "plus rapide " est apparue :

b271df947af1e1a4bc58121394fa317f.jpg


a+
 
Discussions similaires
Haut