Google et connexion

Nouveau WRInaute
bjr,

je voudrai mettre un site perso sur ma connexion adsl 1, un site avec simplement des petites images et du texte, pensez vous que google va aller consulter toutes mes pages ?

ou autre formulation : quelle vitesse minimum faut-il pour que google aille visiter votre site sans probleme ?
 
WRInaute occasionnel
chris_bazin a dit:
bjr,

je voudrai mettre un site perso sur ma connexion adsl 1, un site avec simplement des petites images et du texte, pensez vous que google va aller consulter toutes mes pages ?

ou autre formulation : quelle vitesse minimum faut-il pour que google aille visiter votre site sans probleme ?

j'ai une connexion cable avec mon site dessus et j'ai aucun soucis pour que google passe me voir, par contre j'ai un nom de domaine propre or je sais que google n'aime pas trop les sous domaines donc pense peux etre a avec un nom de domaine si c'est pas deja le cas ...
 
WRInaute occasionnel
Pour le débit je ne vois pas vraiment en quoi ca peut etre un problème. Je te conseille de faire quand meme attention a une chose si tu n'as pas d'IP fixe. GoogleBot mémorise ton IP une fois de temps en temps seulement. Par exemple pendant le full crawl, j'ai pu estimer qu'il la determine seulement 2 ou 3 fois en tout, pour une durée de Crawl d'environ 10 jours.

Les conséquences ? Elles peuvent être assez graves... Comme tu le sais certainement, Netissimo1 impose une deconnexion toutes les 24H, et tu changes d'IP a ce moment (sauf si ton provider te fournit une IP fixe gratos, mais ce n'est pas le cas de Wanadoo par exemple). Donc GoogleBot va trouver ton site à son premier passage, mais ensuite il sera orienté vers la mauvaise IP... et ne pourra pas continuer l'indexation.

Il ne cherchera meme pas a refaire une autre resolution DNS pour essayer de trouver ta nouvelle IP a priori, du moins pas avant un bon moment (et ca c'est dans le cas ou l'adresse IP mémorisée ne répondrait pas sur le port 80) ! Pire encore, on peut imaginer le scenario catastrophe ou ton IP est réatribuée a qq1 qui fait la meme chose que toi... alors si cette personne n'utilise pas de filtre sur le HEADER (hebergement monodomaine sur une IP) alors je pense que le contenu de son site peut etre indexé a la place du tien... (mais bon j'avoue quand meme que la probabilité pour que cela arrive doit etre ultra faible !)

Fred
 
WRInaute occasionnel
iconso a dit:
Pour le débit je ne vois pas vraiment en quoi ca peut etre un problème. Je te conseille de faire quand meme attention a une chose si tu n'as pas d'IP fixe. GoogleBot mémorise ton IP une fois de temps en temps seulement. Par exemple pendant le full crawl, j'ai pu estimer qu'il la determine seulement 2 ou 3 fois en tout, pour une durée de Crawl d'environ 10 jours.


Fred

il est vrai que cela me fait encore peur a moi, mais j'ai la chance que le cable ne te deconnecte jamais (logique) et depuis 2mois j'ai la meme IP (ouf!)
 
Nouveau WRInaute
iconso a dit:
Pour le débit je ne vois pas vraiment en quoi ca peut etre un problème. Je te conseille de faire quand meme attention a une chose si tu n'as pas d'IP fixe. GoogleBot mémorise ton IP une fois de temps en temps seulement. Par exemple pendant le full crawl, j'ai pu estimer qu'il la determine seulement 2 ou 3 fois en tout, pour une durée de Crawl d'environ 10 jours.
Fred

tres interessant ça !

en fait j'ai une adresse dynamique fournie par un truc gratuit, donc google ne visite pas ma page par une ip mais une adresse, et quand mon ip change ya un logiciel qui met à jour chez le fournisseur de redirection mon ip

tu penses que c pas dangereux ?
 
WRInaute passionné
chris_bazin a dit:
iconso a dit:
Pour le débit je ne vois pas vraiment en quoi ca peut etre un problème. Je te conseille de faire quand meme attention a une chose si tu n'as pas d'IP fixe. GoogleBot mémorise ton IP une fois de temps en temps seulement. Par exemple pendant le full crawl, j'ai pu estimer qu'il la determine seulement 2 ou 3 fois en tout, pour une durée de Crawl d'environ 10 jours.
Fred

tres interessant ça !

en fait j'ai une adresse dynamique fournie par un truc gratuit, donc google ne visite pas ma page par une ip mais une adresse, et quand mon ip change ya un logiciel qui met à jour chez le fournisseur de redirection mon ip

tu penses que c pas dangereux ?

Oui,
dans le cas d'un surfeur normal, le navigateur va cherche ton ip chez le fournisseur de redirection et ceci à chaque fois. Donc pas de probleme, le surfeur a toujours la boinne IP.

Mais dans le cas de Google, Googlebot va cherche l'IP une fois. Ensuite, il stocke chez lui tonadresse.com =tonIPatoi dans sa base de donnée et utilise sa base pour revenir voir ton site, sans verifier que site.com=ip. C'est à dire que si tu changes d'IP entre temps, il me le saura pas et ira voir une autre IP.


François
 
Nouveau WRInaute
iconso a dit:
Mais dans le cas de Google, Googlebot va cherche l'IP une fois. Ensuite, il stocke chez lui tonadresse.com =tonIPatoi dans sa base de donnée et utilise sa base pour revenir voir ton site, sans verifier que site.com=ip. C'est à dire que si tu changes d'IP entre temps, il me le saura pas et ira voir une autre IP.
François

merci !

mais j'arrive pas à comprendre dans ton message si mon systeme est dangereux ou pas.
si google visite mon site par une adresse type "sitedemagie.redirection.com" et que l'ip change tout le temps mais que le site est tout le temps accessible, ya pas de bleme ?
 
WRInaute passionné
chris_bazin a dit:
mais j'arrive pas à comprendre dans ton message si mon systeme est dangereux ou pas.
si google visite mon site par une adresse type "sitedemagie.redirection.com" et que l'ip change tout le temps mais que le site est tout le temps accessible, ya pas de bleme ?

C'est dangereux car après avoir vérifié une fois l'IP, Google ne viendra sur ton site qu'en utilisant l'IP. Donc même si ton site est toujours accessible, s'il n'est pas sur l'IP que Google connait, il ne referencera rien.

François
 
Nouveau WRInaute
Suede a dit:
C'est dangereux car après avoir vérifié une fois l'IP, Google ne viendra sur ton site qu'en utilisant l'IP. Donc même si ton site est toujours accessible, s'il n'est pas sur l'IP que Google connait, il ne referencera rien.

OULALA t'es sur de ça ?? Qqun peut confirmer ?? :oops: :oops:
 
WRInaute passionné
Je confirme, avec un modulo toutefois...

Certains sites hébergé avec une IP dynamique s'en sortent très bien et ne sont jamais ratés par GoogleBot.
Sans que ce soit publié nulle part, il semblerait que Google arrive à identifier ces IP dynamiques et leur réserve un "traitement spécial" (en matière de cache DNS, pas PR8 d'office :wink: )
Tout dépend de la valeur du TTL (time to live) du DNS. Cette valeur est trop souvent négligée par les responsables des serveurs de noms (DNS)

Dan
 
WRInaute occasionnel
hetzeld a dit:
Tout dépend de la valeur du TTL (time to live) du DNS. Cette valeur est trop souvent négligée par les responsables des serveurs de noms (DNS)
Je peux affirmer une chose pour en avoir fait les frais : Google ne tient pas compte du TTL, pour les premieres indexation après le changement de fixe à dynamique en tout cas (je m'explique plus bas). J'ai pu vérifier ca selon la procédure suivante :

- paramétrage des DNS avec un TTL de l'ordre de 20 minutes.
- mise en place de mon site sur IP fixe pour attendre le premier passage de GoogleBot
- changement de l'IP du site dans les DNS, en conservant la première IP active sur le port 80 pendant qq heures : GoogleBot continuait de passer meme après expiration du TTL.
- arret de la première IP pour empecher que GoogleBot recoive une réponse sur le port 80, histoire de voir combien de temps il lui faut pour se rendre compte que qq chose ne va pas...
- il a alors fallu plus de 4 jours a GoogleBot pour aller réinterroger les DNS malgré le TTL expiré (J'ai volontairement testé l'IP dynamique sur une Netissimo2 de manière a avoir une déconnexion tous 7 jours au lieu de tous les jours.)

Petite précision : le test a été réalisé sur un site visité tous les jours par le freshbot, idem pour le bot full crawl lors des deep crawl.

Une note toutefois qui pourrait effectivement expliquer pourquoi certains sites s'en sortent bien : je vois maintenant le freshbot revenir plus régulièrement ... comme si effectivement GoogleBot finissait par se rendre compte que l'IP est dynamique et qu'en conséquence il a besoin de consulter les DNS plus souvent (mais pour le moment certainement pas au point du TTL expiré, mais ca viendra peut etre).

Fred
 
WRInaute passionné
iconso a dit:
... comme si effectivement GoogleBot finissait par se rendre compte que l'IP est dynamique et qu'en conséquence il a besoin de consulter les DNS plus souvent (mais pour le moment certainement pas au point du TTL expiré, mais ca viendra peut etre).
Merci pour cette confirmation d'un "pressentiment" non officiel. C'est pour cette raison que je mettais un modulo. :wink:

Cela confirme une chose toutefois: il n'est pas très raisonnable de mettre un site à vocation commerciale sur une IP dynamique. L'idéal est l'IP dédiée, mais tout le monde ne peut pas se permettre cet extra impose un serveur dédié lui aussi.
A défaut, on mutualise et cela peut très bien fonctionner.

Dan
 
WRInaute occasionnel
hetzeld a dit:
Certains sites hébergé avec une IP dynamique s'en sortent très bien et ne sont jamais ratés par GoogleBot.
Enfin je vois quand meme mal comment ils peuvent savoir que GoogleBot ne les rate jamais 8O
Si googlebot n'a pas la bonne IP, il ne laissera aucune trace dans les logs du site concerné... Alors le seul moyen de l'affirmer serait par ex de constater qu'il passe tous les jours, encore que ce n'est pas suffisant pour savoir combien de temps il lui faut pour se remettre à jour avec la bonne IP. Je peux alors suggérer une méthode : il faudrait connaitre les heures précises des changements d'IP (pour le moment il n'y a rien de difficile), et le temps minimal que qq1 a deja vu pour revoir un Bot apparaitre après ce changement (et pour voir si cette valeur peut tendre vers le TTL ou pas) : il faudrait un gros site (souvent crawlé) hébergé sur IP dynamique, ce qui ne doit pas être facile a trouver... Si des personnes sont dans ce cas, je suis preneur !

Fred
 
WRInaute occasionnel
Par contre il est vrai que le bot est quand meme assez tolérant aux indisponibilités des sites, et il repasse plus tard... donc en fait c'est vrai que ca explique surement pourquoi ces sites ne sont jamais "ratés" tout compte fait (mais ne veut pas dire que Google ne les rate jamais :) )
Par contre je suis vraiment curieux de voir le cocktail explosif que ca pourrait faire si l'ancienne adresse IP est réattribuée a un autre site hébergé en IP dynamique, comme je disais tout a l'heure... :D

Fred
 
WRInaute occasionnel
iconso a dit:
Par contre je suis vraiment curieux de voir le cocktail explosif que ca pourrait faire si l'ancienne adresse IP est réattribuée a un autre site hébergé en IP dynamique, comme je disais tout a l'heure... :D

Fred

Ce n'est pas toujours drôle. Pour témoignage, l'expérience d'un webmaster dont l'ip du site a été confondue avec l'ip d'un site porno. Pas idéal, sauf si vous avez vous aussi un site porno :?
http://www.webmasterworld.com/forum3/12893.htm

Jocelyn
 
Discussions similaires
Haut