temps entre le passage d'un bot et l'indexation?

yannouk · 14 Octobre 2003

Google passe tous les jours sur mon site, mais je ne suis toujours pas référencé dessus. Je ne m'en inquiete aps etant donné que le site est ouvert depuis une semaine, mais quand apparaitra-t-il dans google? enfin je vous demande pas de me donnner l'heure exacte mais juste de me confirmer que c'est normal et me dionner un ordre d'idée.
Cette question a surrement éét deja posée, j'ai cherché dans les dernieres pages je ne l'ai pas vu, j'ai pas lancé une recherche plus lointaine car ca a pu varirer entre temps. donc svp dne m'accuser pas de polluer le formu

!
A+++

ffaucouneau · 14 Octobre 2003

Bonjour,

J'ai la sensation que depuis quelques semaines, Google ne se sert pas trop des infos de ses bots... Le cache est veillot pour chez moi... Bref, Gg a encore changé sa façon de bosser...

ccgv · 14 Octobre 2003

ffaucouneau a dit:
Bonjour,

J'ai la sensation que depuis quelques semaines, Google ne se sert pas trop des infos de ses bots... Le cache est veillot pour chez moi... Bref, Gg a encore changé sa façon de bosser...

Ouais, bof, mon cache date du 12/10.

Americas · 14 Octobre 2003

Google fait ce qu'il veut :!: et quand il en a envie :lol:
Certaines pages de mon sites ont un cache récent... d'autres... juste à côté de celles-ci ont été royalement dédaignées par sa majesté Google... Bref... faut attendre et prier :roll: :lol:

yannouk · 14 Octobre 2003

comment controlez vous le cache?

pour en revenir a nos moutons,c'est donc normal que notre ami passe sur mon site mais sans que ce dernier ne soit encore référencé?
A+++
!

yannouk · 14 Octobre 2003

oups pour le cache j'ai parlé trop vite je viens de voir robotstats et compagnie dsl

herveG · 14 Octobre 2003

tu peux mettre une date sur ton site. ainsi la date présente sur le cache sera celle de sa derniere version indexée. a+

yannouk · 14 Octobre 2003

oki hervég pour la date

! mais pas encore d'utilité directe car je ne suis toujours pas indexé et espere toujours une reponse a cette question lol: combien de temps apres le passage des bots serais-je indexé?

!
A+++

ccgv · 15 Octobre 2003

Quel est ton site ?

herveG · 15 Octobre 2003

le temps qui passe entre le passage du bot et la premiere indexation d une page et le temps entre le passage du bot et la mise a jour du cache semble deux choses distinctes a mon avis. j ai comme l impression que les pages qui n ont pas encore été indexées une seule fois doivent faire preuve d un peu plus de patience. j ai l impression qu elles n apparaissent qu a la Mise a jour (j ai pas dit GD !!) suivante. MAJ qui semble etre plus frequente ces derniers temps. en ce qui concerne le raffraichissement du cache consécutif au passage d un bot, on a entendu parler de performances "record" de quelque heures seulement. je pourrai vous dire ca, car ma page d index a été modifiée il y a quelques jours. le bot est passé aujourd´hui dessus. je surveille pour vous dire combien de temps ca va prendre. mais ca n´en fera pas forcément une regle ....

a+
hervé

chitopila · 15 Octobre 2003

Je ne suis pas aussi enthousiaste que toi quant à la rapidité des MAJ. Le cache actuel de mon site date de début septembre et malgré plusieurs mises à jours, Google n'est toujours pas repassé...A force de lire tous les posts de ce forum je me rends compte qu'il n'y a aucune logique et que ce qui est vrai pour les uns ne l'est pas pour les autres.
En revanche, la patience est pour sûr le meilleur moyen de répondre à toutes les questions...même si ce n'est pas satisfaisant du tout !!! Patience et espoir :wink:

herveG · 15 Octobre 2003

Je n ai pas dit que le "passage" des bots etait accéléré....... il faut bien lire les nuances.... !!

lolilol · 15 Octobre 2003

si je peux porter ma pierre.

JE DIRAI....

indéxation plus rapide des NOUVELLES pages, si celles ci sont linkés sur des pages de + de 4/10 (environ 15 jours)

Et mise à jours beaucoup plus longue sur des pages déjà dans google
Entre 2 et 3 mois pour une page de 1/10

MonWeb · 15 Octobre 2003

chitopila

D'après moi GG donne une note sur les mises à jour, au depart il vient souvent et après reviens suivant la note.
A moins d'avoir des nouveaux backlink en nombres,hervé se reconnaitra

, il ne changera pas et viendra toujours dans les meme fréquences sur un site.
Si a chaque passage il constate une mise à jour des pages alors il changera et viendra de plus en plus souvent.
Un site comme WRI est infiltré par google au moins une fois par jour parce que le contenu est enrichit constament
Donc la fréquence de passage n'est identique pour personne
Ca te va comme logique ?
Cordialement

mahefarivony · 15 Octobre 2003

l'un de mes nouveaux sites vient de se prendre un "deep-crawl" ce matin .. je te dirais dans combien de temps ils apparaitront dans l'index ;-)

je dirais avant la fin de la semaine mais je confirmerai...

George Abitbol · 15 Octobre 2003

mahefarivony a dit:
l'un de mes nouveaux sites vient de se prendre un "deep-crawl" ce matin .. je te dirais dans combien de temps ils apparaitront dans l'index ;-)

Tiens, moi aussi... Un site juste lancé, avec juste sa home dans Google assez rapidement et depuis ce matin visite en profondeur, on verra bien le temps qu'il mettra

Fred

mahefarivony · 15 Octobre 2003

idem pour moi : juste la home puis crawl frenetique...
par contre, j'ai encore un autre site qui aurait du etre dans le meme cas de figure mais la rien... a moins que je ne sois pas arrivé a configurer correctement robotstats car la il me dit vraiment rien de rien (mais bon, vu que j'ai pas reussi a faire marcher le robot test)

Gralon · 15 Octobre 2003

mahefarivony a dit:
idem pour moi : juste la home puis crawl frenetique...

idem pour moi depuis ce matin ...

mahefarivony a dit:
a moins que je ne sois pas arrivé a configurer correctement robotstats car la il me dit vraiment rien de rien (mais bon, vu que j'ai pas reussi a faire marcher le robot test)

ne t'en fait pas, en regardant le code php de reconnaissance pour le robot test, le test ne peux pas fonctionner ... ça n'empêche pas que robotstats fonctionne avec les vrais robots :wink:

lolilol · 15 Octobre 2003

mahefarivony a dit:
l'un de mes nouveaux sites vient de se prendre un "deep-crawl" ce matin .. je te dirais dans combien de temps ils apparaitront dans l'index ;-)

je dirais avant la fin de la semaine mais je confirmerai...

idem...

herveG · 15 Octobre 2003

vous parlez de nouveaux site non encore indexés une seule fois ? eh bien moi je dis qu on les verra a la prochaine MAJ des BL (la mini GD si on veut). suspense....!!

mahefarivony · 15 Octobre 2003

de nouveaux sites oui ;-)

le google a rapidement pris la page d'accueil, l'a indexé 3-4 jours apres la mise en ligne du site et la il vient donc d'aspirer "le reste"

donc on regarde combien de temps il faudra a ce "reste" pour apparaitre dans les resultats

Oncle Tom · 15 Octobre 2003

Chuis un ancien site crawlé y'a 2 semaines et je n'ai eu que 150pages en plus d'indexées (sur plus de 2000 crawlées)... et toujours pas de mise à jour :'( je désespère.

mahefarivony · 15 Octobre 2003

zen ... il en a 4 000 000 000 a indexer, il prend son temps entre 2 pauses cigarettes

je serai curieux de connaitre les TeraOctets de données que google download tous les mois (tera = 1.099.511.627.776 octets)

Americas · 15 Octobre 2003

mahefarivony a dit:
zen ... il en a 4 000 000 000 a indexer, il prend son temps entre 2 pauses cigarettes

je serai curieux de connaitre les TeraOctets de données que google download tous les mois (tera = 1.099.511.627.776 octets)

Lui au moins il n'a pas de problèmes de dépassement de trafic :wink:

mahefarivony · 15 Octobre 2003

missié google, z'avez dépassé votre quota journalier de hits :mrgreen:

mahefarivony · 15 Octobre 2003

euh je raconte des c.... il est en download, il s'en fiche de ce qui se passe coté serevur

mahefarivony · 16 Octobre 2003

euh.. a peine deep-crawlé cette semaine et déja bien positionné ? 8O

https://www.google.fr/search?hl=fr&ie=UT ... bile&meta=

dernier résultat de la premiere page sur 1 450 000 résultats.. :lol:

et bin, rapide le bougre !

herveG · 16 Octobre 2003

la mise a jour de mon cache n est toujours pas faites deux jours suivant le premier passage du bot apres la modif de ma page.....! ca confirmerait donc : rapide pour les nouvelles pages. plus lent pour les mises a jour de cache. je continue a surveiller.....
a+

puppetMaster · 16 Octobre 2003

Deep Crawl et google Dance

Bonjour à tous,

je suis nouveau dans le forum même si je connais le site depuis plusieurs mois.

Je voudrais savoir si les nouvelles pages d'un site déjà référencé par Google seront visualisables par une requête dans Google quelques jours après la deep crawl ou s'il faut atteindre la prochaine Google Dance...

Merci.

mahefarivony · 16 Octobre 2003

c'est la question que l'on se pose dans ce sujet :mrgreen:

nous serions tenté de dire dans un délai MAX de 15 jours apres le crawl de la page mais bon, a confirmer

puppetMaster · 16 Octobre 2003

mahefarivony a dit:
c'est la question que l'on se pose dans ce sujet :mrgreen:

oups

, merci quand même pour la réponse :wink:

yannouk · 16 Octobre 2003

erf tout juste arrivé déjà reparti mon site n'apparait plus dans google

!
c ca que vous appelez deep-ceawler?
c grave docteur?
thx!
A+!

mahefarivony · 17 Octobre 2003

non c'est pas grave
https://www.webrankinfo.com/analyses/art ... e-page.php

:arrow: on appelle ca effet "prime de fraicheur", concept que je croyais remisé au placard mais apparemmment non

herveG · 17 Octobre 2003

Eh bien moi, je trouve que l on retrouve petit a petit des caractéristiques de methodes d indexation et de mise a jour que l´on croyait perdu. A bien y regarder, on recommence a parler de Deep, et de prime de fraicheur, de GD, etc. j ai comme l impression que dans son concept, google n a pas trop changé ces methode, mais plutot dans le rythme et la périodicité de ces memes methode non ? mon avis personnel est que le PR est maintenant utilisé comme critere pour établir une frequence du passage des bots. Auparavant, la frequence du passage des bots etait plutot déterminé par la fréquence des mises a jour de nos pages. je ne dis pas que ceci n est plus vrai, mais je crois que le PR d une page établit :

1) une frequence de base du passage des bots
2) une profondeur (traduire, suivi des liens ou non)
3) une rapidité de mise a jour du cache
4) un type de robot pour la page en question (j ai constaté que le meme robot revenait chaque jour sur ma page d index entre deux GD puis un autre vient le remplacer a la GD suivante....)

bref, il n y a qu un pas pour que je sois convaincu que les pages sont regroupée (surement sur la base du PR entre autres). ensuite Google leur attribut les caractéritiques ci dessous (liste non complete a mon avis) : un bot, une frequence, une profondeur, une rapidité de MAJ,etc.

Votre avis ?
Hervé

yannouk · 17 Octobre 2003

mahefarivony en gros je dois attendre la google dance alors? et vu qu'elle tarde à arriver...

hervé dsl je ne m'y connais pas assez pour donner un avis sur ton analyse

MonWeb · 17 Octobre 2003

Si tes pages ne sentent pas le poisson pourri tu vas avoir une belle prime de fraicheur :lol: :lol:
Patience je suis dans le meme cas que toi je viens de changer de nom de domaine avec une redirection avec le code 301, et moi aussi la page a disparu !
Mais tu peux faire confiance à Hervé ou a mahefarivony se sont presque des google guy :wink: depuis le temps qu'ils observent google fonctionner.

herveG · 17 Octobre 2003

moi, je ne me ferais pas confiance en tout cas......!! ce ne sont que des supositions...

mahefarivony · 17 Octobre 2003

yannouk a dit:
mahefarivony en gros je dois attendre la google dance alors? et vu qu'elle tarde à arriver...

comment ca qu'elle tarde a arriver ??? 8O
faut pas se plaindre, avant, la dance c'etait toutes les 4 semaines ( 6 au pire ) et maintenant c'est quasiment tous les 15 jours :twisted:

mais bon, comme toute chose, c'est la "premiere fois" qui est un peu difficile, une fois que tu es dans la place, apres une ou deux (mini) dance, le google "suit" ton rythme, les nouvelles pages ajoutées sont rapidement crawlés et indexées (quand a la mise a jour des anciennes, ca c'est c'est autre débat)

je crois qu'il ne peut pas aller plus vite que la musique, le referencement c'est un travail de fourmi :twisted: Ca fait un an que je suis dessus.. et les résultats commencent a peine a me satisafaire :lol:

olivier146 · 17 Octobre 2003

George Abitbol a dit:
mahefarivony a dit:

l'un de mes nouveaux sites vient de se prendre un "deep-crawl" ce matin .. je te dirais dans combien de temps ils apparaitront dans l'index ;-)

Cliquez pour agrandir...

Tiens, moi aussi... Un site juste lancé, avec juste sa home dans Google assez rapidement et depuis ce matin visite en profondeur, on verra bien le temps qu'il mettra

Fred

PS N'oubliez pas de rapporter vos résultats dans ce post, çà m'interesse

herveG · 18 Octobre 2003

herveG a dit:
la mise a jour de mon cache n est toujours pas faites deux jours suivant le premier passage du bot apres la modif de ma page.....! ca confirmerait donc : rapide pour les nouvelles pages. plus lent pour les mises a jour de cache. je continue a surveiller.....
a+

Je devais vous tenir au courant, eh bien voila. le Bot est passé une deuxieme fois sur ma page. et c est seuelement hier (le 17 oct.) que le cache a été mis a jour.

On recapitule. le 14 oct. passage du bot sur la page modifiée : rien ne se passe. le 16 oct, le bot passe a nouveau sur la meme page. le 17 oct, le cache est mis a jour. voila pour une idée de délai entre passage de bot et raffraichissement du cache d un page déja indexée avec PR5.

a+
Hervé

chitopila · 19 Octobre 2003

Eh ben on peut dire que c'est rapide quand on est PR5...moi j'attends une mise à jour du cache depuis 1 mois et demi !!! Mais bon je ne suis que PR0. En même temps, plus c long et plus longtemps mon site "stagnera" dans les bas fonds de Google. C'est pas un peu injuste comme système ?

herveG · 20 Octobre 2003

tu attends la mise a jour du cache dis tu. est ce que tu n´attendrais pas plutot le passage d un bot ? a mon avis, le PR détermine effectivement la frequence du passage du bot, mais une fois qu il sera passé, ca ira assez vite en ce qui concerne la mise a jour du cache. injuste ? oui et non. un site a PR0 peut effectivement etre plus interessant et mis a jours plus regulierement qu un PR5. si c est le cas, alors il ne devrait pas rester a PR 0 longtemps. de plus, si le bot constate des mises a jours reguliere (ainsi il ne serait pas étonnant que le prochain passage du bot sur ta page soit suivi par un deuxieme passage assez rapproché visant a vérifier si ton site est souvent mis a jour. ainsi, si le bot constate a nouveau une mise a jour, peutetre reservera t-il un traitement special a ton PR0 et repassera plus frequement que lq normale sur un PR0....
a+ et patience !
Hervé

chitopila · 20 Octobre 2003

Oui, je suis assez d'accord avec toi, mais encore faut-il que le bot passe sur mon site, et comme je n'ai pas installé robotstat, je ne peux pas le savoir. Mais je peux deviner qu'il ne passe pas quand je constate que très peu de pages de mon site sont indexées et que la plupart qui le sont n'ont ni titres ni descriptions ! J'ai l'impression que Google a laissé mon site de côté et qu'il n'y reviendra que dans...longtemps ! :cry:

herveG · 20 Octobre 2003

Eh bien, ton site est tres sympa !! il devrait attirer les baclinks !! il y a des sites ici qui pourraient etre complémentaire au tien ! et puis, installe RobotStat, comme ca tu en auras le coeur net ! a+
Hervé

lolilol · 21 Octobre 2003

nouvelles pages crawlées le 12 octobre, mise en ligne aujoud'hui

voilà

mahefarivony · 22 Octobre 2003

par contre pour voir le PR de ces nouvelles pages, nos amis outre-atlantique semblent dire qu'il va falloir attendre 8 semaines

a suivre donc

Gralon · 22 Octobre 2003

anciennes pages deep crawlées le 08-10-2003, nouvelle version de cache apparu le 20-10-2003.

de nouveau deep crawlé aujourd'hui (dernier deep crawl le 15).

Deep-crawl bien régulier tous les 7 jours sur mon site h**p://www.federal-hotel.com

pour moi:
deep crawl : crawl20.googlebot.com à crawl32.googlebot.com
fresh crawl : crawler10.googlebot à crawler15.googlebot.com

fresh crawl tous les jours de 10 pages à 400 pages ...
deep crawl tous les 7 jours : 15 000 à 25 000 pages

lolilol · 22 Octobre 2003

à moi hier... un petit crawl.

Googlebot 4281 pages.

mahefarivony · 29 Octobre 2003

yannouk a dit:
Google passe tous les jours sur mon site, mais je ne suis toujours pas référencé dessus. Je ne m'en inquiete aps etant donné que le site est ouvert depuis une semaine, mais quand apparaitra-t-il dans google? enfin je vous demande pas de me donnner l'heure exacte mais juste de me confirmer que c'est normal et me dionner un ordre d'idée.
Cette question a surrement éét deja posée, j'ai cherché dans les dernieres pages je ne l'ai pas vu, j'ai pas lancé une recherche plus lointaine car ca a pu varirer entre temps. donc svp dne m'accuser pas de polluer le formu !
A+++

ok, pour en revenir a la question initiale

Chez moi, sur l'un de mes nouveaux sites (mis en ligne il y a 15 jours) , les pages ont été crawlées pour la toute premiere fois le 22 Octobre .. et apparaissent enfin dans l'index, aujourd'hui .. . pas trop tot

=> donc une semaine que ca a mis

et ma foi, pour un site en PR 0, ca ressort plutot déja bien ... attendez que j'arrive a 5 :twisted:

lolilol · 29 Octobre 2003

mahefarivony a dit:
Chez moi, sur l'un de mes nouveaux sites (mis en ligne il y a 15 jours) , les pages ont été crawlées pour la toute premiere fois le 22 Octobre .. et apparaissent enfin dans l'index, aujourd'hui .. . pas trop tot

=> donc une semaine que ca a mis

Avant il fallait parfois 2 mois ou plus..... alors y a pas de quoi crier au loup si c'est qu'une semaine :lol:

herveG · 29 Octobre 2003

je ne sais pas si on peut y voir une coincidence, mais mais pages qui ont été crawlé "massivement (pages déja indexées il y a un mois environ) ont vu leur cache etre mis a jour aujourd´hui, alors que les crawls etaient deja passé il y a un moment.

mahefarivony · 29 Octobre 2003

lolilol a dit:
Avant il fallait parfois 2 mois ou plus..... alors y a pas de quoi crier au loup si c'est qu'une semaine :lol:

moi crier au loup ? c'est mal me connaitre ;-)

Lentreprenaute · 29 Octobre 2003

Salut Mahé, tu parles bien d'un de tes nouveaux sites indexés par gg sur le post un peu plus haut, car moi je suis en ligne depuis un bon mois et ggbot est passé me voir la prmiere fois le 2 octobre! et toujours rien à l'horizon.

as tu pour ce site des liens qui le pointent avec un bon pr??

mahefarivony · 29 Octobre 2003

Lentreprenaute a dit:
Salut Mahé, tu parles bien d'un de tes nouveaux sites indexés par gg sur le post un peu plus haut, car moi je suis en ligne depuis un bon mois et ggbot est passé me voir la prmiere fois le 2 octobre! et toujours rien à l'horizon.

as tu pour ce site des liens qui le pointent avec un bon pr??

dans l'ordre

oui c'est un "nouveau site" ... sous forme de sous domaine :wink:
oui j'ai mis un gros bon lien depuis le domaine principal (PR5) :twisted:

au vu du positionnement dans les différentes requetes, pour moi, meme si la toolbar indique un PR0, ce nouveau site est déja a PR 4 (a la racine) :mrgreen:

Lentreprenaute · 29 Octobre 2003

je sais pas s'il faut que je m'inquiete, moi j'ai un lien d'un site pr2 qui est passé a 3, vers mon nouveau site.

je suis a moitié aveugle , je peux pas installer robotstats, mon hebergeur ne file pas les logs bien que la je viens juste de recevoir gracieusement à ma demande un extrait des requetes du ggbot.

Il ya un petit point , j'ai une barre de menu qui reprend l'id de la rubrique dans laquelle on se trouve et qui à pour effet de dupliquer certaines pages inutilement.

exemple contact.php?cat=586 contact.php?cat=25 ca à pour effet que google va chercher x fois la page qui à quasiment le contenu du coup! ca fait ca pour 3 4 pages 4x800 possibilité arf!!! ca me sert juste à afficher le menu de la navigation mais ca quadruple la taille de mon site .

comment lui interdire d'indexer contact.php?cat=XX mais juste contact.php?cat=

est ce possible que ce soit la cause de la non indexation de mon site, au passage
faut il qu'il est tout indexé avant d'afficher certaines pages?

mahefarivony · 29 Octobre 2003

mais nan, patience, ca ne devrait plus tarder la (je suis encore en attente pour 2 autres sites, dont l'un qui est bien en ligne depuis un bon mois)

pour suivre tes logs en temps réel, au jour le jour, il y ce petit script qui marche bien
http://www.phpindex.com/trucsetastuces/ ... element=60

Lentreprenaute · 29 Octobre 2003

Merci Mahé
C'est que j'ai pas mal bossé pour optimiser le ref alt, title, description etc en dynamique
pour varier les results à partir d'une seule page, je crois meme que je vais renommer
les class de mes css

J'ai mis le script de coté

j'aimerai utilisé dissalow dans un robot txt pour bloquer
contact.php?id=XX mais pas contact.php ou contact.php?id=""
sachant que des xx j'en ai un paquet

C'est possible à votre avis?

duch · 29 Octobre 2003

j'ai pas tout suivi mais tu pourrais créer le robots.txt en dynamique.

M'enfin si tu as un paquet d'urls c'est bourrin

et en plus c'est une connerie, le standard de robots.txt n'accepte pas les paramètres il me semble

tu pourrais ajouter une balise meta NOINDEX dynamiquement (en vérifiant les paramètres) sur les pages concernées, Google suivrait le lien vers cette page mais ne l'indexerait pas.