Comment se comporte GGbot chez vous?

WRInaute passionné
Je pense qu'il serait interressant de savoir si googlebot se comporte a peu pres de la meme maniere chez tlm ou pas.

Pour ma part, il passe sur l'index a peu pres 1 fois par jour, et repart aussitot :p
Les nouvelles pages ne sont indexées a peu pres qu'une fois par mois, lors d'un deepcrawl apres la ggdance
et vous?
 
WRInaute discret
Yes yannouk, moi aussi c'est deep crawl après ggdance !
Indexation je ne sais pas encore quand il va la faire! 8O

Après le fullcrawl plus de visites pour l'instant! (ça fait 3 jours)

J'attends d'apparaitre sur l'index :lol:
 
WRInaute discret
Chez moi alors qu'il venait tous les jours, ggbot ne vient plus depuis 8-10 jours et ça m'inquiète. Même plus sur ma page d'accueil...
Bizarre. Il doit avoir trop de boulot en ce moment avec les fêtes.... lol
 
WRInaute impliqué
Soit j'ai rien compris (c'est + que possible ;-) ) soit... Je ne puis participer a ce genre de discutions vu que je n'ai pas de php et demeure tres html... Il est seulement dommage que l'outil idoine propose par WRI (pour surveiller le petit robot) ne fonctionne qu'avec "du" php...
 
WRInaute discret
bah magix, met toi zy au php, c'est facile, (j'suis pas programmeur de formation, et pourtant j'ai reussi a comprendre assez vite)
c'est pratique, c'est rapide, c'est extensible, meme si d'autres langages ont des fonctions différentes, le php couvre a peu pres les besoins basique d'un site internet.
Je ne dirai pas qu'il dépasse l'asp ou le cfm, ou d'autres langages, mais il est assez puissant
 
Olivier Duffez (admin)
Membre du personnel
c'est marrant Nitou, on a environ autant de pages indexées dans Google, mais moi il vient voir 2 fois moins de pages.
peut-être qu'il commence à les connaitre par coeur :)
 
WRInaute impliqué
C'est pas plus mal, ça conserve de la bande passante ;-) mais c'est vrai qu'il revisite régulièrement des pages déjà indexées. Peut-être que le contenu de mon site est un peu plus dynamique.
 
WRInaute impliqué
Pas très sympa Googlebot avec mon site, il n'a visité que 21 pages de mon site aujourdh'ui :cry: Je me rassure en me disant que 21 pages sur a peu près 30 c pas mal :lol:

D'autre part, G a affecté un PR de 4 à tous les index de mes repertoires... étrange, sachant que certains n'ont presque pas de BL. Mais bon, on ne va pas se plaindre...

Loïc
 
WRInaute passionné
GG est occupé a indexé pas mal de pages chez moi, il en est à 78 pages :)
Espérons que ca va durer et que toutes les page vont y passer cette nuit.
 
WRInaute impliqué
en fait, il n'a visité que 132 pages alors que pompos m'en a visite 4800... et il n'a plus l'air d'avoir faim :( le fénéant!
Romain, deepcrawl amorcé, mais juste amorcé...
 
WRInaute occasionnel
Pour moi le deep crawl est toujours bien identifiable dans les passages du bot, il a commencé le 08/12 et continue encore en ce moment : plus de 25000 pages crawlées depuis cette date.

Fred
 
WRInaute occasionnel
oui oui c'est bien du 64.68.82.XXX
En fait maintenant j'appelle deep crawl une méthode de crawler, qui n'est pas (plus) en relation avec les anciens bots qui étaient dédiés à cette tache : si les bots ont changés, les méthodes sont très similaires.

Il semblerait que ce que certains appellent everflux soit uniquement dédié à certaines pages, bien rankées (ou potentiellement bien "rankables"). Pour les autres le schéma ancien reste en partie vrai j'ai l'impression...

Fred
 
WRInaute occasionnel
Oui c'est presque ca. En fait beaucoup de gens sur ce forum se plaignent que certaines pages ne sont meme pas visitées par le bot : pour ces gens il faut attendre le "Full Crawl".

D'autres au contraire voient les nouvelles pages indexées et bien positionnées en quelques jours seulement, et cela quelle que soit la date de mise en ligne. Ces pages sont ajoutées dans l'index et apparaissent avec un PageRank 0, mais sont assez bien classées sur les requetes, et ne disparaissent pas de l'index au bout de quelques jours.

Pour moi la différence est peut être liée à l'importance potentielle (futur PR) de la page, sinon tout le monde serait logé à la même enseigne. Mes nouvelles pages profondes du site sont ajoutées seulement après le full crawl, alors que j'ai vu récemment une catégorie (liée par ma home) être indexée presque immédiatement dès sa mise en ligne et pas en full crawl. Avant il fallait que j'attende le full crawl meme pour les pages liées de ma home.

En plus du rank potentiel de la page, je pense qu'il y a d'autres critères comme :
- L'ancienneté du site
- La fréquence de mise à jour générale

Fred
 
WRInaute impliqué
oui, j'ai cru remarquer que les pages mises à jour souvent sont crawlées -ce qui est logique- pratiquement tout les jours.
Mais l'ancienneté d'un site, c'est l'ancienneté dans sa base (ce que je pense), ou la date de création du fichier (et la, je sais pas comment il la récupère)?
 
WRInaute occasionnel
Attention je parle ici uniquement de pages nouvelles, non présentes dans l'index Google. Les pages connues de Google sont crawlées plus ou moins régulièrement selon d'autres critères (meme s'ils sont assez proches).

Dans le concept d'ancienneté du site, je pense qu'il faut plutot considérer qu'un site trop jeune ne peut pas bénéficier de l'everflux car Google n'a pas assez d'infos sur ses mises à jour, son nombre de pages, etc..

Fred
 
WRInaute impliqué
pour l'instant, google n'a pas été en dessous du niveau -2 chez moi... et vous? Jusqu'à quel niveau vas t'il??
Romain
 
WRInaute discret
Chez moi, Google passe environ 2 fois par semaine mais il ne crawle que 8 à 10 pages à chaque fois. Je n'ai encore jamais eu de deep crawl !!!
 
WRInaute discret
Salut,

Pour ma part GG passe tous les jours voir ma première page (PR 6)
Depuis une semaine, il fait un full crawl à raison de 80-100 pages par jour, avec des IP en 64.68.80, 64.68.82 et 64.68.84

Voilà, voilà :D
 
Nouveau WRInaute
chitopila a dit:
Chez moi, Google passe environ 2 fois par semaine mais il ne crawle que 8 à 10 pages à chaque fois. Je n'ai encore jamais eu de deep crawl !!!

Idem sauf que moi c'est plutot 10 a 15 pages... Mais le plus surprenant c'est qu'il enticipe la cration de nouvelle pages ex:

-www.monsite.com/brows?1
a
-www.monsite.com/brows?82 sont des pages existantes

A chaque passage il test la derniere page existante +1 (ici dans lexemple:www.monsite.com/brows?83) . Ce qui est bizard c'est que dans tous les cas (meme si il fait +500) il y aurait une page de generée avec header et footer mais sans contenu intermediare ce qui pourait qd meme etre compté comme une page classique mais il ne cherche pas a extrapoler plus que le +1...
 
Discussions similaires
Haut