Vitesse de crawl

WRInaute accro
vais pas me plaindre mais bon, quand meme :mrgreen:

Code:
64.68.80.18 | 00:38:55  
64.68.80.22 | 00:38:56  
64.68.80.30 | 00:38:57  
64.68.80.43 | 00:38:59  
64.68.80.13 | 00:39:02  
64.68.80.62 | 00:39:03  
64.68.80.35 | 00:39:03  
64.68.80.13 | 00:39:06  
64.68.80.32 | 00:39:07

a droite, l'heure de passage 8O

:arrow: et il se dechaine vraiment..
 
WRInaute accro
et pis a l'instant même :twisted:
Code:
64.68.80.10 | 01:19:13  
64.68.80.56 | 01:19:14  
64.68.80.3 | 01:19:17  
64.68.80.72 | 01:19:19  
64.68.80.68 | 01:19:19

bon ok, je lui ai donné de quoi manger (pas loin de 10 000 nouvelles pages) mais quand meme 8O
 
WRInaute occasionnel
Et puis l'heure est vraiment idéale pour le Crawl.
Perso, je préfère ça à un passage en interval pendant la journée (heure de pointe)
 
WRInaute accro
mahefarivony a dit:
bon ok, je lui ai donné de quoi manger (pas loin de 10 000 nouvelles pages) mais quand meme 8O

10 000 nouvelles pages... en quelques jours ? 8O Tu généères des pages virtuelles avec des mots clés ou quoi ? Comme un certain Fr*n*o :twisted:

:wink:
 
WRInaute accro
le spages de resultats provenant d un moteur interne peuvent rapidement fournir 10 000 resultats....! ou alors un banque de données bien fourni et des tri croisé parviennent aussi rapidement a une combinaison de resultats importants ! c est ca ?
 
WRInaute accro
Americas a dit:
10 000 nouvelles pages... en quelques jours ? 8O Tu généères des pages virtuelles avec des mots clés ou quoi ? Comme un certain Fr*n*o :twisted: :wink:

non monsieur. de vraies pages, un bon vrai contenu comme les internautes les aime.
 
WRInaute discret
....

certains voient le mal partout


Americas a écrit:
10 000 nouvelles pages... en quelques jours ? Tu généères des pages virtuelles avec des mots clés ou quoi ? Comme un certain Fr*n*o

c ton sujet favoris americas?

avec ceci site:www.madanight.com madanight je n ai que 6980 pages...
 
WRInaute accro
WRInaute discret
Moi aussi j'ai constaté un crawl hyper rapide et profond.
J'ai mis en ligne une nouvelle rubrique avec plusieurs centaines de pages et différentes profondeurs d'arborescence. Parmi ces pages seules 2 ou 3 ont un lien depuis ma page d'accueil, les autres sont liées depuis des pages n'ayant jamais encore été vues par le bot.
Les pages liées par la page d'accueil ont été vues les premières, logique, mais les autres pages ont aussi été crawlées dans la foulée. En moins de 2 jours google a donc crawlé la quasi intégralité de ces nouvelles pages, quelle que soit leur profondeur dans l'arborescence. Impressionant je trouve, d'autant que mon site n'a qu'un modeste PR4 sur sa page d'accueil.
 
Discussions similaires
Haut