Analyser le passage des moteurs en local

[hervelaf]

Bonjour,

Existe t-il un soft ou un script permettant d'analyser un fichier log (en local), afin de connaître le comportement d'un moteur lorsqu'il vient indexer un site.


Par exemple :
Si Google vient indéxer mon site, je veux pourvoir déerminer le chemin qu'il a parcourru.

8:52 /index.php
8:55 /forums/page_10_128.php
.....

Enfin, style Googlestats mais en local.

Merci
Hervelaf

 

[Kmacleod]

Pourquoi ne pas le faire "à la mano" sur les logs apache (avec excel pax exemple)
Si tu trouve un soft, il n'aura pas ,amha, le comportement exact de google, ou deepindex, ou pompos, alors que les logs apache oui.

 

[hervelaf]

J’y ai pensé, mais je me disais qu’il existait peut-être quelques choses, car il me semble que ces informations peuvent être intéressantes.

Merci

 

[hetzeld]

Hervelaf,

Tu ne pourras pas, pour la bonne raison que Google ne transmet pas le referer.
La seule indication que tu auras est une indication chronologique, mais comme il
existe de nombreux crawlers, ce sera impossible à tracer.
J'utilise NetTracker, qui est véritablement le meilleur outil pour tracer le parcours
d'un visiteur, et il est complètement perdu avec les robots Google.
La seule chose qu'il arrive à déterminer, contrairement à Googlestats, c'est quelles
pages il prend lors d'une visite et dans quel ordre. Le plus souvent, en tout cas chez moi,
ces pages ne sont même pas liées entre-elles donc il ne suit pas les liens directement.
Je pense que lorsque Google visite une page, il "stocke" les liens pour plus tard et ne les suit jamais immédiatement.

Dan

 

[hervelaf]

Merci Dan pour ces précisions.