Pourquoi GG ne parcourt-il pas tout mon site ???

[AntoineViau]

Salut à tous,

J'ai mis en place un petit outil pour visualiser le passage des robots sur mon site (un robotstats quoi). La méthode consiste à rediriger le fichier robots.txt avec un htaccess (url rewriting) vers un fichier php.
Celui-ci va retourner un contenu correct (Disallow, etc) mais surtout, il va stocker en BDD le user-agent et l'adresse IP du robot.
Avec cette BDD je vérifie pour chaque page de mon site si elle est lue par l'un des robots.
Voilà pour la méthode. A priori, elle est bonne.

Ca tourne depuis quelques jours et je vois que les robots passent bien (Google, Yahoo...) mais ils ne parcourent pas l'intégralité du site alors que celui ci est prévu pour être parcouru : menu, liens en url rewriting, mise en page hyper simpliste...
Le plus simple est que vous alliez voir :
http://www.antoineviau.com
(tour d'Europe, la page de l'Alfano est accessoire)
et les résultats de passages :
http://www.antoineviau.com/robots_admin.php

Votre avis ?
Merciiiii

Antoine
PS : la liste de liens sur la page d'accueil date d'aujourd'hui.

 

[lahomania]

salut
tu dois juste attendre et tout ton site sera indexé, n'oublie pas que t'as toujours un pr0 donc tu es peu importe pour Mr google

 

[AntoineViau]

Certes, mais je parle là du parcours des robots, non pas du résultat dans GG. Il se peut que ma méthode ne soit pas fiable. GG, par exemple, ne lit le robots.txt qu'une seule fois par jour pour limiter l'utilisation de bande passante. Il suffit qu'il y ait un robot pour le fichier robots.txt et d'autres robots pour parcourir les pages, et mes données seront fausses.

Toutefois, je ne pense pas que ce soit comme cela. Et c'est là que je ne comprends pas pourquoi une bonne partie de mes pages ne sont pas visitées par les robots.

 

[lahomania]

je crois que c'est tout a fais la même chose que d'indexé, google ne visite pas toutes les pages d'un site dans la même visite, jusqu'au la je ne crois pas que t'as un probleme avec google

 

[fredwat]

Salut Motard :!:
je ne comprends pas bien pourquoi tu as mis
-http://www.antoineviau.com/europe2002/accueil.html
plutôt que
-http://www.antoineviau.com/index.html
j'ai vu que tes urls sont à rallonge: (pour exemple)
-http://www.antoineviau.com/europe2002/21-jours-29-30-routes-norvegiennes.html

pourquoi ne pas avoir mis:
-http://www.antoineviau.com/routes-norvegiennes.html
:?:
c'était beaucoup plus simple :!: et les bots AMHA s'y retrouveraient mieux..

Ceci n'étant pas une critique mais un simple constat :!:
gazzzzzzzz et A+ :wink:
Fred
ps: sv= bonne bécane

 

[Erazor]

Tu as 40 pages indéxées dans GGle . Ton site en comporte beaucoup plus ?
https://www.google.fr/search?hl=fr&lr=&c ... au.com/%22
Par ailleurs tu n'as pas fait beaucoup de liens . Tiens un coup de pouce pour un BL PR 5 http://memor.cjb.net/ quasi gratuit
PS : ma moto a moi que j'ai en ce moment apres une bonne dizaine d'autres http://www.motoplanete.com/bmw/F650GS.php
V
:wink:

 

[AntoineViau]

Bah déjà merci pour les réponses

@erazor : en fait je me traine une ancienne version du site dans l'index de GG (et des autres) avec en prime une ancien nom de domaine chez un hébergeur tout pourri (pas de PHP, pas htacces, pas MySQL, la zone...)
Donc globalement, 90% des liens sont sur la page d'accueil (la toute première) et j'aimerais bien que les robots aillent dessus...

@fredwat :
Concernant le site...
Comme je ne veux pas le dédier qu'au tour d'Europe (y a aussi la page sur l'Alfano artisanal) je passe par une page d'accueil. Mais je peux aussi transformer "accueil.html" en "index.html", ça peut pas faire de mal.
Pour les urls à rallonge, pas bête, je peux au moins essayer de virer le "europe2002/". Où alors carrément remplacer par "europe_voyage_moto/" pour faire le warrior sur les moteurs

En revanche, toutes les pages sont en BDD (fabriquée avec FCKEditor ) donc j'ai besoin de l'identifiant de chaque page dans l'URL. A moins qu'il n'existe une méthode pour s'en passer (autre que l'écriture directe des pages HTML sur le disque) je dois garder du "xxx-titre.html".

 

[fredwat]

je peux au moins essayer de virer le "europe2002/". Où alors carrément remplacer par "europe_voyage_moto/" pour faire le warrior sur les moteurs .

Mieux vaut faire "europe-voyage-moto"
3 mots clefs c'est tout bon , non :?:
A+
Fred :wink:

 

[AntoineViau]

Mieux vaut faire "europe-voyage-moto"
3 mots clefs c'est tout bon , non :?:
A+
Fred :wink:

Oups ! la boulette