Google ne crawl que mon index

[pedouille]

sur le site miage.etude-orleans.org, j'ai remarqué que google ne crawlait que ma page d'accueil. En effet, dans les logs d'apache, voila le chemin parcouru par le ggbot :

66.249.64.13 - - [28/Aug/2005:09:43:09 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.64.13 - - [28/Aug/2005:09:43:10 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.71.47 - - [31/Aug/2005:06:41:24 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET / HTTP/1.0" 200 11249 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)"

J'aimerai simplement savoir si je dois m'armer de patience, ou si j'ai commis une erreur sur le site. J'ai tout de même vérifier ce que le bot voyait avec : http://www.yellowpipe.com/yis/tools/lyn ... rleans.org

et je crois que c'est correct...

votre avis ?

 

[magicaxe]

Hello,

Je pense que tu devrais utiliser le système Google Sitemap, ainsi tu serait sûr que Google connait l'emplacement de toutes tes pages.

L'affichage de toutes les pages d'un site dans les recherche Google prend du temps, il te faut t'armer de patience...

Si tu veut un générateur de sitemap, dis le moi.

 

[Borower]

Magicaxe

Ton generateur de site map m'interesse.
Donc je te le dis.

++

 

[magicaxe]

Héhé,

C'est dans la page "produits" du site de mon profil. Download Keyword Crawler.

 

[Borower]

Bonne pub lol.
Mais ca m'arrange je vais regarder ca.

 

[magicaxe]

Peut-être, mais c'est gratuit et c'est censé aider les webmasters (qui peuvent aussi m'aider en suggérant des améliorations), donc pourquoi pas?

 

[tangui]

C'est un super outil! je vois que tu as fait pleins d'améliorations! merci!!

 

[magicaxe]

Je sais aussi qu'il y a quelques bugs que je vais corriger... prochainement. Ca me fait plein de boulot entre le site, le développement des logiciels et leur référencement sur les sites de downloads (en fait je crois que j'aime ça).

 

[pedouille]

J'ai essayé ton logiciel, et il est vraiment super ! Les résultats sont donc que je n'ai aucun lien mort, le logiciel arrive à aller vers toutes les pages de mon site (y compris le forum), et crawl même les pages "disallowed" du robots.txt ( c'est normal ??) .

Voila ce qu'il en est pour mon site, mais google n'indexe uniquement que la page d'index justement, malgré des visites journalières (vers 7-8h du matin)...

Est-ce que j'ai raison de m'inquiéter ?

 

[magicaxe]

Non, je ne pense pas. Teste avec mon site, tu verras que c'est pareil pour moi. J'ai commencé le référencement le mois passé.

Concernant le fichier robots.txt, c'est une une des prochaines amélioration.

 

[pedouille]

ok merci !

Vivement les améliorations, car c'est du bon boulot ton logiciel :wink:

 

[pedouille]

J'aurai encore une petite question : voila l'entete envoyé par mon serveur :

HTTP/1.1 200 OK
Date: Tue, 06 Sep 2005 11:31:40 GMT
Server: Apache/2.0.54 (Debian GNU/Linux) mod_pytho
n/3.1.3 Python/2.3.5 PHP/5.0.4-0.6.hoary.1 mod_per
l/1.999.21 Perl/v5.8.4
X-Powered-By: PHP/5.0.4-0.6.hoary.1
Set-Cookie: PHPSESSID=decaa583e8bc9a7946d8be71b8c2
cec0; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
, post-check=0, pre-check=0
Pragma: no-cache
Connection: close
Content-Type: text/html

Est-ce que le Set-Cookie: PHPSESSID ... ne serait pas responsable du fait que google ne crawle que l'index ? Il n'y a pas de sessid dans l'URL bien sur, mais je me demandais si ca ne genait pas quand même...

Merci

 

[La Chaise sauvage]

Effectivement ça bugouille encore un peu -pour le site de mon profil, par exemple -> "Server error !" -
mais ça m'a tout l'air un outil à surveiller de très près ! Continue le bon boulot

 

[pedouille]

C'est de plus en plus bizarre ! Regardez ce qui est indexé sur mon site :

https://www.google.fr/search?q=site:etud ... 1&filter=0

Pourquoi indexe-t-il des répertoires alors qu'il n'y a aucun lien vers eux ?

Et c'est quoi les paramètres qu'il rajoute à la fin des URL ?

 

[ualvarez]

Si ça vous intéresse, je connais une crawler qui tourne sous windows et qui marche très bien (même s'il est long)
http://johannesmueller.com/gs/