|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
pedouille
WRInaute discret
Inscrit le: 24 Mai 2005
Messages: 85
|
 Posté le : Jeu Sep 01, 2005 9:10 Sujet du message: Google ne crawl que mon index. |
|
|
sur le site miage.etude-orleans.org, j'ai remarqué que google ne crawlait que ma page d'accueil. En effet, dans les logs d'apache, voila le chemin parcouru par le ggbot :
66.249.64.13 - - [28/Aug/2005:09:43:09 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.13 - - [28/Aug/2005:09:43:10 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.53 - - [29/Aug/2005:07:55:11 +0200] "GET / HTTP/1.0" 200 12037 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.35 - - [30/Aug/2005:07:00:43 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.57 - - [31/Aug/2005:06:16:54 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.71.47 - - [31/Aug/2005:06:41:24 +0200] "GET / HTTP/1.0" 200 11240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET /robots.txt HTTP/1.0" 200 232 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
66.249.64.77 - - [01/Sep/2005:08:33:01 +0200] "GET / HTTP/1.0" 200 11249 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
J'aimerai simplement savoir si je dois m'armer de patience, ou si j'ai commis une erreur sur le site. J'ai tout de même vérifier ce que le bot voyait avec : http://www.yellowpipe.com/yis/tools/lynx/lynxview.cgi?url=http%3A%2F%2Fmiage.etu...
et je crois que c'est correct...
votre avis ? |
|
| |
|
 |
magicaxe
WRInaute occasionnel
Inscrit le: 18 Oct 2004
Messages: 150
Localisation: Dans les bras de Morphée
|
| Posté le : Jeu Sep 01, 2005 9:49 Sujet du message: Google ne crawl que mon index. |
|
|
Hello,
Je pense que tu devrais utiliser le système Google Sitemap, ainsi tu serait sûr que Google connait l'emplacement de toutes tes pages.
L'affichage de toutes les pages d'un site dans les recherche Google prend du temps, il te faut t'armer de patience...
Si tu veut un générateur de sitemap, dis le moi. |
|
| |
|
|
Borower
WRInaute accro
Inscrit le: 18 Avr 2005
Messages: 2129
Localisation: Lyon
|
| Posté le : Jeu Sep 01, 2005 9:53 Sujet du message: Google ne crawl que mon index. |
|
|
Magicaxe
Ton generateur de site map m'interesse.
Donc je te le dis.
++ |
|
| |
|
|
magicaxe
WRInaute occasionnel
Inscrit le: 18 Oct 2004
Messages: 150
Localisation: Dans les bras de Morphée
|
| Posté le : Jeu Sep 01, 2005 9:55 Sujet du message: Google ne crawl que mon index. |
|
|
Héhé,
C'est dans la page "produits" du site de mon profil. Download Keyword Crawler. |
|
| |
|
|
Borower
WRInaute accro
Inscrit le: 18 Avr 2005
Messages: 2129
Localisation: Lyon
|
| Posté le : Jeu Sep 01, 2005 10:00 Sujet du message: Google ne crawl que mon index. |
|
|
Bonne pub lol.
Mais ca m'arrange je vais regarder ca. |
|
| |
|
|
magicaxe
WRInaute occasionnel
Inscrit le: 18 Oct 2004
Messages: 150
Localisation: Dans les bras de Morphée
|
| Posté le : Jeu Sep 01, 2005 10:04 Sujet du message: Google ne crawl que mon index. |
|
|
| Peut-être, mais c'est gratuit et c'est censé aider les webmasters (qui peuvent aussi m'aider en suggérant des améliorations), donc pourquoi pas? |
|
| |
|
|
tangui
WRInaute passionné
Inscrit le: 10 Fév 2005
Messages: 862
Localisation: France Lyon
|
| Posté le : Jeu Sep 01, 2005 10:55 Sujet du message: Google ne crawl que mon index. |
|
|
C'est un super outil! je vois que tu as fait pleins d'améliorations! merci!!  |
|
| |
|
|
magicaxe
WRInaute occasionnel
Inscrit le: 18 Oct 2004
Messages: 150
Localisation: Dans les bras de Morphée
|
| Posté le : Jeu Sep 01, 2005 10:59 Sujet du message: Google ne crawl que mon index. |
|
|
| Je sais aussi qu'il y a quelques bugs que je vais corriger... prochainement. Ca me fait plein de boulot entre le site, le développement des logiciels et leur référencement sur les sites de downloads (en fait je crois que j'aime ça). |
|
| |
|
|
pedouille
WRInaute discret
Inscrit le: 24 Mai 2005
Messages: 85
|
| Posté le : Ven Sep 02, 2005 14:02 Sujet du message: Google ne crawl que mon index. |
|
|
J'ai essayé ton logiciel, et il est vraiment super ! Les résultats sont donc que je n'ai aucun lien mort, le logiciel arrive à aller vers toutes les pages de mon site (y compris le forum), et crawl même les pages "disallowed" du robots.txt ( c'est normal ??) .
Voila ce qu'il en est pour mon site, mais google n'indexe uniquement que la page d'index justement, malgré des visites journalières (vers 7-8h du matin)...
Est-ce que j'ai raison de m'inquiéter ? |
|
| |
|
|
magicaxe
WRInaute occasionnel
Inscrit le: 18 Oct 2004
Messages: 150
Localisation: Dans les bras de Morphée
|
| Posté le : Ven Sep 02, 2005 22:50 Sujet du message: Google ne crawl que mon index. |
|
|
Non, je ne pense pas. Teste avec mon site, tu verras que c'est pareil pour moi. J'ai commencé le référencement le mois passé.
Concernant le fichier robots.txt, c'est une une des prochaines amélioration. |
|
| |
|
|
pedouille
WRInaute discret
Inscrit le: 24 Mai 2005
Messages: 85
|
| Posté le : Sam Sep 03, 2005 9:10 Sujet du message: Google ne crawl que mon index. |
|
|
ok merci !
Vivement les améliorations, car c'est du bon boulot ton logiciel  |
|
| |
|
|
pedouille
WRInaute discret
Inscrit le: 24 Mai 2005
Messages: 85
|
| Posté le : Mar Sep 06, 2005 13:35 Sujet du message: Google ne crawl que mon index. |
|
|
J'aurai encore une petite question : voila l'entete envoyé par mon serveur :
| Code: |
HTTP/1.1 200 OK
Date: Tue, 06 Sep 2005 11:31:40 GMT
Server: Apache/2.0.54 (Debian GNU/Linux) mod_pytho
n/3.1.3 Python/2.3.5 PHP/5.0.4-0.6.hoary.1 mod_per
l/1.999.21 Perl/v5.8.4
X-Powered-By: PHP/5.0.4-0.6.hoary.1
Set-Cookie: PHPSESSID=decaa583e8bc9a7946d8be71b8c2
cec0; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
, post-check=0, pre-check=0
Pragma: no-cache
Connection: close
Content-Type: text/html
|
Est-ce que le Set-Cookie: PHPSESSID ... ne serait pas responsable du fait que google ne crawle que l'index ? Il n'y a pas de sessid dans l'URL bien sur, mais je me demandais si ca ne genait pas quand même...
Merci |
|
| |
|
|
La Chaise sauvage
WRInaute passionné
Inscrit le: 11 Avr 2005
Messages: 660
Localisation: Saint Martin du Var
|
| Posté le : Mar Sep 06, 2005 14:03 Sujet du message: Google ne crawl que mon index. |
|
|
Effectivement ça bugouille encore un peu -pour le site de mon profil, par exemple -> "Server error !" -
mais ça m'a tout l'air un outil à surveiller de très près ! Continue le bon boulot  |
|
| |
|
|
pedouille
WRInaute discret
Inscrit le: 24 Mai 2005
Messages: 85
|
| Posté le : Jeu Sep 08, 2005 14:52 Sujet du message: Google ne crawl que mon index. |
|
|
C'est de plus en plus bizarre ! Regardez ce qui est indexé sur mon site :
http://www.google.fr/search?q=site:etude-orleans.org&num=100&hl=fr&l...
Pourquoi indexe-t-il des répertoires alors qu'il n'y a aucun lien vers eux ?
Et c'est quoi les paramètres qu'il rajoute à la fin des URL ? |
|
| |
|
|
ualvarez
WRInaute occasionnel
Inscrit le: 27 Mai 2005
Messages: 150
|
| Posté le : Ven Sep 09, 2005 11:26 Sujet du message: Google ne crawl que mon index. |
|
|
Si ça vous intéresse, je connais une crawler qui tourne sous windows et qui marche très bien (même s'il est long)
http://johannesmueller.com/gs/ |
|
| |
|
|
| |
|
|
