Crawl de Google erreur 404

[vincenzoR]

Bonjour, j'ai installé CrawlTrack hier, après vérification ce matin, 3 bots sont passés sur mon site (MSN, Google et Exabot).

Ce que je comprend pas c'est qu'ils crawl tous en majorité sur ma page d'erreur 404 :s

J'ai vérifié tous les liens du site, il ne semble pas y avoir d'erreur, rien qui pourrait les mener vers une erreur 404.

Google par exemple ne visite que ma page d'accueil et ma page d'erreur 404.

Vous avez uné idée ?

 

[TOMHTML]

utilise google sitemaps, ça devrait t'être utile

 

[Yvel]

un BL mort !??

 

[f_trt]

Il faut que tu regardes dans tes logs quel page possede le lien qui provoque l'arrivée sur la page 404

A+

 

[e-kiwi]

vincenzoR, utilises xenu pour voir si tu as des 404 (google -> télécharger xenu)

 

[vincenzoR]

utilise google sitemaps, ça devrait t'être utile

Je l'utilise déjà.

Je télécharge Xenu, je vais essayer.

Par contre, est-ce normal qu'il ne se rende pas plus loin lorsqu'il tombe sur l'erreur 404 ?

 

[vincenzoR]

Voilà le résultat de Xenu :

-http://www.cr€ations€ns€.com/r€ports/

Je n'ai pas de problèmes, par contre j'ai mes pages qui sont dupliquées avec le PHPSESSID ...

 

[vincenzoR]

Je viens de revérifier, j'ai les bots Alexa, Yahoo et Google qui sont passés, de nouveau ils s'arrentent à la page erreur 404 ?

C'est bizzare quand, c'est pas dû à l'URL rewriting ?

 

[e-kiwi]

nom de domaine concerné ?

 

[f_trt]

Je viens de revérifier, j'ai les bots Alexa, Yahoo et Google qui sont passés, de nouveau ils s'arrentent à la page erreur 404 ?

C'est bizzare quand, c'est pas dû à l'URL rewriting ?

Je me repete que disent les logs, s'agit-il d'une url directement appelée par les robots si non de quelle page provient le lien en erreur, tout cela tu le retrouves dans tes logs

A+

 

[vincenzoR]

Le nom de domaine c'est celui de mon profil.

J'ai vérifié dans mes logs, il semble que les robots essayent d'accéder au fichier robots.txt, lequel n'est pas présent, je l'ai rajouté avec User-agent: * on va voir ce que ça donne.

J'avais aussi un site_map.xml, et google semblait essayer sitemap.xml, j'ai modifié le nom du fichier, à voir aussi.

Merci, je vous informerai de la suite.

 

[e-kiwi]

je testerai quand ton site sera accéssible ^^

 

[vincenzoR]

je testerai quand ton site sera accéssible ^^

Comment ça ? Il est accessible ...

 

[e-kiwi]

à 11:03 pas de chez moi, maintenant oui

 

[vincenzoR]

La puissance d'OVH ... :wink:

Sinon tu as repéré quelque chose ?

 

[e-kiwi]

je dois pas avoir de bol, il est pas accéssible de chez moi là encore ^^

 

[jeanluc]

J'ai vérifié dans mes logs, il semble que les robots essayent d'accéder au fichier robots.txt, lequel n'est pas présent

Tout robot qui se respecte essaie régulièrement de lire robots.txt. Si le fichier n'existe pas, ça donne une erreur 404. C'est parfaitement normal.

En fait, tu as trouvé toi-même la réponse à ta question.

Jean-Luc

 

[f_trt]

+1 Jean Luc,

Vincenzor pour te rassurer sur la dispo de ton site chez moi j'accède.

A+

 

[vincenzoR]

Je vais attendre avec le robots.txt en place, on va voir ce que ça donne.

Merci beaucoup pour vos infos.

 

[vincenzoR]

Et bien voilà, ça fonctionne beaucoup mieux comme ça, GoogleBot a carwlé toutes les pages de mon site.

Alexa a fait 160 visites, Yahoo, Ask Jeeves, FindLinks, MSN, Exabot et SurveyBot

C'était donc le couple site_map au lieu de sitemap et pas de robots.txt.

Merci à tous, à suivre si vous le souhaitez