Simuler le passage du robot Google ?

[sunnmagic]

Bonjour à tous,

Connaissez-vous un outil permettant de simuler (en local) le passage d'un robot comme celui de Google, afin de détecter les éventuels liens morts ?


Merci d'avance

 

[HawkEye]

Xenu Link Sleuth

 

[sunnmagic]

Merci

C'est bien celui-ci que j'avais trouvé en fouillant sur le forum, mais vu que c'était un vieux sujet, je pensai qu'il y avait peut être plus fiable aujourd'hui.

Si ce logiciel ne trouve pas de lien brisé, Google non plus ?

Avec ce logiciel, je n'ai aucune erreur, mais plusieurs avec GSiteCrawler... qui croire ?

 

[duplex13]

Une bonne manière est aussi d'utiliser le fichier sitemap et le compte webmaster de GG qui va donner les erreurs 404 que son robot a rencontré.

 

[Leonick]

Avec ce logiciel, je n'ai aucune erreur, mais plusieurs avec GSiteCrawler... qui croire ?

parce que en local tu es sur windows et linux en distant ? A vérifier les règles de ré écriture qui peuvent différer en local et sur serveur distant

 

[sunnmagic]

Oui, j'ai Windows sur mon poste, et le serveur web est sous Linux. Donc, aucune certitude à 100% quant aux erreurs rencontrées par GSiteCrawler ?

 

[Leonick]

le meilleur moyen : utilise Xenu sur ton serveur de production au lieu de tester juste en local

 

[sunnmagic]

Ok, merci

 

[sunnmagic]

J'ai fais le test en ligne : même résultat, ok avec Xenu, et plusieurs erreur 404 avec GSiteCrawler...

En fait, je dois mettre en place une page d'intro publicitaire (intro.php), et je dois m'assurer qu'elle est vue une fois par chaque visiteur. Pour cela, j'utilise les cookies, et sur ma page d'index (index.php - qui est utilisée dans tout le site), je teste la création d'un cookie, afin de ne pas gêner les internautes qui les bloquent, avec l'intro qui s'affiche plusieurs fois...

Si la création de cookie échoue, le visiteur n'est pas renvoyé sur l'intro, et la navigation se poursuit normalement. Etant donné que la navigation fonctionne bien en ayant bloqué les cookies, je ne comprend pas pourquoi certaines pages apparaissent en 404 sous GSiteCrawler...