Simuler le passage du robot Google ?

WRInaute occasionnel
Bonjour à tous,

Connaissez-vous un outil permettant de simuler (en local) le passage d'un robot comme celui de Google, afin de détecter les éventuels liens morts ?


Merci d'avance :)
 
WRInaute occasionnel
Merci :)

C'est bien celui-ci que j'avais trouvé en fouillant sur le forum, mais vu que c'était un vieux sujet, je pensai qu'il y avait peut être plus fiable aujourd'hui.

Si ce logiciel ne trouve pas de lien brisé, Google non plus ?

Avec ce logiciel, je n'ai aucune erreur, mais plusieurs avec GSiteCrawler... qui croire ?
 
WRInaute discret
Une bonne manière est aussi d'utiliser le fichier sitemap et le compte webmaster de GG qui va donner les erreurs 404 que son robot a rencontré.
 
WRInaute accro
sunnmagic a dit:
Avec ce logiciel, je n'ai aucune erreur, mais plusieurs avec GSiteCrawler... qui croire ?
parce que en local tu es sur windows et linux en distant ? A vérifier les règles de ré écriture qui peuvent différer en local et sur serveur distant
 
WRInaute occasionnel
Oui, j'ai Windows sur mon poste, et le serveur web est sous Linux. Donc, aucune certitude à 100% quant aux erreurs rencontrées par GSiteCrawler ?
 
WRInaute occasionnel
J'ai fais le test en ligne : même résultat, ok avec Xenu, et plusieurs erreur 404 avec GSiteCrawler...

En fait, je dois mettre en place une page d'intro publicitaire (intro.php), et je dois m'assurer qu'elle est vue une fois par chaque visiteur. Pour cela, j'utilise les cookies, et sur ma page d'index (index.php - qui est utilisée dans tout le site), je teste la création d'un cookie, afin de ne pas gêner les internautes qui les bloquent, avec l'intro qui s'affiche plusieurs fois...

Si la création de cookie échoue, le visiteur n'est pas renvoyé sur l'intro, et la navigation se poursuit normalement. Etant donné que la navigation fonctionne bien en ayant bloqué les cookies, je ne comprend pas pourquoi certaines pages apparaissent en 404 sous GSiteCrawler... :(
 
Discussions similaires
Haut