Crawler un site : ClicBox en Beta Test

Bonjour à tous !

J'ai mis a disposition un tool que j'utilise depuis des années : Un crawler perso.

Ce robot parcours un site web comme le ferait un robot de recherche et analyse la structure pour détecter les potentiels problèmes qu'un moteur de recherche pourrait rencontrer.

J'ai lancé le service il y a seulement quelques jours, il y a donc sûrement des choses a améliorer, n'hésitez pas a m'en faire part (perso, j'en trouve tous les jours).

N'hésitez pas également a faire des retours sur le rapport de crawl ! (graphiques supplémentaires souhaités, présentation etc).

Il y a également un webservice d'export a dispo (je dois ajouter un export CSV, mais celui-ci ne contiendra pas les liens).

Ce robot est adapté a des sites qui ont beaucoup de pages (plus de 500 au moins). Il n'a pas tellement d'utilité pour un site corporate, mais est particulièrement adapté a du e-commerce par exemple.

Il y a 5 crédits offerts a l'inscription, mais si vous avez besoin de plus, j'en offrirais ici pour les beta testeurs.

N'hésitez pas : http://www.clicbox.fr/

 

Parce que l'objectif est surtout de faire du contrôle structurel (PrSculpting). Rien ne vaut un bon vieux href.

Cependant, j'ai prévu de le faire évoluer par la suite et d'implémenter une librairie type phantomJS pour interpréter également le JS. (donc, je garde le point !)

 

Quelques exemples issus du rapport :

 

N'hésite pas a me dire si tu vois des choses étranges, je rectifierais le tir.

 

@spout

Je viens de faire quelques tests avec le rendu WebKit. Le problème, c'est que niveau performances de crawl, on va passer de ~1500 url's crawlées par H et par robot a environ 500 /600.

Je réfléchis a tout ça, pourquoi pas un traitement asynchrone.

 

Hello UsagiYojimbo !

Quand le robot affiche 2 fois la même url, cela signifie qu'il a trouvé une première url redirigée vers celle là. En fait, il garde toujours la première pour mémoire. Je vais ajouter de l'info pour que ce soit plus compréhensible.

Pour le coup des url's qui ne s'affichent pas, je pense que c'est un problème de caractère spécial lors de la recherche. Je vais fouiller.

Sinon, suite à la remarque de spout, j'ai implémenté webkit dans une certaine mesure, en l'occurence pour la découverte des liens. Et j'avoue, ça montre des choses intéressantes. Par contre, ça ralentit cruellement le crawl
Cocher WebKit ne consomme pas de crédit supplémentaire. Le fait que ce soit plus lent est déjà assez chiant a soi.

patapon87 > Je regarde

 

Worpress avait supprimée les balises P sur caroussel. Bizarre.

 

Hello !

En fait, il a simplement suivi la redirection. Il faut que tu interdises la page /redirect* dans ton fichier robots.txt. Au final, le robot a eu le même comportement que Google, sauf que Google ne te le montre pas.

Je regarde quand même de mon coté pourquoi il a suivi la redirection via ton domaine au lieu du domaine cible. Il aurait du t'afficher des 302 et non des 404.

N'hésite pas a me MP si tu as des questions

 

Hello,

Une instance de robot pour une heure coûte 2 crédits. Donc avec 20 crédits, soit 10 robots pendant une heure, ou 1 robot pendant 10 heures, ou 5 robots pendant une heure avec enregistrement du contenu.

Les données sont stockée sur un index local.