Alternative à Xenu Link, Screaming Frog...

[mickou51]

Bonjour,

Depuis quelques jours, je code un petit truc avec Electron et Python, qui se nomme PageKeywords. C'est un scanner de sites/de pages.

Voici à quoi ça ressemble :






Pour le tester, voici le lien de téléchargement:
https://pagekeywords.armyndev.com/download/PageKeywordsSetup_x64_1.0.0.exe

Description rapide :

• Interface créée avec Electron
• Le serveur local (checker), c'est du Python
• Il est autonome, il fonctionne sans se connecter à Internet (sauf pour crawler les sites)
• À la fin de l'installation, il y a une page distante qui s’exécute, afin de savoir s'il y a des gens qui installeront ce programme.
• Le programme a été testé sur 3 PC avec Windows 11
• Parfois, quand on éteint le programme, il faut surveiller dans le Gestionnaire des tâches pour voir si le "checker.exe" disparaît bien de la liste des processus, et quand ce n'est pas le cas, il faut le killer.

 

[mickou51]

Version online : https://keywords.armyndev.com/ (le scan s'effectue avec l'adresse IP du site)

 

[pomination]

Bonjour,
Aucune info sur le traitement des données... Pas rassurant

 

[mickou51]

@pomination j'aime aller à l'essentiel quand je code (ou quand je fais des trucs en général), j'ai vraiment pas envie de perdre des heures à faire les papiers, les mentions légales, le RGPD et les cookies...

Pour le site (en sous domaine) ; il y a juste Matomo, il ne récupère rien.
Le site est en html/css/bootstrap.
Le serveur est en python.
Le checker utilise l'IP du site, pour se connecter sur un site, pour le crawler.

Pour le programme ; l'interface est faite avec Electron JS (un peu comme pour l'interface de Visual Studio Code, Discord...), il y a exactement le même code html/css/boostrap mais en local.
Pour le serveur, c'est du python (en local aussi), il se nomme "checker.exe", ça ressemble un peu à un "checker.py". Parfois le checker.exe il a du mal a se killer dés qu'on ferme l'interface, je compprend pas pourquoi.
Il n'y pas de Matomo à l'intérieur.
A la fin de l'installation, il y a un ping sur une api distante (php), c'est pour donner un signe que quelqu'un utilise le programme.
Le checker, utilise l'IP du client pour se connecter sur un site pour le crawl.

 

[pomination]

@pomination j'aime aller à l'essentiel quand je code (ou quand je fais des trucs en général), j'ai vraiment pas envie de perdre des heures à faire les papiers, les mentions légales, le RGPD et les cookies...

On peut ou non être en conformité avec la loi. Mais je ne sais pas si c'est un choix ;-)