Script pour crawler un site

Bonjour,

Je cherche un script simple pour crawler un site Internet.
Je voudrais que le script me permette d'avoir toutes les pages qui sont sur le domaine, les en-têtes, les statuts de page, les temps de réponse...
Je n'ai pas pu faire de recherche sur le site car le moteur de recherche du forum ne le permet pas sur les termes script crawl.
Par contre, j'ai fait une recherche sur Google et là plein de choses ressortent mais je n'ai vraiment pas de recul.
Surtout, je ne veux pas installer un script sur mon serveur qui aurait un malware.

Aussi, je vous demande votre aide sur ce type de script.

Merci d'avance

 

Toujours rien.

 

Merci pour vos conseils.
Je vais regarder ça.
Pour Xenu, je l'ai utilisé, mais je suis et sur Windows et sur Mac. Du coup, je cherche vraiment un script que je puisse faire tourner sur un serveur web chez moi.

Encore merci