Script pour crawler un site

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par erce78, 28 Novembre 2014.

Tags:
  1. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Bonjour,

    Je cherche un script simple pour crawler un site Internet.
    Je voudrais que le script me permette d'avoir toutes les pages qui sont sur le domaine, les en-têtes, les statuts de page, les temps de réponse...
    Je n'ai pas pu faire de recherche sur le site car le moteur de recherche du forum ne le permet pas sur les termes script crawl.
    Par contre, j'ai fait une recherche sur Google et là plein de choses ressortent mais je n'ai vraiment pas de recul.
    Surtout, je ne veux pas installer un script sur mon serveur qui aurait un malware.

    Aussi, je vous demande votre aide sur ce type de script.

    Merci d'avance
     
    #1 erce78, 28 Novembre 2014
  2. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Toujours rien.
     
    #2 erce78, 30 Novembre 2014
  3. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 181
    J'aime reçus:
    331
    #3 spout, 30 Novembre 2014
  4. liens-geeks.com
    liens-geeks.com WRInaute discret
    Inscrit:
    6 Octobre 2011
    Messages:
    188
    J'aime reçus:
    0
    #4 liens-geeks.com, 30 Novembre 2014
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 928
    J'aime reçus:
    78
    #5 UsagiYojimbo, 1 Décembre 2014
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 181
    J'aime reçus:
    331
    Toujours rien.
     
    #6 spout, 2 Décembre 2014
  7. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Merci pour vos conseils.
    Je vais regarder ça.
    Pour Xenu, je l'ai utilisé, mais je suis et sur Windows et sur Mac. Du coup, je cherche vraiment un script que je puisse faire tourner sur un serveur web chez moi.

    Encore merci
     
    #7 erce78, 3 Décembre 2014
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Script crawler Forum Date
A quel moment un crawler exécute le Javascript Débuter en référencement 23 Avril 2012
Javascript et preloader Référencement Google 16 Septembre 2021
Actualiser un script php toutes les 10 secondes Développement d'un site Web ou d'une appli mobile 6 Septembre 2021
Javascript API cache query non url ? Développement d'un site Web ou d'une appli mobile 18 Août 2021
Meta description vide dans Google mais ok dans Bing Problèmes de référencement spécifiques à vos sites 6 Juillet 2021
Aucune inscription sur mon forum Débuter en référencement 8 Mai 2021
<noscript><link ...> du css après un <link rel="preload"... Débuter en référencement 1 Mai 2021
Comment lancer du Javascript sans html ? Développement d'un site Web ou d'une appli mobile 28 Avril 2021
Meta Descriptions dans le <head> et dans l'article Référencement Google 7 Avril 2021
Quel script PHP conversion HTML -> JSON ? Développement d'un site Web ou d'une appli mobile 17 Février 2021