Script pour crawler un site

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par erce78, 28 Novembre 2014.

  1. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    59
    J'aime reçus:
    0
    Bonjour,

    Je cherche un script simple pour crawler un site Internet.
    Je voudrais que le script me permette d'avoir toutes les pages qui sont sur le domaine, les en-têtes, les statuts de page, les temps de réponse...
    Je n'ai pas pu faire de recherche sur le site car le moteur de recherche du forum ne le permet pas sur les termes script crawl.
    Par contre, j'ai fait une recherche sur Google et là plein de choses ressortent mais je n'ai vraiment pas de recul.
    Surtout, je ne veux pas installer un script sur mon serveur qui aurait un malware.

    Aussi, je vous demande votre aide sur ce type de script.

    Merci d'avance
     
  2. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    59
    J'aime reçus:
    0
    Toujours rien.
     
  3. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 780
    J'aime reçus:
    240
  4. liens-geeks.com
    liens-geeks.com WRInaute discret
    Inscrit:
    6 Octobre 2011
    Messages:
    188
    J'aime reçus:
    0
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 780
    J'aime reçus:
    240
    Toujours rien.
     
  7. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    59
    J'aime reçus:
    0
    Merci pour vos conseils.
    Je vais regarder ça.
    Pour Xenu, je l'ai utilisé, mais je suis et sur Windows et sur Mac. Du coup, je cherche vraiment un script que je puisse faire tourner sur un serveur web chez moi.

    Encore merci
     
Chargement...
Similar Threads - Script crawler Forum Date
A quel moment un crawler exécute le Javascript Débuter en référencement 23 Avril 2012
[Google analytics]Le script pour suivre google bot et autres crawlers Google Analytics 23 Août 2009
WordPress Annuaire avec fiche d'inscription différente par type d'inscrits Développement d'un site Web ou d'une appli mobile 7 Octobre 2019
Référencement d'un site full javascript (angular js) Référencement Google 10 Septembre 2019
Meta description Yoast Seo non reprise par Google Référencement Google 8 Septembre 2019
Balisage sémantique itemprop name / description multilingue Référencement Google 26 Juillet 2019
[Google shopping] Erreur "description" dans diagnostic du module "google merchant center pro" e-commerce 26 Juillet 2019
Problème de description dans les serps Problèmes de référencement spécifiques à vos sites 19 Juillet 2019
WordPress Affichage de l'auteur au lieu de la meta description Référencement Google 19 Juillet 2019
État de votre demande d'inscriptionNous vous remercions AdSense 24 Juin 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice