Script pour crawler un site

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par erce78, 28 Novembre 2014.

  1. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Bonjour,

    Je cherche un script simple pour crawler un site Internet.
    Je voudrais que le script me permette d'avoir toutes les pages qui sont sur le domaine, les en-têtes, les statuts de page, les temps de réponse...
    Je n'ai pas pu faire de recherche sur le site car le moteur de recherche du forum ne le permet pas sur les termes script crawl.
    Par contre, j'ai fait une recherche sur Google et là plein de choses ressortent mais je n'ai vraiment pas de recul.
    Surtout, je ne veux pas installer un script sur mon serveur qui aurait un malware.

    Aussi, je vous demande votre aide sur ce type de script.

    Merci d'avance
     
  2. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Toujours rien.
     
  3. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 989
    J'aime reçus:
    281
  4. liens-geeks.com
    liens-geeks.com WRInaute discret
    Inscrit:
    6 Octobre 2011
    Messages:
    188
    J'aime reçus:
    0
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 883
    J'aime reçus:
    73
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 989
    J'aime reçus:
    281
    Toujours rien.
     
  7. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Merci pour vos conseils.
    Je vais regarder ça.
    Pour Xenu, je l'ai utilisé, mais je suis et sur Windows et sur Mac. Du coup, je cherche vraiment un script que je puisse faire tourner sur un serveur web chez moi.

    Encore merci
     
Chargement...
Similar Threads - Script crawler Forum Date
A quel moment un crawler exécute le Javascript Débuter en référencement 23 Avril 2012
[Google analytics]Le script pour suivre google bot et autres crawlers Google Analytics 23 Août 2009
Debugger Javascript sous IOS (avec émulateur) Développement d'un site Web ou d'une appli mobile Mercredi à 23:23
Inscription sur un domaine de référence Débuter en référencement 9 Mai 2020
Problème meta description Wordpress Problèmes de référencement spécifiques à vos sites 14 Avril 2020
Styliser popup alert javascript Développement d'un site Web ou d'une appli mobile 16 Mars 2020
acheter un script qui n'est plus mis a jour Le café de WebRankInfo 2 Mars 2020
Google n'affiche pas de meta description Problèmes de référencement spécifiques à vos sites 28 Février 2020
Emails type code de confirmation d'inscription : HTML ou TXT Administration d'un site Web 21 Février 2020
WordPress Description et avis sur la même page : Structure Hn différentes ?? Débuter en référencement 6 Février 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice