Script pour crawler un site

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par erce78, 28 Novembre 2014.

  1. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Bonjour,

    Je cherche un script simple pour crawler un site Internet.
    Je voudrais que le script me permette d'avoir toutes les pages qui sont sur le domaine, les en-têtes, les statuts de page, les temps de réponse...
    Je n'ai pas pu faire de recherche sur le site car le moteur de recherche du forum ne le permet pas sur les termes script crawl.
    Par contre, j'ai fait une recherche sur Google et là plein de choses ressortent mais je n'ai vraiment pas de recul.
    Surtout, je ne veux pas installer un script sur mon serveur qui aurait un malware.

    Aussi, je vous demande votre aide sur ce type de script.

    Merci d'avance
     
  2. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Toujours rien.
     
  3. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 158
    J'aime reçus:
    335
  4. liens-geeks.com
    liens-geeks.com WRInaute discret
    Inscrit:
    6 Octobre 2011
    Messages:
    186
    J'aime reçus:
    0
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 969
    J'aime reçus:
    121
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 158
    J'aime reçus:
    335
    Toujours rien.
     
  7. erce78
    erce78 WRInaute discret
    Inscrit:
    25 Avril 2010
    Messages:
    62
    J'aime reçus:
    0
    Merci pour vos conseils.
    Je vais regarder ça.
    Pour Xenu, je l'ai utilisé, mais je suis et sur Windows et sur Mac. Du coup, je cherche vraiment un script que je puisse faire tourner sur un serveur web chez moi.

    Encore merci
     
Chargement...
Similar Threads - Script crawler Forum Date
A quel moment un crawler exécute le Javascript Débuter en référencement 23 Avril 2012
[Google analytics]Le script pour suivre google bot et autres crawlers Google Analytics 23 Août 2009
Recherche de script de crawler en php Développement d'un site Web ou d'une appli mobile 14 Novembre 2006
Le javascript protège-t-il du copiage HTML ? Développement d'un site Web ou d'une appli mobile 9 Mai 2022
Sites de scripts PHP, jQuery, Ajax, etc. Le café de WebRankInfo 20 Mars 2022
Tester une URL avec Javascript Développement d'un site Web ou d'une appli mobile 25 Février 2022
jour en javascript Développement d'un site Web ou d'une appli mobile 24 Février 2022
Search Console Probleme Meta title & Meta description fiche produit Référencement Google 27 Janvier 2022
référencement site full javascript Débuter en référencement 17 Janvier 2022
Script "haut de page". Développement d'un site Web ou d'une appli mobile 4 Janvier 2022
Détecter arrêt user d'un script PHP ? Développement d'un site Web ou d'une appli mobile 28 Décembre 2021
Astuce Référencement Playstore et pré inscription Référencement Google 17 Décembre 2021
Problèmes dans le méta-titre / description + Sitemap Référencement Google 29 Novembre 2021
Même contenu descriptif vidéo Youtube et fiche produit site Débuter en référencement 26 Novembre 2021
Texte de meta description erroné Demandes d'avis et de conseils sur vos sites 25 Novembre 2021
Google réécrit la meta description Référencement Google 21 Novembre 2021
Duplicate content sur la meta description Débuter en référencement 14 Novembre 2021
Combien de mots pour des descriptions de fiches produit Référencement Google 5 Novembre 2021
Javascript et preloader Référencement Google 16 Septembre 2021
Actualiser un script php toutes les 10 secondes Développement d'un site Web ou d'une appli mobile 6 Septembre 2021