Simuler un robot (crawl pages web)

Discussion dans 'Tests et études de cas' créé par mahefarivony, 2 Décembre 2002.

  1. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    Bonjour,

    Je cherche un outil qui simulerait le passage d'un robot sur mon site et qui m'afficherait le nombre totals de pages trouvées, le nombre de liens existants, etc..

    si quelqu'un avait ca dans ses tiroirs ?

    en fait un peu l'equivallent d'un "aspirateur de site" mais je ne tiens pas a télécharger les pages, juste a avoir les statistiques..
     
  2. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Essaie :
    http://home.snafu.de/tilman/xenulink.html .
    Il est prévu à l'origine pour tester les liens (internes et externes), mais il il te permet d'exporter les stats de ton site au format CSV : niveau à partir de la page d'accueil, nombre de liens entrants / sortants par page, taille de chaque page, titre, temps d'accès, date de mise à jour...

    amuse-toi bien :)
     
  3. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    cool! exactement ce qu'il me fallait!
    Merci
     
  4. Anonymous
    Anonymous Guest
    Tsy misy fisaorana tompoko :wink:
     
  5. Anonymous
    Anonymous Guest
  6. Gralon
    Gralon WRInaute impliqué
    Inscrit:
    2 Novembre 2002
    Messages:
    533
    J'aime reçus:
    0
    perso j'aime bien utiliser Lynx (sous linux) pour simuler l'agent googlebot et voir les sites qui font du cloaking ...

    :wink:
     
  7. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 176
    J'aime reçus:
    0
    oay kle !
     
  8. lareunion
    lareunion Nouveau WRInaute
    Inscrit:
    27 Novembre 2002
    Messages:
    41
    J'aime reçus:
    0
  9. ortolojf
    ortolojf WRInaute accro
    Inscrit:
    14 Août 2002
    Messages:
    2 789
    J'aime reçus:
    8
    Bonjour

    "Search Engine Spider Simulator" == "Simulateur de Robot de Moteur de Recherche".

    Comme dirait Langelot Agent Secret, en Anglais faut tout mettre à l'envers...

    Jean Francois Ortolo
     
  10. lareunion
    lareunion Nouveau WRInaute
    Inscrit:
    27 Novembre 2002
    Messages:
    41
    J'aime reçus:
    0
    Merci pour la traduction simultanée mais ma question était : connaissez-vous un site en français qui offre les mêmes services que celui proposé ci-dessus 8)
     
  11. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    Chapeau pour Xenu, il marche très bien, très interessant puis qu'il m'a trouvé près de 3.000 pages (au sens adresse, ou hit), et qu'il est très complet.
    et d'un anglais très abordable :
    Adress - status - type - size - title- date - level- link out - link in

    Merci donc pour l'adresse
     
  12. Anonymous
    Anonymous Guest
  13. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bonsoir,

    Si cela te rend service, je peux lancer "Webtrends 7.0 Link analyzer" et t'envoyer les résultats en bal.

    Dan
     
  14. cohen
    cohen Nouveau WRInaute
    Inscrit:
    18 Décembre 2002
    Messages:
    35
    J'aime reçus:
    0
    outil interessant mais ne suit pas les liens javascripts....

    je viens d'installer le soft mais je me rends compte que le lien javascript n'est pas suivi or celui ci ouvre sur une page asp contenant une de mes bases de données, comment faire ?
    merci pour votre aide. (le lien à titre d'info est www.agenceavenue.com/html/selection.html et il faut cliquer sur propositions)
    merci pour votre aide
     
  15. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bonjour Cohen,

    Je n'ai pas très bien compris la raison de ce lien javascript, si ce n'est pour ouvrir une nouvelle fenêtre avec des dimensions précises. Cela pourrait être implémenté différemment.
    De toutes façons, aucun moteur ne suit pour l'instant les liens javascript, pour la simple raison qu'ils ne savent pas les interpréter.
    Tu devrais :
    - soit remplacer ce lien par sa forme classique html
    - soit le doubler, mais pas forcément sur la même page
    - soit utiliser les balises <script>...</script><noscript> ton lien html ici </noscript>

    Ce faisant, tu permettras aussi à tes visiteurs ayant désactivé javascript d'accéder à ta base.

    Cordialement,

    Dan
     
  16. cohen
    cohen Nouveau WRInaute
    Inscrit:
    18 Décembre 2002
    Messages:
    35
    J'aime reçus:
    0
    raison du lien javascript ...

    re bonjour
    la raison est simple étant "webmaster" en "première année de webmaster", et utlisant 2 outils de programmation (netobjectfusion et codecharge pour le code asp), netobjectfusion ne sais pas integrer le code de codecharge pour pouvoir conserver le même design que le reste du site. Donc pour l'instant la seule solution est d'ouvrir une page à l'intérieur de l'autre qui lui "ressemble" (euh suis je clair ?...).
    Ok que google ne suis pas les liens javascript et c'est dommage. Ca viendra. Par contre je vais essayer ton conseils avec cette balise <no script> c'est quoi exactement ce code ? ca fait la même chose ?
    bon dimanche
     
  17. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Cohen,

    La balise <noscript> ... </noscript> permet d'inclure le code que tu veux pour les navigateurs qui ne supportent pas le langage de script mentionné dans la balise <script>... </script> qui précède.
    Un peu comme la balise <noframe> pour les navigateurs qui ne supportent pas les cadres (frames). C'est le même principe.

    En t'appuyant sur cela, tu peux afficher un message, un ou plusieurs liens... qui ne seront vu que par ceux qui ne supportent pas les scripts.

    Si tu regardes la source de ma page d'accueil, cherches "noscript" et tu verras comment je l'utilise. Ce n'est bien sûr qu'un exemple. :wink:

    Dan
     
  18. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    De quel soft parles-tu ?

    :)
     
  19. cohen
    cohen Nouveau WRInaute
    Inscrit:
    18 Décembre 2002
    Messages:
    35
    J'aime reçus:
    0
    soft , vous avez dit soft

    bonjour
    tu t'adresses à moi ou à Hetzeld ? pour ma part je citais 2 softs dans mon post netobjectfusion et codecharge.
    bonne matinée
     
  20. MrFab
    MrFab WRInaute discret
    Inscrit:
    31 Décembre 2002
    Messages:
    62
    J'aime reçus:
    0
    Un coup de main ?

    Un doute me gagne...

    Je viens de lire ce topic fort intéressant
    et j'ai testé mon site

    http://www.delorie.com/web/lynxview.cgi ... dbe.com%2F

    C'est tout blanc... bon signe, pas bon signe ? :?:

    Et quand je teste celle de www.pimkie.fr, pourtant basé sur la même architecture de page, voilà ce que ça donne...

    http://www.delorie.com/web/lynxview.cgi ... x_bas.php4

    Ca semble déjà mieux.
    Comment ça se fait ? Est-ce que ça veut dire que google ne peut pas lire mes pages...? argh.

    merci d'avance pour votre contribution.
     
  21. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Voici le "texte" que voit google :

    [euh coupé, c'était un peu porcelet de poster ça :wink: - c'est le simulateur lynx qui fonctionne mal avec ton site, je sais pas pourquoi]

    :)
     
  22. MrFab
    MrFab WRInaute discret
    Inscrit:
    31 Décembre 2002
    Messages:
    62
    J'aime reçus:
    0
    arf. Merci pour le coup de main ;)
     
  23. GusTav
    GusTav WRInaute discret
    Inscrit:
    24 Juillet 2002
    Messages:
    67
    J'aime reçus:
    0
    Re: Un coup de main ?

    Pas trop le temps de regarder ton code source mais ça peut venir d'erreurs dans ton code (balises non fermées par exemple, pb dans le css...) ou de balises non comprises par lynx (il est pas tout récent ce navigateur...).
     
  24. errows
    errows Nouveau WRInaute
    Inscrit:
    21 Septembre 2005
    Messages:
    3
    J'aime reçus:
    0
    Un autre petit simulateur de robot que j'ai préparé pour pouvoir facilement voir le contenu de mes sites...

    http://www.proze.net/outils/robot.html

    Cliquez sur les + pour suivre le lien avec le robot.
     
Chargement...
Similar Threads - Simuler robot (crawl Forum Date
Simuler une position géographique pour du référencement local Débuter en référencement 19 Janvier 2017
Outil sur le Net pour simuler une recherche dans les Serps mobile Annuaires et moteurs 22 Avril 2015
Simuler un clic sur un lien intercepté Netlinking, backlinks, liens et redirections 27 Janvier 2013
simuler sur un serveur de Dev le comportement du bot Google Crawl et indexation Google, sitemaps 10 Décembre 2012
Outil pour simuler l'interprétation des style CSS par Google bot Référencement Google 11 Juin 2012
Est-il possible de simuler une variable de session ? Développement d'un site Web ou d'une appli mobile 30 Décembre 2011
Simuler erreur 404 dans fichier htaccess Développement d'un site Web ou d'une appli mobile 31 Juillet 2011
Que peut simuler un aspirateur de site ? UserAgent, IP Crawl et indexation Google, sitemaps 1 Septembre 2010
Wordpress : dissimuler les chemins typés WP dans la source Développement d'un site Web ou d'une appli mobile 25 Mars 2010
Reécriture pour simuler un répertoire Développement d'un site Web ou d'une appli mobile 10 Janvier 2010
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice