Crawler les pages en mode connecté

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Haroeris, 27 Août 2015.

  1. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    653
    J'aime reçus:
    0
    Bonjour bonjour,
    une demande un peu particulière, je cherche un logiciel de crawl capable de se connecter à un compte utilisateur du site (ou récupérer des cookies de connexion) afin d'avoir la liste exhaustive des contenus, y compris ceux non accessibles par Google.

    Ca existe ? :)
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 939
    J'aime reçus:
    80
    Screaming Frog devrait pouvoir le faire.
     
  3. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    653
    J'aime reçus:
    0
    Je sais que screamingfrog peut passer les pages protégées par htaccess, par contre je ne vois pas comment on peut lui transférer des identifiants de connexion pour les pages en mode logué, si tu sais comment faire je suis preneur :D
     
Chargement...
Similar Threads - Crawler mode connecté Forum Date
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites Hier à 18:08
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017