Crawler les pages en mode connecté

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Haroeris, 27 Août 2015.

  1. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    649
    J'aime reçus:
    0
    Bonjour bonjour,
    une demande un peu particulière, je cherche un logiciel de crawl capable de se connecter à un compte utilisateur du site (ou récupérer des cookies de connexion) afin d'avoir la liste exhaustive des contenus, y compris ceux non accessibles par Google.

    Ca existe ? :)
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 969
    J'aime reçus:
    121
    Screaming Frog devrait pouvoir le faire.
     
  3. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    649
    J'aime reçus:
    0
    Je sais que screamingfrog peut passer les pages protégées par htaccess, par contre je ne vois pas comment on peut lui transférer des identifiants de connexion pour les pages en mode logué, si tu sais comment faire je suis preneur :D
     
Chargement...
Similar Threads - Crawler mode connecté Forum Date
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
Crawler de site pour générer les pages en cache Administration d'un site Web 17 Septembre 2015
Google veut crawler des élèments qui n'existe pas sur mon serveur Crawl et indexation Google, sitemaps 26 Juin 2015
Spam crawler darodar Crawl et indexation Google, sitemaps 5 Janvier 2015
Script pour crawler un site Développement d'un site Web ou d'une appli mobile 28 Novembre 2014
Un crawler Orange : vers un Minitel nouvelle génération ? Autres moteurs de recherche connus 21 Novembre 2014