1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Crawler les pages en mode connecté

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Haroeris, 27 Août 2015.

  1. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    653
    J'aime reçus:
    0
    Bonjour bonjour,
    une demande un peu particulière, je cherche un logiciel de crawl capable de se connecter à un compte utilisateur du site (ou récupérer des cookies de connexion) afin d'avoir la liste exhaustive des contenus, y compris ceux non accessibles par Google.

    Ca existe ? :)
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 873
    J'aime reçus:
    71
    Screaming Frog devrait pouvoir le faire.
     
  3. Haroeris
    Haroeris WRInaute impliqué
    Inscrit:
    13 Avril 2010
    Messages:
    653
    J'aime reçus:
    0
    Je sais que screamingfrog peut passer les pages protégées par htaccess, par contre je ne vois pas comment on peut lui transférer des identifiants de connexion pour les pages en mode logué, si tu sais comment faire je suis preneur :D
     
Chargement...
Similar Threads - Crawler mode connecté Forum Date
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice