Crawler des URLs depuis un CSV

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jc-wiart, 30 Août 2018.

  1. jc-wiart
    jc-wiart Nouveau WRInaute
    Inscrit:
    30 Août 2018
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,
    J'ai un dilemme à vous soumettre.
    Mon employeur actuel à refondu un site ancien. Grossièrement il l'a mis hors ligne, au profit d'un nouveau format plus adapté (changement du cms et refonte multilingue).
    Les urls de l'ancien site ont été tout ou partie redirigées vers le nouveau.
    Je dispose de toutes ces urls dans un fichier CSV, avec celles vers lesquelles elles sont censées pointer.

    Ce que j'aimerais pouvoir faire, c'est valider que ces redirections sont actives, et sans rebonds (genre redirection vers une page elle mêm redirigée).

    Connaissez vous un outil capable de faire ça ? Un rapport sur les pages non redirigées, et sur celles qui seraient en rebond ?

    J'ai bien tenté le script php avec get_headers mais sans succès...

    Merci par avance,
    JC.
     
  2. GBB N12
    GBB N12 Nouveau WRInaute
    Inscrit:
    9 Mars 2017
    Messages:
    17
    J'aime reçus:
    0
  3. jc-wiart
    jc-wiart Nouveau WRInaute
    Inscrit:
    30 Août 2018
    Messages:
    2
    J'aime reçus:
    0
    Salut, finalement j'ai résolu mon problème grâce à php et get_headers. Mon problème d'hier était d'ordre technique : le serveur virtuel que j'utilisais n'étais pas en mesure de sortir du réseau d'entreprise.
     
Chargement...
Similar Threads - Crawler URLs CSV Forum Date
GSiteCrawler SiteMap : generation URLs "exotiques" Débuter en référencement 11 Novembre 2009
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
Crawler de site pour générer les pages en cache Administration d'un site Web 17 Septembre 2015
Crawler les pages en mode connecté Crawl et indexation Google, sitemaps 27 Août 2015
Google veut crawler des élèments qui n'existe pas sur mon serveur Crawl et indexation Google, sitemaps 26 Juin 2015
Spam crawler darodar Crawl et indexation Google, sitemaps 5 Janvier 2015
Script pour crawler un site Développement d'un site Web ou d'une appli mobile 28 Novembre 2014
Un crawler Orange : vers un Minitel nouvelle génération ? Autres moteurs de recherche connus 21 Novembre 2014