Crawler des URLs depuis un CSV

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jc-wiart, 30 Août 2018.

  1. jc-wiart
    jc-wiart Nouveau WRInaute
    Inscrit:
    30 Août 2018
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,
    J'ai un dilemme à vous soumettre.
    Mon employeur actuel à refondu un site ancien. Grossièrement il l'a mis hors ligne, au profit d'un nouveau format plus adapté (changement du cms et refonte multilingue).
    Les urls de l'ancien site ont été tout ou partie redirigées vers le nouveau.
    Je dispose de toutes ces urls dans un fichier CSV, avec celles vers lesquelles elles sont censées pointer.

    Ce que j'aimerais pouvoir faire, c'est valider que ces redirections sont actives, et sans rebonds (genre redirection vers une page elle mêm redirigée).

    Connaissez vous un outil capable de faire ça ? Un rapport sur les pages non redirigées, et sur celles qui seraient en rebond ?

    J'ai bien tenté le script php avec get_headers mais sans succès...

    Merci par avance,
    JC.
     
  2. GBB N12
    GBB N12 Nouveau WRInaute
    Inscrit:
    9 Mars 2017
    Messages:
    17
    J'aime reçus:
    0
  3. jc-wiart
    jc-wiart Nouveau WRInaute
    Inscrit:
    30 Août 2018
    Messages:
    2
    J'aime reçus:
    0
    Salut, finalement j'ai résolu mon problème grâce à php et get_headers. Mon problème d'hier était d'ordre technique : le serveur virtuel que j'utilisais n'étais pas en mesure de sortir du réseau d'entreprise.
     
Chargement...
Similar Threads - Crawler URLs CSV Forum Date
GSiteCrawler SiteMap : generation URLs "exotiques" Débuter en référencement 11 Novembre 2009
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
Crawler de site pour générer les pages en cache Administration d'un site Web 17 Septembre 2015
Crawler les pages en mode connecté Crawl et indexation Google, sitemaps 27 Août 2015
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice