1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Crawler un site volumineux

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Rocket17, 4 Septembre 2019.

  1. Rocket17
    Rocket17 Nouveau WRInaute
    Inscrit:
    9 Décembre 2017
    Messages:
    6
    J'aime reçus:
    0
    Bonjour, un client dispose d'un site volumineux en pages (44000) dont 11000 par langue (français, italien, espagnol et anglais), seules les pages en français sont actives (reçoivent des visites régulières), le crawl me pose problème car je n'arrive pas à trouver le tool pour le faire et surtout je pense à désindexer les pages en d'autres langues, j'ai besoin de vos conseils chers amis. Merci
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 036
    J'aime reçus:
    317
    Je te propose de faire au moins un test avec mon crawler RM Tech (en gratuit tu auras des infos sur 10.000 URL). Le rapport gratuit est très réduit, pour te faire une idée du complet tu peux consulter cet exemple de rapport PDF (anonymisé).

    D'ailleurs tu parles de pages actives/inactives, fais attention de ne pas désindexer une page juste parce qu'elle est inactive. Il vaut mieux rassembler plein d'infos sur chaque page afin de comprendre la cause du pb et de le corriger quand c'est possible. Lis les explications de ma méthode ici.

    Lis aussi mon avis sur Screaming Frog, car un point important est le temps que tu passes à analyser les résultats (en plus des difficultés parfois à crawler des dizaines de milliers d'URL avec un logiciel desktop).
     
  4. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 184
    J'aime reçus:
    141
    C'est aussi l'outil que j'utilise quand je veux aspirer un site.
    (mais là on ne sait pas son but effectivement...)
     
  5. Rocket17
    Rocket17 Nouveau WRInaute
    Inscrit:
    9 Décembre 2017
    Messages:
    6
    J'aime reçus:
    0
    Merci pour vos réponses, en fait mon objectif n'est pas d'aspirer des sites web mais plutôt d'alléger le site car le travail SEO en français que je fais est pénalisé par le volume de pages en les autres langues.
     
Chargement...
Similar Threads - Crawler volumineux Forum Date
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
Crawler de site pour générer les pages en cache Administration d'un site Web 17 Septembre 2015
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice