Crawler un site volumineux

[Rocket17]

Bonjour, un client dispose d'un site volumineux en pages (44000) dont 11000 par langue (français, italien, espagnol et anglais), seules les pages en français sont actives (reçoivent des visites régulières), le crawl me pose problème car je n'arrive pas à trouver le tool pour le faire et surtout je pense à désindexer les pages en d'autres langues, j'ai besoin de vos conseils chers amis. Merci

 

[spout]

Vu que tu ne précises pas le but du crawl...
https://www.httrack.com/
https://www.screamingfrog.co.uk/

 

[WebRankInfo]

Je te propose de faire au moins un test avec mon crawler RM Tech (en gratuit tu auras des infos sur 10.000 URL). Le rapport gratuit est très réduit, pour te faire une idée du complet tu peux consulter cet exemple de rapport PDF (anonymisé).

D'ailleurs tu parles de pages actives/inactives, fais attention de ne pas désindexer une page juste parce qu'elle est inactive. Il vaut mieux rassembler plein d'infos sur chaque page afin de comprendre la cause du pb et de le corriger quand c'est possible. Lis les explications de ma méthode ici.

Lis aussi mon avis sur Screaming Frog, car un point important est le temps que tu passes à analyser les résultats (en plus des difficultés parfois à crawler des dizaines de milliers d'URL avec un logiciel desktop).

 

[rick38]

https://www.httrack.com/

C'est aussi l'outil que j'utilise quand je veux aspirer un site.
(mais là on ne sait pas son but effectivement...)

 

[Rocket17]

Merci pour vos réponses, en fait mon objectif n'est pas d'aspirer des sites web mais plutôt d'alléger le site car le travail SEO en français que je fais est pénalisé par le volume de pages en les autres langues.