Crawler de site pour générer les pages en cache

Discussion dans 'Administration d'un site Web' créé par Sajou, 17 Septembre 2015.

  1. Sajou
    Sajou Nouveau WRInaute
    Inscrit:
    14 Septembre 2015
    Messages:
    3
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai un blog qui tourne sous Wordpress depuis 4 ans environ. J'ai environ 3000 articles dessus.
    J'ai donc un plugin de cache(wp fastest cache) pour permettre d'afficher les pages plus rapidement.

    Je purge le cache chaque jour.
    Ma question: existe-t-il un petit outil (script ou peu importe) afin de crawler rapidement, pour reconstruire toutes les pages en cache ?

    Je tourne sous Windows pour info.
    Je ne suis pas non plus réticent à installer Putty, mais je suis mauvais en Unix.

    Merci pour votre aide!
     
  2. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Un wget récursif (aspiration du site) fait bien l'affaire, mais bon le truc c'est qu'on se demande pourquoi :
    La je dois dire que je ne vois pas l'utilité de supprimer le cache tous les jours surtout que tes 3000 pages ne doivent pas être visités toutes tous les jours et encore moins plusieurs fois.
     
  3. Sajou
    Sajou Nouveau WRInaute
    Inscrit:
    14 Septembre 2015
    Messages:
    3
    J'aime reçus:
    0
    Merci Zeb pour ta réponse.

    Attention, je suis assez débutant, je ne dit pas que ce que je fais soit des plus pertinents:
    Je purge chaque jour, car je publie chaque jour, donc pour faire apparaitre mes nouveaux articles.

    Merci pour la technique du wget.
    C'est difficile ? Comme j'ai dis, je connais très mal le monde Unix.
    En gros j'installe Putty et je lance une commande spécifique ?
    Tu dis que ça va faire un effet "aspirateur", du coup ça va me télécharger toutes les pages du site sur mon disc dur ?
     
  4. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 934
    J'aime reçus:
    4
    Change de plugin de mise en cache... :roll:
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 977
    J'aime reçus:
    292
    ça serait mieux de ne regénérer le cache que quand c'est nécessaire (quand il y a eu des modifs)
    pour crawler ton site, lance Xenu par exemple (mais attention à ne pas aller trop vite, tu vas plomber ton serveur)
    quel est ton site ou CMS ? car le mieux est d'utiliser un bon plugin de cache, comme le conseille HawkEye
     
  6. Sajou
    Sajou Nouveau WRInaute
    Inscrit:
    14 Septembre 2015
    Messages:
    3
    J'aime reçus:
    0
    Merci pour vos retours.

    Je ne mets peut être pas lien ici, car certains articles ne sont pas hyper catholiques. :lol: (mais bon suffit de rajouter .eu à mon pseudo sinon :D)

    Sinon j'utilise le Plugin WP Fastest Cache, pour Wordpress.

    Je suis en serveur mutualisé chez 1&1. Xenu ça passera ? Je ne connais pas du tout, mais pour un débutant unix, c'est assez simple à mettre en place ?
     
  7. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 782
    J'aime reçus:
    240
    Fait plutôt ce que HawkEye t'as dit.
    Un cache pour bien faire ça s'invalide pas globalement et encore moins à la mano (qd c'est en prod).
     
Chargement...
Similar Threads - Crawler générer cache Forum Date
Linux/SSH : Quel crawler pour générer le cache de mon site ? Administration d'un site Web 28 Mars 2011
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice