Hello à tous,
Un de mes sites (sous prestashop) utilise actuellement le système de mise en cache de Fasterize. Cela permet de décharger considérablement mon serveur et permet donc un chargement beaucoup plus rapide des pages.
Toutes fois, dès qu'une modification est effectuée sur le site, je dois procéder à une remise en cache des URLs concernées en appelant l'URL via une API proposée par Fasterize avec quelques paramètres.
Cette procédure est actuellement manuelle et très lourde à gérer. J'aimerais pouvoir créer un Crawler qui va donc parcourir tout mon site, en extraire toutes les URLs. Elles seront alors stockées dans une BDD ou encore dans un CSV avec quelques champs comme l'URL, la date, la réponse de l'API. L'étape suivante s'est d'appeler les URLs, avec différents useragent (iPhone, Mozilla/5.0).
Enfin, on pourra aussi optimiser le programme afin par exemple de :
- ne remettre en cache qu'une liste données d'URLs (fournies depuis un CSV)
- ne remettre en cache que les URLs pour un useragent
- ne remettre en cache que les nouvelles URLs
- ne remettre en cache que les URLs qui ont retourné une erreur
- création de stats
Je n'ai encore jamais fait ce type de programme et ne sait pas par quoi commencer.
Avez vous des idées, pistes svp ?
Merci
Un de mes sites (sous prestashop) utilise actuellement le système de mise en cache de Fasterize. Cela permet de décharger considérablement mon serveur et permet donc un chargement beaucoup plus rapide des pages.
Toutes fois, dès qu'une modification est effectuée sur le site, je dois procéder à une remise en cache des URLs concernées en appelant l'URL via une API proposée par Fasterize avec quelques paramètres.
Cette procédure est actuellement manuelle et très lourde à gérer. J'aimerais pouvoir créer un Crawler qui va donc parcourir tout mon site, en extraire toutes les URLs. Elles seront alors stockées dans une BDD ou encore dans un CSV avec quelques champs comme l'URL, la date, la réponse de l'API. L'étape suivante s'est d'appeler les URLs, avec différents useragent (iPhone, Mozilla/5.0).
Enfin, on pourra aussi optimiser le programme afin par exemple de :
- ne remettre en cache qu'une liste données d'URLs (fournies depuis un CSV)
- ne remettre en cache que les URLs pour un useragent
- ne remettre en cache que les nouvelles URLs
- ne remettre en cache que les URLs qui ont retourné une erreur
- création de stats
Je n'ai encore jamais fait ce type de programme et ne sait pas par quoi commencer.
Avez vous des idées, pistes svp ?
Merci