Les robots et le cache-control

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Elogia, 13 Janvier 2018.

  1. Elogia
    Elogia WRInaute discret
    Inscrit:
    10 Mars 2004
    Messages:
    67
    J'aime reçus:
    0
    Bonjour à tous, et meilleurs vœux.

    Pouvoir indiquer aux moteurs certaines pages qui n'ont pas besoin d'être revisitées avant 2 ou 3 mois allègerait sensiblement la charge. Les robots visitent entre 2 et 300.000 pages/jour sur mon site.

    Le seul paramètre Max-age suffirait s'il était respecté par les robots. Mais avant d'entreprendre le développement nécessaire, n'ayant pas vu de documents à ce sujet, je sollicite vos expériences avec cette question : les crawlers tiennent-ils compte des directives standards du html dans cette matière ?

    Merci d'avance pour toutes remarques et précisions.
     
    #1 Elogia, 13 Janvier 2018
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 072
    J'aime reçus:
    295
    #2 spout, 13 Janvier 2018
  3. Elogia
    Elogia WRInaute discret
    Inscrit:
    10 Mars 2004
    Messages:
    67
    J'aime reçus:
    0
    Merci spout, mais je vois dans ta réponse des informations sur le <head> de la partie html et les balises disponibles. Je cherchais plutôt des solutions dans le header qui précède [avec le code 200 ou autres codes d'erreur comme 304 Not Modified, les cookies, l'encodage…]. Ce n'est pas plutôt par là qu'il faut chercher ?
     
    #3 Elogia, 13 Janvier 2018
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - robots cache control Forum Date
Forcer mise à jour du robots.txt en cache Crawl et indexation Google, sitemaps 21 Janvier 2014
Mots clefs cachés (display:none), les robots les détectent ? Rédaction web et référencement 2 Avril 2010
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps Samedi à 14:26
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019