Forcer mise à jour du robots.txt en cache

Discussion dans 'Crawl et indexation Google, sitemaps' créé par UsagiYojimbo, 21 Janvier 2014.

  1. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
    Bonjour à tous,

    Sur un site sur lequel je travaille, l'agence qui s'occupe du développement à mis en ligne la nouvelle version jeudi. Au moment de la mise en ligne, le robots.txt était en disallow: /. Ils ont fait la modification en 1h00 mais le souci c'est que le robots a crawlé le site avant la modif. Du coup, depuis jeudi, la version en cache du robots.txt sur GWT est celle en disallow.

    Il y a un moyen de forcer la mise en cache ?
     
  2. Raspailloux
    Raspailloux WRInaute occasionnel
    Inscrit:
    19 Février 2009
    Messages:
    401
    J'aime reçus:
    0
    Salut,

    J'ai jamais essayé mais est-ce que la partie "Explorer comme Google" de Webmaster Tools ne permettrait pas de le faire ?

    Après en théorie il est censé le regarder à chaque visite mais bon...

    Si tu trouves un truc qui marche en tout cas je suis preneur :D

    Bon courage.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 691
    J'aime reçus:
    439
    on peut en effet lui faire crawler le robots.txt, mais je ne suis pas certain que ça corresponde au besoin exprimé
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
    J'ai essayé et ca n'a rien changé : la date de cache du fichier n'a pas été impactée. J'avais lu quelque part que certains forcaient la mise en cache en demandant à Google de supprimer le cache associé, mais cette possibilité m'est refusée par l'interface de Google qui permet de forcer la MAJ du cache.
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 691
    J'aime reçus:
    439
    je ne vois pas où se trouverait cette possibilité de "suppression du cache"
    ce qui m'étonne un peu, c'est que Google vient en général toutes les 24h consulter ce fichier, même sur des petits sites rarement mis à jour
     
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 691
    J'aime reçus:
    439
    ça c'est pour les pages indexées, ça ne concerne pas le fichier robots.txt
    as-tu essayé de poser la question dans le forum Google pour webmasters ?
     
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 887
    J'aime reçus:
    74
    Oui justement c'est là-bas que j'ai vu des gens procéder ainsi. Etant donné que plus loin on propose de forcer la msie en cache des fichiers / pages au lieu de les supprimer, je trouvais pas ça déconnant.

    Pour le coup, le cache a été mis à jour concernant mon fichier.
     
  9. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    as tu essayé un pingomatic au cas ou ... ça coute pas cher c'est pas mortel mais sait on jamais ...
     
  10. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 691
    J'aime reçus:
    439
    il suffisait donc d'attendre, mais c'était probablement la seule solution également...
     
Chargement...
Similar Threads - Forcer robots cache Forum Date
Comment forcer Google à prendre en compte Title et Meta Description Référencement Google 23 Décembre 2019
Forcer réinitialisation du cache après mise à jour Développement d'un site Web ou d'une appli mobile 22 Avril 2019
htaccess : forcer le HTTPS le WWW et supprimer INDEX.html URL Rewriting et .htaccess 28 Août 2018
Passer sous-domaine à domaine principal pour renforcer les backlinks réseau de site Netlinking, backlinks, liens et redirections 26 Janvier 2017
Forcer le passage de Google pour désindexer une page Crawl et indexation Google, sitemaps 12 Janvier 2017
Forcer la désindexation Crawl et indexation Google, sitemaps 12 Décembre 2016
Forcer le crawl sur www Crawl et indexation Google, sitemaps 21 Septembre 2016
Forcer rapidement la mise à jour de la cache de nos pages sur google ? Crawl et indexation Google, sitemaps 19 Mars 2016
Forcer l'affichage adsense AdSense 15 Août 2015
Forcer les www | Linux - 1and1 URL Rewriting et .htaccess 15 Août 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice