Portrait Olivier Duffez

Olivier Duffez

Créateur de WebRankInfo,
consultant en référencement

Référencement : différence entre Expires et unavailable_after

Ne confondez pas l'entête HTTP Expires et la balise meta unavailable_after, sinon vous risquez d'avoir des problèmes d'indexation Google...

Googlebot

Le site de petites annonces craiglist en a récemment fait les frais, comme expliqué ici en anglais.

Rappelons que l'entête HTTP Expires permet d'indiquer une date pour l'expiration de la mise en cache d'une page web. C'est une technique d'optimisation de la vitesse de chargement d'un site.

Alors que la balise meta unavailable_after permet d'indiquer au robot que la page ne sera plus disponible après une certaine date, et qu'il faut donc la désindexer après cette date. Pour être précis, j'ajoute qu'il est également possible de définir une date "unavailable_after" par un entête HTTP (X-Robots-Tag).

En fait, Google a remarqué que de nombreux sites s'étaient trompés et utilisaient l'entête Expires pensant indiquer ainsi une date après laquelle Google devait désindexer la page. Pour le cas particulier de craiglist, gigantesque site de petites annonces (avec donc du contenu qui expire régulièrement), Google avait décidé à une époque de créer un algo pour repérer les sites de ce type qui faisaient cette erreur. On se demande pourquoi Google n'a pas contacté le webmaster plutôt que de créer un algo, mais sans doute que le cas n'était pas isolé. Résultat, quand craiglist a corrigé son site en changeant sa façon d'utiliser Expires, ça a "perturbé" la rustine de Google qui s'est mis à désindexer le site à tout va. Le bug a été repéré et corrigé, il faut juste attendre que Googlebot revienne crawler tout craiglist...

Si vous avez des doutes avec ce genre de procédures :

Cet article vous a-t-il plu ?

Note : 5.0 (1 vote)
Cliquez pour voter !

Laisser un commentaire

Remarques :

  • Si vous souhaitez poser une question ou détailler un problème technique, il ne faut pas utiliser le formulaire ci-dessous qui est réservé aux avis. Posez votre question directement dans le forum Gmail de WebRankInfo. L'inscription est gratuite et immédiate.

  • En postant un avis, vous acceptez les CGU du site WebRankInfo. Si votre avis ne respecte pas ces règles, il pourra être refusé. Si vous indiquez votre adresse email, vous serez informé dès que votre avis aura été validé (ou refusé...) ; votre adresse ne sera pas utilisée pour vous envoyer des mailings et ne sera pas revendue ou cédée à des tiers.

7 commentaires

pixamaz

merci pour cet article,je veux savoir qu'ils sont les redirections conseillés, et quand sera utile des les utiliser?

Répondre
Naouak

Je ne sais jamais trop quoi choisir entre 410 et 301.
Si on suit ton résonnement il faudrait pour toutes les pages que l'on supprime faire une 301.
Dans ce cas la qu'elle est l'utilité d'une 410 ?
De plus GWT remonte les 410 dans les erreurs d'explorations.

Répondre
FemmeTaureau

Bonjour,
Merci pour nous faire indiquer la différence entre l'entête HTTP Expires et la balise meta unavailable_after.
C'est important pour une indexation saine.

Répondre
fred

Une bonne petite redirection 410 pourrait aussi faciliter la vie pour se débarrasser rapidement des urls périmées, plutôt que de manipuler des balises méta dont l'utilisation par les moteurs n'est pas toujours suivie à la lettre.

Répondre
Olivier Duffez

@fred : 410 n'est pas une redirection et pour ma part je trouve que c'est moins efficace qu'une 301. En plus, si les pages supprimées avaient des backlinks, ils sont perdus avec une 410

Répondre
Awily

Belle marque de succès pour Craiglist : Google adapte son algo pour ce site !!! Avec des conséquences parfois inattendues...

Répondre