Cet article fait partie des archives de WebRankInfo : certes, il est ancien, mais complet et détaillé pour son époque. Si vous cherchez d'autres informations, faites une recherche sur le site ou participez au forum. Contactez-moi si besoin.
Le site de petites annonces craiglist en a récemment fait les frais, comme expliqué ici en anglais.
Rappelons que l'entête HTTP Expires permet d'indiquer une date pour l'expiration de la mise en cache d'une page web. C'est une technique d'optimisation de la vitesse de chargement d'un site.
Alors que la balise meta unavailable_after permet d'indiquer au robot que la page ne sera plus disponible après une certaine date, et qu'il faut donc la désindexer après cette date. Pour être précis, j'ajoute qu'il est également possible de définir une date "unavailable_after" par un entête HTTP (X-Robots-Tag).
En fait, Google a remarqué que de nombreux sites s'étaient trompés et utilisaient l'entête Expires pensant indiquer ainsi une date après laquelle Google devait désindexer la page. Pour le cas particulier de craiglist, gigantesque site de petites annonces (avec donc du contenu qui expire régulièrement), Google avait décidé à une époque de créer un algo pour repérer les sites de ce type qui faisaient cette erreur. On se demande pourquoi Google n'a pas contacté le webmaster plutôt que de créer un algo, mais sans doute que le cas n'était pas isolé. Résultat, quand craiglist a corrigé son site en changeant sa façon d'utiliser Expires, ça a "perturbé" la rustine de Google qui s'est mis à désindexer le site à tout va. Le bug a été repéré et corrigé, il faut juste attendre que Googlebot revienne crawler tout craiglist...
Si vous avez des doutes avec ce genre de procédures :
- cherchez d'abord dans tous les dossiers de WebRankInfo via le formulaire de recherche de ce site
- demandez de l'aide dans le forum dédié aux problèmes d'indexation de sites
- demandez-moi un audit pour mieux contrôler le crawl et l'indexation de votre site
- inscrivez-vous à ma formation pour apprendre comment maîtriser le crawl et l'indexation d'un site
Si vous avez des questions, posez-les dans le forum WebRankInfo.
Si vous préférez du consulting, j'en propose sur mon site WebRankExpert.
merci pour cet article,je veux savoir qu'ils sont les redirections conseillés, et quand sera utile des les utiliser?
mon tuto sur les redirections devrait répondre à ces questions.
Je ne sais jamais trop quoi choisir entre 410 et 301.
Si on suit ton résonnement il faudrait pour toutes les pages que l'on supprime faire une 301.
Dans ce cas la qu'elle est l'utilité d'une 410 ?
De plus GWT remonte les 410 dans les erreurs d'explorations.
Bonjour,
Merci pour nous faire indiquer la différence entre l'entête HTTP Expires et la balise meta unavailable_after.
C'est important pour une indexation saine.
Une bonne petite redirection 410 pourrait aussi faciliter la vie pour se débarrasser rapidement des urls périmées, plutôt que de manipuler des balises méta dont l'utilisation par les moteurs n'est pas toujours suivie à la lettre.
@fred : 410 n'est pas une redirection et pour ma part je trouve que c'est moins efficace qu'une 301. En plus, si les pages supprimées avaient des backlinks, ils sont perdus avec une 410
Belle marque de succès pour Craiglist : Google adapte son algo pour ce site !!! Avec des conséquences parfois inattendues...