SEO : top 12 des erreurs de duplicate content interne à éviter !

Article mis à jour le 22/07/2016, publié initialement le 13/03/2007

Le contenu dupliqué, un problème pour le référencement ?

On parle de contenu dupliqué dès lors qu'un même contenu est accessible à plusieurs endroits sur le web. L'unité de base des documents étant la page, définie précisément par son URL, on parle de contenu dupliqué quand une même page est accessible à plusieurs URL. Dans la majorité des cas, le webmaster n'est même pas au courant qu'il génère du contenu dupliqué. Voici pourquoi je vous liste ici des erreurs bêtes à ne pas commettre... accompagnées des solutions !

Google déclare qu'il n'applique aucune pénalité aux sites ayant du contenu dupliqué, alors est-ce vraiment un problème pour le SEO ? Oui bien sûr, car votre site sera moins efficace. Voici quelques raisons, mais je vous conseille de lire tout mon dossier sur le duplicate content :

• Si vous faites indexer le même contenu plusieurs fois, vous faites crawler à Google plus de pages que nécessaire. Votre quota de pages crawlées (par jour) étant limité, il vaut mieux lui faire crawler que le nécessaire.
• Si un contenu est indexé plusieurs fois, parfois Google ne sélectionnera pas le bon pour l'afficher dans les résultats. L'expérience utilisateur sera donc moins bonne, ce qui est mauvais pour le référencement (détails).
• Si un contenu est accessible à plusieurs URL, parmi les internautes qui veulent lui faire un lien, certains utiliseront une URL et d'autres une autre URL. Chacune aura peu de backlinks, ce qui est moins efficace en SEO que de concentrer les efforts au même endroit. Idem pour les partages sur les réseaux sociaux.

Les 12 erreurs les plus courantes

Erreur n°1 : indexer son site avec et sans www

Avez-vous testé ce qui se passe si on ne tape pas www dans votre URL ? C'est-à-dire qu'on accède à votre site en tapant http://example.com au lieu de http://www.example.com. Si votre site reste accessible sans que l'on soit redirigé vers la version officielle (dans mon exemple, celle qui contient www dans l'URL), alors votre site risque d'être indexé 2 fois par les moteurs, et vous aurez des problèmes de contenus dupliqués.

Le remède (déjà indiqué en octobre 2005) : éviter le duplicate content avec et sans www.

Remarquez que j'aurais pu prendre l'exemple inverse, c'est-à-dire s'assurer que seul le site sans www est indexable, cela revient au même.

Vous pouvez également définir une URL canonique en faisant bien attention d'inclure (ou pas, selon votre cas) le sous-domaine www.

Erreur n°2 : avoir 2 URL pour sa page d'accueil

Presque tous les sites sont conçus avec un lien sur chaque page pour retourner à la page d'accueil (en général ce lien est situé sur le logo du site). Avez-vous vérifié que ce lien pointe bien vers l'URL précise de votre nom de domaine et non pas autre chose ? Si physiquement votre page d'accueil est index.php, tous les liens internes doivent pointer vers http://www.example.com/ et pas vers http://www.example.com/index.php, sinon il y a encore un problème de contenu dupliqué (et notamment une dilution du PageRank et des autres effets liés aux backlinks).

Vous aurez beau avoir fait attention à bien faire pointer tous vos liens internes vers la bonne URL, vous ne serez jamais à l'abri de liens erronés issus d'autres sites. Si vous voulez optimiser votre site à fond, il faut tester sur chaque page (importante) si l'URL demandée est bien l'URL officielle, et dans le cas contraire rediriger (en code 301) vers l'URL officielle. On peut faire ça par exemple dans le fichier .htaccess ou bien avec quelques lignes de  PHP.

Voici un exemple de fonction :

function redirection_301_si_besoin($uri_attendue)
{
  if ($_SERVER['REQUEST_URI'] != $uri_attendue)
  {
    header("Status: 301 Moved Permanently", false, 301);
    header("Location: https://www.example.com".$uri_attendue);
    exit;
  }
}

A vous de personnaliser ce bout de code avec votre nom de domaine. Dans mon exemple je l'enregistre dans fonctions.php. Pour l'utiliser, il suffit de placer ceci tout en haut de votre page à vérifier (ici sur ma page d'accueil) :

<?php include('fonctions.php'); redirection_301_si_besoin("/"); ?>

Attention ce code doit absolument être au tout début de votre fichier, avant toute ligne HTML.

Bien entendu ceux qui ont accès au fichier .htaccess peuvent également l'utiliser pour régler ce problème.

Remarque : Ici je parle de la page d'accueil mais vous aurez compris que ça concerne en fait toutes les pages du site...

Erreur n°3 : avoir 2 URL pour la page 1 (pagination)

Imaginons que vous ayez un forum et que dans pour chaque discussion vous listiez les messages en limitant à 15 messages par page. Vous avez également un système de pagination pour voir les messages des pages 2 et suivantes. Ces pages-là ont certainement dans leur URL un paramètre qui indique le numéro de la page. Avez-vous vérifié que sur les pages 2 et suivantes, le lien vers la page 1 pointe bien vers la même URL que la page par défaut de la discussion ? Exemple :

• la page par défaut de la discussion est www.example.com/topic.php?t=456
• la page 2 de la discussion est www.example.com/topic.php?t=456&p=2
• le lien depuis la page 2 vers la page 1 doit pointer vers www.example.com/topic.php?t=456 et surtout pas vers www.example.com/topic.php?t=456&p=1

Evidemment, cela ne change rien si vous avez de la réécriture d'URL, le problème reste le même.

Pour les détails : les erreurs courantes sur la pagination

Erreur n°4 : avoir 2 types d'URL indexables (réécrites et classiques)

Imaginons que vous veniez de mettre en place la réécriture d'URL (URL Rewriting) sur votre forum. Pour reprendre l'exemple précédent, les URL de pages de discussion sont passées de www.example.com/topic.php?t=456 à www.example.com/topic-456.html. Avez-vous vérifié que vous interdisez l'indexation des pages avec l'ancien format d'URL ? D'ailleurs la meilleure solution dans ce cas est même de rediriger de façon permanente (code 301) chaque page à l'ancien format vers la page équivalente avec le nouveau format. Pour ceux que ça intéresse, je présente régulièrement au cours de mes formations la méthodologie de mise en place de l'URL Rewriting, avec l'optimisation du référencement associée.

Erreur n°5 : ne pas toujours passer les paramètres d'URL dans le même ordre

Si vous avez un site dynamique et que vous n'avez pas encore mis en place la réécriture d'URL, vous avez peut-être des URL qui contiennent plusieurs paramètres  comme viewtopic.php?t=2534&postdays=0&postorder=asc&start=15. Le problème est que cette page est accessible également sans aucun problème aux URL suivantes : viewtopic.php?t=2534&postorder=asc&postdays=0&start=15 ou viewtopic.php?postdays=0&postorder=asc&start=15&t=2534.

Ceux qui utilisent la réécriture d'URL ont en général bien compris que dans le code, il faut centraliser la gestion de l'URL d'une page dans une fonction. Ainsi partout dans le code, pour générer un lien vers une page, on utilise la fonction qui formate l'URL, et de cette façon les URL ont toujours le même format (paramètres passés dans le même ordre). Cette bonne pratique peut bien entendu être appliquée dans tous les cas, avec ou sans réécriture d'URL.

Erreur n°6 : inclure seulement parfois des paramètres dans les URL

Prenons l'exemple d'un site multilingue disponible en français (langue par défaut) et en anglais, avec le paramètre de langue passé dans l'URL comme par exemple article.php?p=2534&lg=fr (pour la version française) et article.php?p=2534&lg=en (pour la version anglaise).

L'erreur à ne pas faire est de faire des liens sans préciser le paramètre lg , pensant qu'il est facultatif pour le cas des pages en français. Vous vous retrouvez alors avec des URL comme article.php?p=2534 qui génère du contenu dupliqué.

Conclusion : il faut toujours inclure ce paramètre dans l'URL, même si sa valeur est celle par défaut.

Erreur n°7 : indexer la version imprimable

Prenons l'exemple d'un site affichant des articles comme  article.php?p=2534 et qui propose une version imprimable sur  article.php?p=2534&print=1. La majorité du contenu sera identique entre ces 2 URL, ce qui pose problème.

La meilleure solution est certainement d'utiliser les CSS en définissant une feuille de styles dédiée à l'impression. Ainsi, vous ne générez aucune nouvelle URL.

Erreur n°8 : indexer la version PDF

Prenons l'exemple d'un site proposant des articles au format HTML sur article.php?p=2534 et au format PDF sur article-pdf.php?p=2534. Comme pour le cas de la version imprimable, la majorité du contenu sera identique entre ces 2 URL, ce qui pose problème. Surtout que Google indexe parfaitement bien les documents PDF !

Si en plus vous êtes dans le cas d'un site affichant des publicités (absentes dans la version PDF), cela peut se traduire en baisse importante de revenus.

En règle générale, il ne faut pas faire indexer la version PDF. Si c'est déjà le cas, lisez la fin de cet article rubrique Solutions et une fois que les PDF sont désindexés, essayez de bloquer le crawl à Google.

Pour désindexer du PDF, étant donné que vous ne pouvez pas y inclure de balise meta robots noindex, passez par la solution de l'entête HTTP avec X-Robots-Tag.

Remarque : il existe des cas où la version PDF contient bien plus d'informations que la version HTML, ou bien d'autres où seul le format PDF permet de représenter des schémas complexes. Dans ces cas, laissez-les indexés...

Le saviez-vous ? On peut chercher des PDF dans Google avec la commande filetype:pdf.

Erreur n°9 : inclure la catégorie dans l'URL d'une fiche produit ou d'un article

Cette erreur est encore très courante et pourtant dramatique... Lisez donc attentivement !

Si vous êtes persuadé qu'avoir des mots-clés dans l'URL (le maximum !) est un des éléments les plus importants du référencement, vous vous trompez. Mais surtout, cela vous incite souvent à reproduire dans l'URL la structure de l'arborescence de vos contenus.

Si vous avez choisi ce format d'URL, alors vous aurez des problèmes de contenus dupliqués quand vous voudrez affecter un article ou un produit à plusieurs catégories (car vous aurez des URL différentes pour ces différents cas de figure).

En plus des problèmes de contenus dupliqués, vous aurez à gérer les cas inévitables suivants :

• une catégorie change de nom, ce qui change son URL... et dans votre cas également de nombreuses URL "dessous" dans l'arborescence
• une catégorie disparait
• une catégorie fusionne avec une autre
• une catégorie est découpée en 2

Que ce soit pour de l'éditorial ou un site ecommerce, retenez ceci : l'URL d'un article ne doit contenir aucune référence à l'arborescence (niveaux de catégories). Cela ne vous empêche pas d'avoir quelque chose dans l'URL qui permette de distinguer les fiches produits d'un côté, des catégories de l'autre (par exemple /p/ et /c/).

Remarque : il existe des cas où vous savez qu'un contenu ne peut être associé qu'à une seule catégorie et qu'il n'y a pas de raison pour qu'ils changent. Dans ce cas, vous pouvez envisager de faire apparaître la catégorie dans l'URL, comme je l'ai fait ici dans mes dossiers.

Erreur n°10 : avoir plusieurs noms de domaine indexés pour un même site

Sans doute avez-vous acheté plusieurs noms de domaine pour votre site (il y a plusieurs bonnes raisons d'avoir un hébergement en nom de domaine : par prévention pour éviter que d'autres achètent des noms de domaine très proches du vôtre, par souci pratique pour les internautes qui tapent directement l'adresse en inversant .fr et .com par exemple, etc.).

Peut-être avez-vous mis en place des redirections (permanentes, code 301) vers le nom de domaine officiel (si vous ne l'avez pas fait, vous savez ce qu'il vous reste à faire). Mais avez-vous regardé si ces noms de domaine secondaires sont indexés ? Il ne faut surtout pas que votre site soit indexé plusieurs fois, pour chaque nom de domaine. Si par hasard c'est le cas, c'est sans doute que vous n'avez pas mis en place les bonnes redirections, donc vérifiez que tous les domaines secondaires sont redirigés en 301 vers le domaine principal.

Erreur n°11 : faire indexer le site en HTTP et en HTTPS

Si vous migrez de HTTP à HTTPS, assurez-vous de le faire comme il faut et de ne plus avoir aucun contenu accessible aussi bien en HTTP qu'en HTTPS : tout doit être redirigé vers le HTTPS. A ce sujet, lisez mes conseils pour migrer de HTTP à HTTPS et récupérez le code à mettre dans le fichier .htaccess.

Au fait, savez-vous qu'il arrive parfois qu'un site soit accessible en HTTPS sans que son propriétaire le sache ? Il s'agit alors d'une mauvaise configuration du serveur, qu'il faut corriger. Pour vérifier si cela vous concerne, faites une requête spéciale en reprenant l'exemple ci-dessous :

site:example.com inurl:https

la commande site: restreint à votre site et la commande inurl: restreint la recherche à certains caractères présents dans l'URL. Malheureusement, vous pourrez avoir des pages en HTTP dans les résultats : il suffit qu'elles aient le mot https ailleurs dans l'URL. Dommage que Google ne propose pas de commande liée au protocole (http, https, etc.). J'en ai parlé à Google en direct, ils m'ont dit qu'il y réfléchissaient ! Voir les tweets ici et là.

Au fait, si vous ne les connaissez pas, consultez ma liste des commandes Google pour devenir un expert des requêtes !

Erreur n°12 : faire indexer en desktop des URL du site mobile

Vous avez peut-être choisi d'avoir un site mobile à part de votre site pour ordinateur (par exemple en mettant la version mobile sur un sous-domaine du genre m.example.com). Pourquoi pas, ça fait partie des possibilités pour rendre son site compatible mobile.

Mais dans ce cas, vérifiez que dans chaque URL mobile, vous indiquez bien l'URL équivalente sur le site pour ordinateurs. Google recommande pour cela d'utiliser une URL canonique.

Autres erreurs

Si vous avez d'autres exemples d'erreurs classiques de contenus dupliqués, merci de les indiquer en commentaires ! Je me permettrai de les intégrer dans cet article pour le mettre à jour.

Les solutions aux contenus dupliqués internes

La meilleure solution : redirection 301

Si vous avez fait une des erreurs précédentes et que certaines URL sont indexées alors qu'elles n'auraient pas dû l'être, la meilleure solution est de les rediriger de façon définitive (code HTTP 301) vers la bonne URL.

Par exemple (version imprimable) il faut rediriger  article.php?p=2534&print=1 vers article.php?p=2534.

Il existe des cas où ce n'est pas possible, par exemple car l'internaute doit pouvoir consulter l'URL "dupliquée". Dans ce cas il faut se rabattre sur l'URL canonique décrite ci-après.

A ne pas oublier de faire...

En plus de ces redirections, n'oubliez pas de mettre à jour votre site pour ne plus faire de liens vers ces mauvaises URL ! Pour automatiser cette vérification, utilisez RM Tech, vous saurez tout de suite s'il reste en interne des mauvais liens.

Si vous êtes capable de lister toutes les URL dupliquées pour lesquelles une redirection 301 est en place, listez-les dans un fichier sitemap. Cela incitera Google à aller les crawler et donc à les désindexer. En plus, vous aurez dans Google Search Console un décompte du nombre d'URL qu'il reste à faire désindexer.

Solution universelle : l'URL canonique

Depuis février 2009, Google gère l'URL canonique. C'est une bonne solution alternative, même si je l'estime moins efficace qu'une redirection 301 (Matt Cutts dit la même chose d'ailleurs).