Annonces Google

Vous êtes ici : Dossiers référencement > Ecrire pour le web et le référencement

Comment Google reconnaît-il les mots ?

Par , le 20 avril 2009

... ou les relations particulières de Google avec la pomme de terre et l'indice de densité !

Reconnaître un mot écrit pour tout lecteur va de soi mais comment un robot fait-il pour "lire", c'est-à-dire identifier et traiter ce fameux mot ? Pour vous, c'est évident, vous en lisez et en écrivez tous les jours, vous les repérez sans même vous en rendre-compte mais un moteur, un robot, comment fait-il ? A-t-il simplement avalé un dictionnaire ? Ceux qui ont participé à ma formation le savent déjà, pour les autres voici un petit aperçu des traitements linguistiques sur la question...

Comment définir un mot à l'écrit ?

La définition la plus simple pour expliquer la notion de mot à un enfant consiste à dire qu'un mot est reconnaissable comme tel quand on peut le substituer par un autre au sein d'une phrase.

  1. J'aime les fruits.
  2. J'aime la pomme.
  3. J'aime les légumes.
  4. J'aime la pomme de terre.

Cette définition pragmatique permet de comprendre rapidement que définir un mot comme un groupe de lettres séparées des autres par des espaces ou des caractères est insuffisant ; car dans ce cas "pomme de terre" ne rentrerait pas dans la catégorie des mots. Certes, il est classé comme mot composé, mais c'est bien un mot !

Problème : comment expliquer la chose à un moteur ? On ne peut pas lui faire faire des tours de passe-passe sur tout le Web !

Autre aspect du problème : un même mot change de  forme !

La "pomme de terre" devient les "pommes de terre" au pluriel. Google adore la pomme de terre dans tous les cas et surtout Wikipédia qui est premier sur les deux requêtes !

Morphèmes de conjugaison

Les morphèmes de conjugaison

Le verbe "aime" varie en "aimes", "aimons", "aimez", "aiment", "aimer", -iez... toutes les formes conjuguées ou non avec parfois des formes inédites ;-)

Bref, reconnaître un mot n'est pas si simple, il s'agit de le reconnaître quels que soient les changements de forme liés aux accords !

Sans oublier qu'un mot peut ressembler à un autre sans avoir le même sens !

Les mots "voile" et "livre" par exemple sont problématiques  :

  • un voile =  le voile en dentelle / hissez la voile = une voile
  • un livre = je lis un livre /  je livre tel objet = livrer

A grande échelle, on voit bien que le traitement des mots n'est pas une simple affaire de dictionnaire à digérer et à recracher ! Comment un robot peut-il reconnaître un mot ?

Les aides linguistiques pour traiter la notion de mot

Petit préambule sur les termes employés

Pour opérer un traitement informatique sur les mots, on utilise la notion de lemme ou lexème (ce dernier terme est souvent préféré par le monde linguistique). Pour faire court et ne pas rentrer dans des questions théoriques, je considère ici que ces deux termes ont le même sens, j'utilise pour ma part les termes "lexème" ou "morphèmes lexicaux" à la place de lemme (on ne se refait pas !).

Comprendre la notion de lexème (ou lemme)

Le lexème est le plus petit élément qui fait sens, il peut se confondre avec un mot ou être une partie de celui-ci :

Chanter, chantant, chantons ont un lexème commun : chant

Selon les éléments que l'on associe à ce lexème, on obtient soit un mot différent qui a un lien sémantique avec le premier (famille de mots) soit une nouvelle forme du mot (accord ou conjugaison). En passant de l'idée de mot à celle de lexème, on peut ainsi introduire une sorte de "découpage" et de "composition" des mots (lemmatisation pour les puristes) qui permet  2 choses fondamentales pour les moteurs de recherche :

  1. automatiser la reconnaissance des lexèmes (lemmes ou mots) ;
  2. traiter les liaisons sémantiques entre les mots.

La notion de lexème en amène une autre complémentaire, celle de morphème.

Comprendre le principe du morphème

Pour reconnaître un mot, quelle que soit la forme utilisée dans un texte, un moteur a besoin d'une sorte d'inventaire des formes que celui-ci peut emprunter. Il a besoin de connaître les morphèmes qui sont  les plus petites unités de formes.

Comme le lexème, un morphème peut être un mot (morphème lexical = lexème) ou un élément plus petit que l'on ajoute.

  • Chanter = chant + er
  • Chantez = chant + ez

Dans nos exemples, les lexèmes sont les mêmes, seul le morphème change : er/ez. On parle ici de morphème grammatical, c'est-à-dire qu'il n'est pas lié à un problème de lexique mais de grammaire : infinitif (-er) et forme conjuguée (-ez) d'un verbe.

La morphologie qui est l'étude de la forme des mots permet donc d'automatiser la reconnaissance des mots.

  • un avion, des avions = lexème avion + morphème -S du pluriel = mot identique dont la forme change simplement à cause du contexte.

Ce principe permet aussi de reconnaître des pluriels particuliers comme cheval/chevaux, bail/baux. N'oublions pas que -S n'est pas la seule façon de marquer le pluriel en français !

Le fonctionnement est le même pour reconnaître un adjectif au féminin ou au masculin et un verbe quelle que soit la forme conjuguée.

Qu'est-ce que cela veut dire pour le référencement ?

Traitements sémantiques effectués par les moteurs de recherche

Les moteurs font ainsi des traitements sémantiques sur les mots plus avancés qu'il n'y paraît. Ils sont capables de :

  • reconnaître un mot simple ou un mot composé grâce aux lexèmes ;
  • reconnaître un même mot dans des formes différentes grâce aux morphèmes (singulier/pluriel, masculin/féminin, conjugaison) ;
  • de lier sémantiquement certains mots grâce aux lexèmes.

L'indice de densité idéal pour le référencement

Pour finir cette approche linguistique du traitement de l'information, voici une question qui concerne l'indice de densité idéal, le fameux pourcentage qu'il faudrait appliquer pour un mot clef d'après les tenants de cette technique :

Si pour optimiser vos textes vous utilisez cet indice, êtes-vous sûr de bien compter les mots ? D'ailleurs, faut-il compter les mots ou bien les lexèmes... ?

Je rappelle que Google a donné une réponse officielle concernant l'indice de densité et qu'Olivier en parle depuis longtemps sur WebRankInfo...

A bientôt sur le forum WRIl'on discute de mon article sur la reconnaissance des mots par Google.

Véronique Martin

Cet article vous a-t-il plu ?
Cliquez pour voter !

Article (Traitement des mots par Google et notions linguistiques) publié par WebRankInfo dans la rubrique Ecrire pour le web et le référencement. Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.

10 commentaires

  • ref123 a dit le

    Bonjour,
    La première partie de l'article est intéressante pour le linguiste que je suis même si j'ai un certain nombre d'objections quant à certains notions.
    Par contre la deuxième partie me semble un peu rapide. Google fait-il le même traitement d'un singulier et d'un pluriel, d'un féminin et d'un pluriel, on peut en douter... S'il fait le même traitement, comment le fait-il ?...
    Mais merci à son auteur(e) : la lexicologie est enfin reconnue officiellement !!!

    Ref123

  • Véronique Martin a dit le

    Il s'agit ici de vulgarisation, les notions présentées n'ont pas pour but de se référer à un courant précis de la linguistique ni de faire véritablement de la lexicologie ou de la morphologie. Je suis tout de même étonnée par votre remarque car j'ai expliqué, il est vrai très rapidement et très simplement (peut-être trop) le recours aux différentes catégories de morphèmes ! Il s'agit de linguistique appliquée.

  • ref123 a dit le

    Bonsoir,

    Justement, s'il s'agit de "linguistique appliquée", pouvez-vous nous en dire plus sur ce qui intéresse exactement des référenceurs ou webmasters : comment pensez-vous que Google intègre ces notions linguistiques à son algorythme et comment un site avec un mot-clé au singulier ressortira mieux dans les résultats de recherche qu'un site avec le même mot-clé au pluriel, ou quelle importance jouent ces critères, doit-on diversifier singulier et pluriel ou non...

    Merci.

  • Olivier Duffez a dit le

    Je pense qu'on ne peut pas demander de répondre à toutes les questions sur cette thématique dans le tout premier article ;-) Il va falloir patienter un peu, participer au forum, etc.
    2 pistes sur les sujets évoqués : Google et le singulier/pluriel, Google et les différentes formes des mots

  • Campagne a dit le

    Je suis premier sur "galette de patate" dans Google.ca mais pas sur "galette de pomme de terre" mais là bas on dit patate ;-)

  • Mini Cooper a dit le

    Merci pour cette interview
    j'arrive 2 ans après mais bon, c'est toujours d'actualité.

  • Eddy a dit le

    A priori et cela avec toutes les mises à jour récentes de Google, on tend à un Google qui classe les sites de plus en plus en fonction du contenu et de la manière dont le contenu sera rédigé.

    Ce n'est pas plus mal quelque part, étant donné que le gagnant final sera l'utilisateur.

    Le métier de rédacteur du web prendra encore de l'ampleur !

  • Jerome pasquelin a dit le

    J'ai développé un outil de lemmatisation (par dictionnaires) en Français à cette adresse : http://www.jerome-pasquelin.fr/tools/outil_lemmatisation.php

    Donnes moi ton avis à l'occasion

    Sur l'aide de Google par contre ils spécifient qu'ils n'utilisent pas cette technique : http://www.google.fr/intl/fr/help/basics.html
    "Pour garantir des résultats aussi précis que possible, Google n'applique pas de « lemmatisation » (réduction des mots au masculin et/ou au singulier, à l'infinitif, etc.) et ne supporte pas les recherches à base de caractères joker/wildcard"

    Tu en penses quoi?

  • Olivier Duffez a dit le

    @Jérome : j'ai du mal à comprendre leur phrase, je suppose qu'ils veulent dire qu'ils ne font pas de lemmatisation au niveau de la requête, mais il me parait évident qu'ils en font quand ils indexent les contenus

  • Jerome pasquelin a dit le

    ha oui bien vu, je pense qu'il faut l’interpréter comme ça. Ca parait logique en plus. Merci!

Postez un commentaire !

Les champs marqués du signe * sont obligatoires. L'adresse email ne sera pas affichée.

En postant un commentaire, vous acceptez les CGU du site WebRankInfo.

Catégories des dossiers

Consultez les dossiers par thématiques :

Annonces Google

Formation référencement et webmarketing

Venez chez Ranking Metrics vous former au référencement, à Google AdWords et Analytics ainsi qu'aux réseaux sociaux ! Plus de 4000 entreprises sont déjà venues (Dossier possible OPCA...).

Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans le domaine, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.

Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, consultez le site de Ranking Metrics (organisme de formation).

Hébergement web

Hébergement web mutualisé et dédié

Pour un bon référencement, il faut un bon hébergeur. Testez Sivit by Nerim, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo.

A partir de 3€ HT/mois.

Annonces Google


28 Partages