Comment Google reconnaît-il les mots ?

Comment définir un mot à l'écrit ?

La définition la plus simple pour expliquer la notion de mot à un enfant consiste à dire qu'un mot est reconnaissable comme tel quand on peut le substituer par un autre au sein d'une phrase.

1. J'aime les fruits.
2. J'aime la pomme.
3. J'aime les légumes.
4. J'aime la pomme de terre.

Cette définition pragmatique permet de comprendre rapidement que définir un mot comme un groupe de lettres séparées des autres par des espaces ou des caractères est insuffisant ; car dans ce cas "pomme de terre" ne rentrerait pas dans la catégorie des mots. Certes, il est classé comme mot composé, mais c'est bien un mot !

Problème : comment expliquer la chose à un moteur ? On ne peut pas lui faire faire des tours de passe-passe sur tout le Web !

Autre aspect du problème : un même mot change de  forme !

La "pomme de terre" devient les "pommes de terre" au pluriel. Google adore la pomme de terre dans tous les cas et surtout Wikipédia qui est premier sur les deux requêtes !

Les morphèmes de conjugaison

Le verbe "aime" varie en "aimes", "aimons", "aimez", "aiment", "aimer", -iez... toutes les formes conjuguées ou non avec parfois des formes inédites ;-)

Bref, reconnaître un mot n'est pas si simple, il s'agit de le reconnaître quels que soient les changements de forme liés aux accords !

Sans oublier qu'un mot peut ressembler à un autre sans avoir le même sens !

Les mots "voile" et "livre" par exemple sont problématiques  :

• un voile =  le voile en dentelle / hissez la voile = une voile
• un livre = je lis un livre /  je livre tel objet = livrer

A grande échelle, on voit bien que le traitement des mots n'est pas une simple affaire de dictionnaire à digérer et à recracher ! Comment un robot peut-il reconnaître un mot ?

Les aides linguistiques pour traiter la notion de mot

Petit préambule sur les termes employés

Pour opérer un traitement informatique sur les mots, on utilise la notion de lemme ou lexème (ce dernier terme est souvent préféré par le monde linguistique). Pour faire court et ne pas rentrer dans des questions théoriques, je considère ici que ces deux termes ont le même sens, j'utilise pour ma part les termes "lexème" ou "morphèmes lexicaux" à la place de lemme (on ne se refait pas !).

Comprendre la notion de lexème (ou lemme)

Le lexème est le plus petit élément qui fait sens, il peut se confondre avec un mot ou être une partie de celui-ci :

Chanter, chantant, chantons ont un lexème commun : chant

Selon les éléments que l'on associe à ce lexème, on obtient soit un mot différent qui a un lien sémantique avec le premier (famille de mots) soit une nouvelle forme du mot (accord ou conjugaison). En passant de l'idée de mot à celle de lexème, on peut ainsi introduire une sorte de "découpage" et de "composition" des mots (lemmatisation pour les puristes) qui permet  2 choses fondamentales pour les moteurs de recherche :

1. automatiser la reconnaissance des lexèmes (lemmes ou mots) ;
2. traiter les liaisons sémantiques entre les mots.

La notion de lexème en amène une autre complémentaire, celle de morphème.

Comprendre le principe du morphème

Pour reconnaître un mot, quelle que soit la forme utilisée dans un texte, un moteur a besoin d'une sorte d'inventaire des formes que celui-ci peut emprunter. Il a besoin de connaître les morphèmes qui sont  les plus petites unités de formes.

Comme le lexème, un morphème peut être un mot (morphème lexical = lexème) ou un élément plus petit que l'on ajoute.

• Chanter = chant + er
• Chantez = chant + ez

Dans nos exemples, les lexèmes sont les mêmes, seul le morphème change : er/ez. On parle ici de morphème grammatical, c'est-à-dire qu'il n'est pas lié à un problème de lexique mais de grammaire : infinitif (-er) et forme conjuguée (-ez) d'un verbe.

La morphologie qui est l'étude de la forme des mots permet donc d'automatiser la reconnaissance des mots.

• un avion, des avions = lexème avion + morphème -S du pluriel = mot identique dont la forme change simplement à cause du contexte.

Ce principe permet aussi de reconnaître des pluriels particuliers comme cheval/chevaux, bail/baux. N'oublions pas que -S n'est pas la seule façon de marquer le pluriel en français !

Le fonctionnement est le même pour reconnaître un adjectif au féminin ou au masculin et un verbe quelle que soit la forme conjuguée.

Qu'est-ce que cela veut dire pour le référencement ?

Traitements sémantiques effectués par les moteurs de recherche

Les moteurs font ainsi des traitements sémantiques sur les mots plus avancés qu'il n'y paraît. Ils sont capables de :

• reconnaître un mot simple ou un mot composé grâce aux lexèmes ;
• reconnaître un même mot dans des formes différentes grâce aux morphèmes (singulier/pluriel, masculin/féminin, conjugaison) ;
• de lier sémantiquement certains mots grâce aux lexèmes.

L'indice de densité idéal pour le référencement

Pour finir cette approche linguistique du traitement de l'information, voici une question qui concerne l'indice de densité idéal, le fameux pourcentage qu'il faudrait appliquer pour un mot clef d'après les tenants de cette technique :

Si pour optimiser vos textes vous utilisez cet indice, êtes-vous sûr de bien compter les mots ? D'ailleurs, faut-il compter les mots ou bien les lexèmes... ?

Je rappelle que Google a donné une réponse officielle concernant l'indice de densité et qu'Olivier en parle depuis longtemps sur WebRankInfo...

A bientôt sur le forum WRI où l'on discute de mon article sur la reconnaissance des mots par Google.

Véronique Martin