Comment Google reconnaît-il les mots ?

Véronique (son site : ), Lundi 20 avril 2009

… ou les relations particulières de Google avec la pomme de terre et l'indice de densité !

Reconnaître un mot écrit pour tout lecteur va de soi mais comment un robot fait-il pour « lire », c'est-à-dire identifier et traiter ce fameux mot ? Pour vous, c'est évident, vous en lisez et en écrivez tous les jours, vous les repérez sans même vous en rendre-compte mais un moteur, un robot, comment fait-il ? A-t-il simplement avalé un dictionnaire ? Ceux qui ont participé à ma formation le savent déjà, pour les autres voici un petit aperçu des traitements linguistiques sur la question…

Comment définir un mot à l'écrit ?

La définition la plus simple pour expliquer la notion de mot à un enfant consiste à dire qu'un mot est reconnaissable comme tel quand on peut le substituer par un autre au sein d'une phrase.

1. J'aime les fruits.
2. J'aime la pomme.
3. J'aime les légumes.
4. J'aime la pomme de terre.

Cette définition pragmatique permet de comprendre rapidement que définir un mot comme un groupe de lettres séparées des autres par des espaces ou des caractères est insuffisant ; car dans ce cas « pomme de terre » ne rentrerait pas dans la catégorie des mots. Certes, il est classé comme mot composé, mais c'est bien un mot !

Problème : comment expliquer la chose à un moteur ? On ne peut pas lui faire faire des tours de passe-passe sur tout le Web !

Autre aspect du problème : un même mot change de  forme !

La « pomme de terre » devient les « pommes de terre » au pluriel. Google adore la pomme de terre dans tous les cas et surtout Wikipédia qui est premier sur les deux requêtes !

Les morphèmes de conjugaison

Le verbe « aime » varie en « aimes« , « aimons« , « aimez« , « aiment« , « aimer« , -iez… toutes les formes conjuguées ou non avec parfois des formes inédites ;-)

Bref, reconnaître un mot n'est pas si simple, il s'agit de le reconnaître quels que soient les changements de forme liés aux accords !

Sans oublier qu'un mot peut ressembler à un autre sans avoir le même sens !

Les mots « voile » et « livre » par exemple sont problématiques  :

• un voile =  le voile en dentelle / hissez la voile = une voile
• un livre = je lis un livre /  je livre tel objet = livrer

A grande échelle, on voit bien que le traitement des mots n'est pas une simple affaire de dictionnaire à digérer et à recracher ! Comment un robot peut-il reconnaître un mot ?

Les aides linguistiques pour traiter la notion de mot

Petit préambule sur les termes employés

Pour opérer un traitement informatique sur les mots, on utilise la notion de lemme ou lexème (ce dernier terme est souvent préféré par le monde linguistique). Pour faire court et ne pas rentrer dans des questions théoriques, je considère ici que ces deux termes ont le même sens, j'utilise pour ma part les termes « lexème » ou « morphèmes lexicaux » à la place de lemme (on ne se refait pas !).

Comprendre la notion de lexème (ou lemme)

Le lexème est le plus petit élément qui fait sens, il peut se confondre avec un mot ou être une partie de celui-ci :

Chanter, chantant, chantons ont un lexème commun : chant

Selon les éléments que l'on associe à ce lexème, on obtient soit un mot différent qui a un lien sémantique avec le premier (famille de mots) soit une nouvelle forme du mot (accord ou conjugaison). En passant de l'idée de mot à celle de lexème, on peut ainsi introduire une sorte de « découpage » et de « composition » des mots (lemmatisation pour les puristes) qui permet  2 choses fondamentales pour les moteurs de recherche :

1. automatiser la reconnaissance des lexèmes (lemmes ou mots) ;
2. traiter les liaisons sémantiques entre les mots.

La notion de lexème en amène une autre complémentaire, celle de morphème.

Comprendre le principe du morphème

Pour reconnaître un mot, quelle que soit la forme utilisée dans un texte, un moteur a besoin d'une sorte d'inventaire des formes que celui-ci peut emprunter. Il a besoin de connaître les morphèmes qui sont  les plus petites unités de formes.

Comme le lexème, un morphème peut être un mot (morphème lexical = lexème) ou un élément plus petit que l'on ajoute.

• Chanter = chant + er
• Chantez = chant + ez

Dans nos exemples, les lexèmes sont les mêmes, seul le morphème change : er/ez. On parle ici de morphème grammatical, c'est-à-dire qu'il n'est pas lié à un problème de lexique mais de grammaire : infinitif (-er) et forme conjuguée (-ez) d'un verbe.

La morphologie qui est l'étude de la forme des mots permet donc d'automatiser la reconnaissance des mots.

• un avion, des avions = lexème avion + morphème -S du pluriel = mot identique dont la forme change simplement à cause du contexte.

Ce principe permet aussi de reconnaître des pluriels particuliers comme cheval/chevaux, bail/baux. N'oublions pas que -S n'est pas la seule façon de marquer le pluriel en français !

Le fonctionnement est le même pour reconnaître un adjectif au féminin ou au masculin et un verbe quelle que soit la forme conjuguée.

Qu'est-ce que cela veut dire pour le référencement ?

Traitements sémantiques effectués par les moteurs de recherche

Les moteurs font ainsi des traitements sémantiques sur les mots plus avancés qu'il n'y paraît. Ils sont capables de :

• reconnaître un mot simple ou un mot composé grâce aux lexèmes ;
• reconnaître un même mot dans des formes différente grâce aux morphèmes (singulier/pluriel, masculin/féminin, conjugaison) ;
• de lier sémantiquement certains mots grâce aux lexèmes.

L'indice de densité idéal pour le référencement

Pour finir cette approche linguistique du traitement de l'information, voici une question qui concerne l'indice de densité idéal, le fameux pourcentage qu'il faudrait appliquer pour un mot clef d'après les tenants de cette technique :

Si pour optimiser vos textes vous utilisez cet indice, êtes-vous sûr de bien compter les mots ? D'ailleurs, faut-il compter les mots ou bien les lexèmes… ?

Je rappelle que Google a donné une réponse officielle concernant l'indice de densité et qu'Olivier en parle depuis longtemps sur WebRankInfo…

A bientôt sur le forum WRI où l'on discute de mon article sur la reconnaissance des mots par Google.

Véronique Martin

Formation référencement et webmarketing

Vous souhaitez sans doute améliorer votre référencement, avez-vous pensé à suivre une formation spécialisée sur le référencement naturel ? En 2008, plus de 700 entreprises ont assisté à nos différentes sessions, la plupart faisant financer ces journées par la formation professionnelle (OPCA). Orange Labs nous a décerné un taux de satisfaction des participants de 90% (octobre 2008).

Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans la profession, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.

Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, cliquez ici pour consulter le site de Ranking Metrics (organisme de formation agréé).

Lectures recommandées sur ce thème :

Laisser une réponse