5 interviews qui pourraient vous intéresser :
Udi Manber, Amit Singhal et Scott Huffman sur l'évaluation de la qualité des résultats
Matt Cutts sur la question du spam (voir sa fiche ici)
et Eric Schmidt sur le journalisme
Fonctionnement de l’équipe qualité chez Google Search
Savez-vous combien de fois Google cherche à améliorer ses algorithmes chaque année ? Comment Google mesure la qualité de ses résultats de recherche ? Qui sont les évaluateurs humains, à quoi servent-ils ? Voici quelques explications sur ces mystères de Google…
Cet article reprend seulement quelques éléments publiés par Business Week dans une série d’interviews d’ingénieurs de Google (Udi Manber, Amit Singhal, Scott Huffman). Il n’en reste pas moins que ça m’a pris pas mal de temps à lire et à vous le résumer !
En 2008, Google a effectué entre 5000 et 6000 expériences visant à améliorer le moteur de recherche. Celles-ci aboutissent à environ 100 à 120 modifications dans l’algorithme chaque trimestre.
Chaque jour, environ un tiers des requêtes effectuées sur Google n’avaient jamais été effectuées auparavant ! Un grand nombre d’entre elles ne seront sans doute jamais refaites…
Parmi les éléments surveillés, Google cherche à analyser les requêtes pour lesquelles l’internaute n’a cliqué sur aucun résultat, car c’est en général signe d’une mauvaise qualité de résultats. Il y a des contre-exemples, par exemple les internautes qui utilisent Google pour vérifier l’orthographe : ils tapent quelque chose et regardent la suggestion de Google puis repartent sans rien cliquer. Autre exemple : parfois l’internaute trouve ce qu’il cherchait directement dans le texte du snippet (le petit descriptif sous chaque résultat).
Pour vérifier l’intérêt d’une modification de l’algorithme, Google utilise des évaluateurs humains et effectue des expériences :
Tous les ingénieurs qui travaillent à améliorer l’algo ont à leur disposition une plateforme de tests très efficace, qui leur permet de valider une hypothèse en une seule journée, en mesurant des données réelles. Si les chiffres sont bons, la modification peut être approuvée en 5 minutes !
Un très très bon ingénieur met environ 2 ans à vraiment bien comprendre comment fonctionne la recherche chez Google.
Un grand nombre d’adaptations sont faites sur l’algorithme pour tenir compte des spécificités de chaque pays (en plus des langues).
Souvent, quand un ingénieur Google remarquait un problème avec des résultats de mauvaise qualité, il avait du mal à le montrer car les résultats changent sans arrêt. Alors, pour régler ce problème, une équipe a développé un système appelé Replay : c’est une sorte de « magnétoscope de Google » qui permet en quelque sorte de figer l’index. Ainsi, il devient possible de lancer une requête pour analyser les résultats qui auraient été renvoyés par Google à un autre moment dans le passé !
Udi Manber, Amit Singhal et Scott Huffman sur l'évaluation de la qualité des résultats
Matt Cutts sur la question du spam (voir sa fiche ici)
et Eric Schmidt sur le journalisme
Fonctionnement de l’équipe qualité chez Google Search
Savez-vous combien de fois Google cherche à améliorer ses algorithmes chaque année ? Comment Google mesure la qualité de ses résultats de recherche ? Qui sont les évaluateurs humains, à quoi servent-ils ? Voici quelques explications sur ces mystères de Google…
Cet article reprend seulement quelques éléments publiés par Business Week dans une série d’interviews d’ingénieurs de Google (Udi Manber, Amit Singhal, Scott Huffman). Il n’en reste pas moins que ça m’a pris pas mal de temps à lire et à vous le résumer !
En 2008, Google a effectué entre 5000 et 6000 expériences visant à améliorer le moteur de recherche. Celles-ci aboutissent à environ 100 à 120 modifications dans l’algorithme chaque trimestre.
Chaque jour, environ un tiers des requêtes effectuées sur Google n’avaient jamais été effectuées auparavant ! Un grand nombre d’entre elles ne seront sans doute jamais refaites…
Parmi les éléments surveillés, Google cherche à analyser les requêtes pour lesquelles l’internaute n’a cliqué sur aucun résultat, car c’est en général signe d’une mauvaise qualité de résultats. Il y a des contre-exemples, par exemple les internautes qui utilisent Google pour vérifier l’orthographe : ils tapent quelque chose et regardent la suggestion de Google puis repartent sans rien cliquer. Autre exemple : parfois l’internaute trouve ce qu’il cherchait directement dans le texte du snippet (le petit descriptif sous chaque résultat).
Pour vérifier l’intérêt d’une modification de l’algorithme, Google utilise des évaluateurs humains et effectue des expériences :
- En ce qui concerne les évaluateurs humains (Google Quality Raters) : il y en a partout dans le monde (on ne sait pas combien…). Ces beta-testeurs de Google sont des indépendants recrutés via des petites annonces, payés par Google (autour de 16$ de l’heure pour les USA). Ils ont accès à un outil leur permettant de réaliser des tâches bien précises qui servent à analyser la qualité des résultats. Par exemple ils doivent indiquer si une URL répond vraiment bien à une requête donnée.
- En ce qui concerne les expériences : un échantillon d’utilisateurs voient les résultats du nouvel algorithme (sans le savoir) tandis que d’autres voient l’ancien : par comparaison de nombreux indicateurs (pas seulement les clics), Google évalue les performances du nouvel algorithme. 1% des utilisateurs de Google est déjà un échantillon suffisamment représentatif.
Tous les ingénieurs qui travaillent à améliorer l’algo ont à leur disposition une plateforme de tests très efficace, qui leur permet de valider une hypothèse en une seule journée, en mesurant des données réelles. Si les chiffres sont bons, la modification peut être approuvée en 5 minutes !
Un très très bon ingénieur met environ 2 ans à vraiment bien comprendre comment fonctionne la recherche chez Google.
Un grand nombre d’adaptations sont faites sur l’algorithme pour tenir compte des spécificités de chaque pays (en plus des langues).
Souvent, quand un ingénieur Google remarquait un problème avec des résultats de mauvaise qualité, il avait du mal à le montrer car les résultats changent sans arrêt. Alors, pour régler ce problème, une équipe a développé un système appelé Replay : c’est une sorte de « magnétoscope de Google » qui permet en quelque sorte de figer l’index. Ainsi, il devient possible de lancer une requête pour analyser les résultats qui auraient été renvoyés par Google à un autre moment dans le passé !
