Article mis à jour le 19/11/2015, publié initialement le 04/03/2013
Search Quality Raters Guidelines
La version 1.0, datée du 2 novembre 2012 (43 pages), s'intitulait "Search Quality Rating Guidelines". Une autre version a été publiée par Google sur son blog en novembre 2015.
Il est destiné à toutes les personnes qui travaillent pour Google à analyser la qualité des SERP. Il s'agit de sous-traitants, gérés par des sociétés tierces ayant passé un contrat avec Google. Il ne faut donc pas les confondre avec l'équipe anti-spam menée à l'époque par le fameux Matt Cutts (il a quitté Google depuis).
Leur travail est minutieusement décrit dans un PDF appelé QRG pour « (search) Quality Raters Guidelines ». Il est disponible en téléchargement ici chez Google.
Concrètement, les Search Quality Raters utilisent une version adaptée de Google pour effectuer de nombreuses recherches. A chaque fois, ils doivent juger si les résultats répondent exactement à la demande de l'internaute, selon une codification très précise expliquée dans ce document. Voici par exemple les 6 valeurs possibles (en 2015) à attribuer à un document en réponse à une requête dans un contexte précis :
- vital : en général il s'agit d'une page officielle
- utile : résultat très utile à la plupart des internautes
- pertinent : résultat utile à de nombreux internautes
- peu pertinent : résultat pas vraiment utile aux internautes mais qui est malgré tout en relation avec la requête. Quelques internautes pourraient trouver le résultat utile
- hors-sujet ou inutile : résultat utile pour très peu d'internautes, voire aucun
- impossible à évaluer : l'évaluateur humain n'est pas en mesure de pouvoir évaluer le document
Même s'il ne faut pas vous attendre à découvrir de scoop (surtout si comme moi vous aviez déjà lu ce document en 2012), ça vaut le coup d'y jeter un oeil. Ca vous rappellera peut-être qu'une bonne façon de voir les choses est de créer le contenu qui peut le mieux répondre à l'intention de l'utilisateur.
Pour chaque requête que l’évaluateur doit faire (avec un contexte bien défini), les pages des sites qui sortent dans les résultats sont évaluées sous 2 angles : la qualité de la page et la satisfaction des besoins de l’internaute.
Voici par exemple les notes possibles pour l’évaluation de la qualité d’une page :
Selon Google, les actions des Search Quality Raters n’ont aucun impact sur les sites évalués, et donc pas non plus sur leur référencement.
Rappel : rôle des évaluateurs de la qualité de la recherche Google
Les Human Raters (évaluateurs humains) sont des personnes dont le travail consiste à évaluer la qualité et la pertinence des résultats renvoyés par le moteurs de recherche Google. Ils sont là pour ajouter une touche humaine à l'algorithme par définition automatisé. Ces personnes sont (dans la plupart du temps ?) des sous-traitants, payés à l'heure.
Dès 2005 j'en parlais sur WebRankInfo : les évaluateurs de Google Evaluation.
Leur rôle est de contrôler les résultats et dire s'ils sont pertinents ou pas. Mais ils n'ont pas la possibilité de modifier manuellement les résultats (ni l'algorithme d'ailleurs). Par contre, leurs conclusions sont exploitées par la Quality Search pour valider - ou pas - un changement d'algorithme. Rappelez-vous que Google effectue plusieurs centaines de changements par an, la plupart sont indétectables mais certains ont un gros impact (par exemple Mayday, Panda ou Pingouin).
Vous trouverez d'autres détails dans mon dossier sur le fonctionnement de l'équipe qualité pour Google Search.
Voici une vidéo d'explications de Matt Cutts (chef de l'équipe anti-spam de Google, une sous-partie de l'équipe quality search) :
La fuite du document en 2012
Un fail de Google ?
Même Google ne fait pas bien son boulot, en laissant se faire indexer des pages pourtant interdites d'accès au commun des mortels : il s'agit de pages destinées aux Quality Raters, ces salariés (ou plutôt sous-traitants freelance) qui évaluent la qualité des résultats Google. Ils utilisent une interface spéciale de Google pour lancer des requêtes et analyser les résultats.
Un document complet listant les consignes avait déjà fuité, cette fois-ci c'est directement sur le site... mais les contenus ne sont pas disponibles. Il s'agit uniquement des URL (voir ici et là les requêtes). Mais comme le fait remarquer Seg, ça peut donner des idées sur leur travail :
J'ai donc récupéré pour vous la liste des fichiers PDF et HTML et l'ai mise dans ce tableau, avec parfois quelques commentaires.
| BadImageIdentification.pdf | identification des images de mauvaise qualité ? |
| BookResultModules.pdf | modules de recherche de livres |
| Booksearch.pdf | recherche de livres |
| BooksearchAmazon.pdf | recherche de livres : Amazon est-il un cas particulier traité différemment ? |
| BooksearchDisplayBlock.pdf | affichage d'un bloc de résultats de recherche de livres ? |
| BooksearchResultSet.pdf | ensemble de résultats de recherche de livres |
| BooksearchUtility.pdf | utilitaire de recherche de livres |
| card.html | |
| ChainRating.pdf | |
| CroppedImages.pdf | |
| display_block_relevance.pdf | |
| ewoqmobilebundle.pdf | |
| General_Guidelines.pdf | consignes générales |
| hours.html | |
| image_search_relevance.pdf | pertinence de la recherche d'images |
| ImagePageUtility.pdf | |
| ImageSxS.pdf | à quoi correspond SxS ? |
| ImageUtility.pdf | |
| LocalMapResults.pdf | |
| LocalRatingGuidelines.pdf | consignes sur les avis dans Google Maps ? |
| LocationSpecific.pdf | |
| mobileinstructions.pdf | |
| MultiURL.pdf | URL multiples |
| navigationalclassification_instructions.pdf | instructions pour classer une requête ou un résultat dans le type navigation ? |
| Plumeria.pdf | |
| PornImageReview.pdf | gestion des images porno ? |
| practicalexaminstructions-080706.html | |
| ProductEvaluation.pdf | évaluation d'un produit |
| ProductPage.pdf | |
| ProductSearch.pdf | |
| QueryCategorization.pdf | catégorisation d'une requête |
| rating_display_block.pdf | |
| RealtimeEvaluation.pdf | |
| RelatedBooks.pdf | |
| side-by-side.pdf | sans doute l'affichage côte-à-côte des SERP classiques et des SERP modifiés par un test d'algo ? |
| SimilarImages.pdf | |
| spam_100frame.html | type de spam = 100% frame ? |
| spam_copiedcontent.html | type de spam = contenu copié |
| spam_doorwaypages.html | type de spam = pages satellite |
| spam_fakemessageboard.html | type de spam = forum de discussion avec des faux messages |
| spam_fakesearch.html | type de spam = fausse page de (résultats de ?) recherche ? |
| spam_hiddentextext.html | type de spam = texte caché |
| spam_keywordstuffing.html | type de spam = bourrage de mots-clés |
| spam_parkeddomain.html | type de spam = nom de domaine en parking |
| spam_pureppc.html | type de spam = uniquement du PPC (pay per click) = MFA ? |
| spam_sneakyredirect.html | type de spam = redirection "trompeuse" ? |
| spam_templatepages.html | type de spam = pages abusant d'un modèle de page et avec trop peu de contenu ? |
| spam_thinaffiliate.html | type de spam = affiliation avec trop peu de contenu unique ? |
| spam_unhelpfulcontent.html | type de spam = contenu qui n'aide pas (l'internaute) ? |
| spam.html | explications sur le spam en général ? |
| SxScomments.pdf | encore le SxS |
| timeoff.html | |
| TTR_Timer.pdf | à quoi correspond TTR ? Time To XXX |
| ttr.html | |
| Video_Instructions.pdf | |
| VideoPlaylist.pdf | |
| VideoProblems.pdf | |
| VideoResultRating.pdf | |
| VideosWorthWatching.pdf |
Il n'y a aucune révélation, cet article sert plutôt d' "archive" ;-) D'ailleurs, ces documents sont peut-être vieux et plus utilisés. Ou alors c'est un super honeypot créé par Google pour piéger les SEO (Google aime piéger les référenceurs).
Mais tant qu'à faire, on pourrait donner un conseil à Google :
Si par mégarde tu as laissé se faire indexer des documents, ça ne suffit pas de rajouter un disallow dans ton fichier robots.txt car ça empêche simplement que le crawler retourne analyser les documents pour une mise à jour.
Il faut aller dans ton compte Google Search Console pour demander la désindexation immédiate de ton répertoire /evaluation/
;-)
Voir aussi : trouver des PDF dans Google avec filetype:pdf
Merci pour ce document, dommage qu'une version Française n'existe pas ça m'aurai bien aidé.
Ce PDF est très intéressant on en apprend plus sur Google.
Merci WRI pour cette ressource. Google en remet une couche avec la Qualité... bravo Google ! Maintenant, il va falloir joindre le geste à la parole ;-)
Considérant le jeu de courses / poursuites entre Google et les spammers, la publication de ce document ne serait-elle pas le signe que Google est passé à d'autres méthodes d'évaluation ?
@Olivier Duffez:
C'est un lien public dropbox shrinké vers le pdf des guidlines de cet été
-> http://bit.ly/guidline-google-06-2012-160pages-v3
Attention ce n'est pas la dernière version (paradoxalement), deux sections importantes ont été dégagées “Page Quality Rating Guidelines” et “Rating Examples.”
La suite ici pour les curieux : http://searchengineland.com/google-gutted-its-search-quality-rating-guidelines-for-public-release-150281
Merci pour l'info HPL
Merci pour le PDF, effectivement on le retrouvait sur plusieurs forum SEO, je suis d'accord avec le commentaire plus haut c'est assez indigeste à lire, pas très structurée, je me demande comment il s'y retrouve l'équipe chargé de faire les évaluations.
Ca reste un doc a lire pour "mieux" comprendre le géant de montain view ;)
Au plaisir.
Merci pour l'information. Cela semble interessant après j avoue que cela me parait assez indigeste de prime abord. De plus, on est jamais certain de vraiment apprendre quelque chose au final.
Mais bon, il est vrai que cela reste utile d avoir une vision provenant de l intérieur de Google
Merci encore,
Bonjour,
Et encore cette histoire de qualité!!!!
J'espère que Goggle tient compte vraiment de la qualité de contenu et que ses algorithmes cherchent à fidéliser les internautes loin de toutes autres raisons.
Ouvrage à lire +1!
Merci pour cette fabuleuse information.
Mais j'aimerai savoir où je peux télécharger le pdf ?
Merci Olivier
il suffit de lire mon article, c'est marqué
J'ai du mal à croire que Google puisse pondre des documents aussi indigeste que ça pour expliquer des concepts à leurs collaborateurs...
Certes je ne suis pas apte à lire un document en Anglais de cette taille la sans me suicider après mais même un collaborateur parlant Anglais couramment ne peut décemment pas affirmer qu'il à tout retenu de ce PDF selon moi.
Quelqu'un aurait un résumé en Français des fois ?
@julien: en même temps, c'ets comme l'annuaire: tu n'es pas obligé de tout lire en une fois ;-)
Pour une version plus récente : (URL)
@Dark : merci de donner une URL publique, là on ne sait pas d'où ça vient
Je l'ai déjà vu passer ce document, à l'époque je n'avais pas pris la peine de tout lire car c'est quand même assez long mais ton article me donne envie de m'y remettre pour de bon cette fois ci ! J'espère y trouver quelques infos SEO croustillantes :)