| |
|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
Giom
WRInaute discret
Inscrit le: 28 Nov 2002
Messages: 65
Localisation: Tourcoing
|
 Posté le : Jeu Déc 04, 2003 9:45 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Quel rapport entre l'évolution parfois décevante des résultats du moteur de recherche Google et le filtre anti spam bayésien ? C'est toute l'ambiguïté de la démarche commerciale des moteurs de recherche sponsorisés...
Le moteur de recherche Google, qui appartient aujourd'hui au paysage Internet, plus d'un internaute sur deux y déposant des requêtes, est d'abord victime de son succès !
Après être devenu un outil de recherche pour les hackers, en particulier avec la capacité de son robot à indexer de nombreux formats de fichiers présents sur les serveurs, et pour certains au contenu confidentiel non protégé, il est devenu un outil majeur pour les spammeurs.
Les pages de résultats de Google sont en effet aujourd'hui spammées par des pages web sans intérêt particulier, sauf d'afficher des liens commerciaux ou de renvoyer vers des sites qui pratiquent l'affiliation payante. Ainsi, à chaque clic, l'auteur du site qui pratique le spam se voit rémunéré, et le visiteur – tout comme le moteur, mais seulement jusqu'à un certain point ! - trompés.
Filtrer les sites spammés
Cette pratique, assimilable au spam, s'est largement répandue ces derniers mois, et participe à polluer les résultats des moteurs de recherche, à décevoir leurs clients et à dévaloriser la pertinence du moteur. Google n'est plus ce qu'il était !
Pour revenir à plus de pertinence, il faut soit nettoyer la base, tâche ardue lorsque les milliards de données sont réparties sur des dizaines de milliers de postes en architecture parallèle. D'autant qu'après la pertinence des algorithmes d'extraction et de classement des résultats, le volume de la base indexée est un argument marketing important.
La solution la plus rapide et la plus simple à déployer pour écrémer les résultats semble donc d'intervenir au niveau de la requête de l'internaute, c'est-à-dire d'appliquer des philtres avant d'afficher les résultats.
Le filtre bayésien a la faveur des moteurs de recherche
C'est à ce niveau, celui du tri et du classement des résultats qui seront envoyés à l'internaute en réponse à sa requête, qu'interviennent les filtres bayésiens. Il s'agit en effet d'une méthode statistique avancée qui calcule la probabilité qu'un site ou une page proposé en résultat soit spammé.
La méthode reste sémantique, puisqu'elle associe un 'taux de spam' aux mots clés de la requête de l'internaute, qu'elle compare à un 'taux de probabilité de spam' associé au contenu des sites indexés dans la base du moteur. Ainsi, une requête sur un mot clé unique sera 'nettoyée' plus largement qu'une requête associant plusieurs mots clés.
Un filtre qui influe sur la pertinence des résultats
La démarche est intéressante, mais le résultat laisse à désirer ! Implémenté par Google au cours du mois d'octobre 2003, le filtre bayésien anti spam a eu des répercussions dramatiques sur les résultats proposés par le moteur, faisant disparaître des sites légitimes, avec parfois l'effet inverse à celui escompté.
Dans les semaines qui ont suivies, les résultats ont été améliorés, sans doute avec l'intervention manuelle des responsables de Google pour nettoyer la base. Mais la pertinence du moteur reste encore douteuse sur certaines requêtes.
Nouvelle évolution majeure des algorithmes de Google à la mi novembre 2003. Cette fois, ce sont surtout des sites historiques, indexés depuis longtemps, techniquement très pertinents, et sans aucune pratique de techniques assimilables au spam, qui sont propulsés dans l'arrière boutique…
Tester les résultats
Comment s'assurer de l'influence du filtre bayésien sur les résultats affichés ? Google dispose d'une option qui permet de désactiver le philtre. Il suffit de placer dans la requête une commande ' -site:google.com ', qui indique au moteur de ne pas appliquer les critères proposés en mode standard, puisque la requête ne passe pas par la moulinette de filtrage de Google.com.
La différence entre les résultats proposés avec ou sans filtre est généralement surprenante, et laisse planer un doute quant à l'efficacité des algorithmes bayésiens en matière de qualité d'extraction des résultats. Des sites d'une grande pertinence se trouvent relégués au fin fond des résultats proposés, et loin d'une réelle visibilité.
L'ambiguïté du ratio pertinence/revenus
Mais pour le moteur, la démarche reste ambiguë ! En effet, les spammeurs sont les premiers à acheter du mot clé, car ils cherchent à se positionner au mieux sur les requêtes des internautes afin d'attirer un revenu issu de l'affiliation. Le spam participe donc, sans doute largement, aux revenus générés par les liens payants, AdWords de Google ou liens sponsorisés d'Overture et eSpotting.
C'est là toute l'ambiguïté de la lutte contre le spam à la source des moteurs de recherche, mais aussi des annuaires ou des portails… Car ces pratiques participent activement à leurs revenus !
Yves Grandmontagne
Silicon.fr[/url] |
|
| |
|
 |
Siddartha
Nouveau WRInaute
Inscrit le: 30 Nov 2003
Messages: 24
Localisation: Paris, Fce
|
|
| |
|
|
DAVID86
WRInaute accro
Inscrit le: 15 Oct 2003
Messages: 1179
Localisation: Observatoire de l'Environnement - Poitou-charentes / France
|
| Posté le : Jeu Déc 04, 2003 12:04 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
intéressant... mais -autrechose marche autant que -google.com !  )... tout en donnant au surprise encore des résultats différents!
Google, la, tu m'impressionnes!
Romain
Dernière édition par DAVID86 le Jeu Déc 04, 2003 16:01; édité 1 fois |
|
| |
|
|
Katia
WRInaute impliqué
Inscrit le: 04 Sep 2002
Messages: 491
Localisation: Sud de la France
|
| Posté le : Jeu Déc 04, 2003 15:34 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Très intéressante analyse de Giom.
| Giom a écrit: |
La méthode reste sémantique, puisqu'elle associe un 'taux de spam' aux mots clés de la requête de l'internaute, qu'elle compare à un 'taux de probabilité de spam' associé au contenu des sites indexés dans la base du moteur. Ainsi, une requête sur un mot clé unique sera 'nettoyée' plus largement qu'une requête associant plusieurs mots clés.
|
Il ya des quantités de requêtes sur un mot clé qui ne sont pas nettoyées (noel) alors que des requetes sur trois, quatre ou plus de mots clés sont complètement nettoyées (new hotel usa).
Il y a environ 7000 langues parlées dan le monde, plusieurs dizaines de milliers de mots par langues, soit environ 5000 à 10000 milliards de combinaisons de 2 mots et ne parlons pas des combinaisons de trois mots, quatre mots ou plus.
En complément du developpement de Giom, je crois que Google a fait très fort.
Que ce sont les "spammeurs" ou les "optimiseurs" qui vont désormais déterminer eux-mêmes involontairement si un filtre doit ou non leur être appliqué. Comment est-ce possible?
Imaginons que ce filtre soit appliqué à des mots et à des pages avant tout.
Imaginons que ce taux soit calculé avant tout pour des mots uniques.
Lorsque la requête comprend plusieurs mots, des règles spécifiques determinent alors automatiquement le taux de "synthèse" et l'application ou non du filtre.
Un site peut donc avoir certaines pages déclassées sur certaines combinaisons de mots et pas sur d'autres.
Imaginons que le filtre s'applique comme un taux applicable au delà d'un seuil et non pas d'un bouton oui/non.
Imaginons que les adwords ne determinent pas le filtre
car on trouve des mots clés qui ne font pas partie des adwords et qui sont nettoyés,et
on trouve des mots clés qui font partie des adwords et qui ne sont pas nettoyés.
Imaginons que pour chaque mot unique à travers le monde un coefficient "risque de spam" soit appliqué à partir d'une somme de critères combinés du type:
"présence moyenne par pages"
"présence moyenne dans les liens entrants"
"nombre de résultats dans les recherches"
Il suffirait alors qu'un groupe de webmasters concurrents dans la 2345ème langue de la liste suroptimisent par exemple sur le mot "xzxzxzxz" (ou sur une combinaison de mots) pour qu'automatiquement ce mot (ou les mots faisant partie de cette combinaison) soit filtré par Google sans aucune intervention humaine.
Cela voudrait dire aussi qu'il faut désormais distinguer 2 choses : le filtre bayesien et le paramétrage différent de l'algo principal Google en fonction du taux d'application du filtre bayesien.
Le premier étant lié à toutes les pages web, il n'est donc plus maîtrisable par les 'optimiseurs".
Le second étant lié au premier, il devient une barre amovible difficile à gérer.
Si par exemple, plusieurs SEO désoptimisent leurs sites sur un mot clé donné, le filtre pourrait ne plus s'appliquer plus automatiquement renversant de nouveau la donne.
Si c'est le cas et même si ce filtre comporte encore quelques grosses faiblesses, comme d'ailleurs tous les tris automatisés, il sera surement d'un grand secours à Google car bien plus difficile à maîtriser par ceux qui "sur-optimisent".
Pour moi, il améliore un peu la qualité globale des résultats.
En tous cas, je ne pense pas qu'il ait été conçu pour favoriser ou défavoriser des sites, des catégories particulières, dans telle ou telle région du monde.
Katia. |
|
| |
|
|
Kmacleod
WRInaute accro
Inscrit le: 28 Nov 2002
Messages: 3417
|
| Posté le : Jeu Déc 04, 2003 16:54 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Et si les "suroptimiseurs" faisaient rentrer dans le filtre, non pas leur mot clés, mais les mots clés voisins.
si 49 personnes alignées reculent d'un pas, ils désignent le 50 ème comme étant celui qui a fait un pas un avant. |
|
| |
|
|
François
WRInaute occasionnel
Inscrit le: 13 Nov 2002
Messages: 239
Localisation: Aix en Provence, 13, France
|
| Posté le : Jeu Déc 04, 2003 17:06 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Bonjour Katia,
Je suis d'accord sur le fond de la nécessitée de filtrer les sites truffés de mots clés qu'il soient ou non en rapport avec leur contenu. Idem pour les pages satellites ou cachées etc..
Mais le pb, c'est qu'en ce moment, c'est à se rouler par terre de rire pour certains résultats : on trouve des sites bien placés avec une pertinence moyenne voire n'ayant rien à voir avec le steak !
De plus, si on a le malheur d'avoir un domaine avec les mots clés suspicieux, plus on a de liens plus on est considéré comme sur-optimiseur : je parle du domaine pas de répertoires virtuels créer à la volée.
Dans ces cas la que faire ? on ne maitrise pas qui fait un lien vers soit.
Quelqu'un ici parlait de ventes de pommes comme exemple, il m'a faire rire jaune :
1/ je choisi quoi comme domaine : ventepommes.com ou ventes-pommes.com : avouons que le deuxieme est nettement plus lisible, pour un homme ou un robot !
2/ quand quelqu'un veut faire un lien vers moi, je ui conseille quoi comme texte : Vente pommes ou vente bananes histoire d'éviter de me faire filtrer ?
3/ comme titre de la page d'accueil je mets quoi ? vente pommes en gros par ex ou grossiste pomme ou vente bananes.
J'ai eu le même choix à faire avant même que je connaisse WRI et qu'il existe pour choisir le nom de domaine de mon site : vous savez ce que j'ai choisi et le resultat !!!
J'ai lu un article ( lien ci après ) ou le mot c'est rayonnage ( en anglais ), le responsable du site à eu la "mauvaise" idée de choisir comme nom rayonnages.com : quelle erreur ! c'est con pour lui c'est trop pertinent surtout que des tas de sites font un lien vers lui ( puisqu'il existe depuis des années ) avec comme texte , je vous le donne en mille ? rayonnages.com !
l'article en question :
http://www.searchengineguide.com/lloyd/2003/1125_bl1.html
Alors oui un filtre c'est bien, oui il y avait squattage de pseudo-annuaires sur les 1ères pages, mais combien de sites pertinents, faisant leur travail correctement, sont partis avec l'eau du bain ? et le squattage continue sur d'autres combinaisons en plus : pourquoi pas de filtre ?
Faut pas pousser non plus : on n'en sort plus s'il faut éviter d'utiliser un mot clé pertinent dans le format des liens qu'on propose ou dans le nom d'un dossier pourtant utile !
Cf les conseils de GG lui même quand aux règles pour être bien référencé je cite :
Essayez d'imaginer les termes qui seront soumis à Google par les utilisateurs qui cherchent à s'informer sur le contenu de votre site, et insérez ces termes dans vos pages
Si ca n'est pas de l'optimisation ca y ressemble, faut pas être trop bon c'est tout, et pas d'enjeux commerciaux.. pardon on a pas de preuves 
En résumé, pourquoi envoyer un petit commando quand une simple bombe au napalm suffit ? tant pis si on tue des civils !
Bref j'arrète là ou je vais me faire tuer par les modérateurs ou le boss lui même ! pas trop fort quand même les gars.
A+
Francois, qui rit quand même bien sur certains résultats |
|
| |
|
|
DAVID86
WRInaute accro
Inscrit le: 15 Oct 2003
Messages: 1179
Localisation: Observatoire de l'Environnement - Poitou-charentes / France
|
| Posté le : Jeu Déc 04, 2003 17:45 Sujet du message: et sur l'échelle géographique |
|
|
| François a écrit: |
| Alors oui un filtre c'est bien, oui il y avait squattage de pseudo-annuaires sur les 1ères pages, mais combien de sites pertinents, faisant leur travail correctement, sont partis avec l'eau du bain ? et le squattage continue sur d'autres combinaisons en plus : pourquoi pas de filtre ? |
Je suis d'accord avec toi, François ; un petit exemple : mettez vous à la place de sites institutionnels ! Beaucoup de ceux qui investissaient dans une véritable lisibilité sur leur échelle de territoire (et ils étaient déja trop rares) se retrouvent maintenant après une myriade d'agences de voyages... américaines )
Bonjour la pertinence pour le service public! En attendant, les guichets publics sont en grosse baisse de fréquentation... car ils ne sont plus trouvable. Résultat, on est obligé de communiquer en dur... avec quel argent?? |
|
| |
|
|
cariboo
WRInaute passionné
Inscrit le: 08 Fév 2003
Messages: 755
Localisation: PARIS
|
| Posté le : Jeu Déc 04, 2003 20:12 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Euh... Juste une remarque en passant !
Qui vous dit qu'il s'agit bien d'un filtre bayesien ?
Cela à la couleur du truc, mais ce n'est pas forcément cela...
Une info qui sort du Googleplex ? Pas à ma connaissance...
Si je vois un journaliste bien informé qui ne cite pas ses sources, j'ai toujours la même réaction... le doute !
Alors, info ou intox.
Une (vraie) info qui sort du Googleplex : ce filtre est sémantique. Mais tous les filtres sémantiques ne sont pas bayesiens. |
|
| |
|
|
Katia
WRInaute impliqué
Inscrit le: 04 Sep 2002
Messages: 491
Localisation: Sud de la France
|
| Posté le : Jeu Déc 04, 2003 22:07 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
Un filtre qui chamboule les résultats ca a toute les chances de faire 33% de satisfaits, 33% d'indécis et 33% de mécontents.
Un algorithme qui s'améliore ca peut donner 70% de résultats de meilleure qualité et 30% de résultats de moins bonne qualité.
Si le filtre avait globalement dégradé la qualité et la pertinence des résultats,
Google aurait très vite laissé tomber ce filtre.
Il y a des dégats collatéraux. Pour certaines sociétés, peut être des employés au chomage parce que les résultats de leur site auront décliné...
et si cela est lié aux 30% de résultats de moins bonne qualité, c'est surement rageant.
Maintenant, Google aurait été bien plus en danger en conservant indéfiniment sa lisibilité parfaite par les référenceurs.
Les pages poubelles et les pages suroptimisées, ce n'est pas anecdotique si ca se trouve pour Google.
Qui vous dit que le pourcentage de pages spammées n'est pas équivalent au pourcentage de e-mails qui sont des spams à travers le monde soit 1 sur 2.
Probable. Les serveurs de mails ont du prendre des mesures radicales.
Google a peut être été obligé de faire de même.
Google laisse apparaitre dans les résulats le plus souvent le meilleur et en général nous evite de voir ce qu'il y a dessous.
Lorsqu'on descend dans les résultats, ou qu'on force un peu l'apparition des reseaux souterrains, on s'aperçoit qu'il en existe un nombre incroyable.
le tout dernier entrevu par hasard:
http://www.google.fr/search?hl=fr&ie=ISO-8859-1&c2coff=1&q=%22Click+here+for+101...
Il y a peut etre un nom de domaine clean dans cette liste mais il faut le trouver.
Certains mots peuvent interesser 1000 à 4000 sites ou webmasters... et pourtant il n'y a que 10 places sur la première page.
Je ne pense pas que les techniques de référencement tout à fait basiques comme celles proposées aux débutants sur WRI posent le moindre problème
vis à vis de ce filtre.
Par contre lorsqu'un site envoit 2000 liens optimisés vers une page pour bien ressortir sur une combinaison très concurrentielle,
qu'un autre fait rebelotte et en rajoute 4000 pour le depasser et le suivant dix de der avec 8000 liens pour être devant, Google n'a plus forcement envie de cautionner indéfiniment
cette surenchère qui ne produit pas forcement les resultats les plus pertinents.
| cariboo a écrit: |
Qui vous dit qu'il s'agit bien d'un filtre bayesien ?
Cela à la couleur du truc, mais ce n'est pas forcément cela...
|
C'est vrai on en sait rien!
Katia |
|
| |
|
|
Americas
WRInaute accro
Inscrit le: 24 Sep 2003
Messages: 3377
Localisation: Argentine
|
| Posté le : Jeu Déc 04, 2003 22:32 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
| Citation: |
Qui vous dit qu'il s'agit bien d'un filtre bayesien ?
Cela à la couleur du truc, mais ce n'est pas forcément cela... |
C'est un filtre "googlien"... ça c'est sûr 
En tout cas... à titre perso... ces changements me semblent tout de même bizarre 
Je ne me plains pas trop car Google référence pas mal de pages de mon site en bonne position... mais cela est du à un contenu dense et varié.
Par contre... je ne m'explique pas comment une de mes pages qui était placée en bonne position avant ces changements... ne se trouve même plus dans les 20 premières pages.
Cette page est une page d'information sur le Mexique... certains ont avancés qu'il y avait une répétition trop importante du mot "mexique"... 54 fois... certes... mais 54 fois sur une page très longue... et comment parler du Mexique, de sa géographie, de son economie, de son histoire... sans répéter plusieurs fois son nom
Si cette hypothèse est la vraie... je vais scinder la page en 2 pour voir comment Google interprète cela.
Mais je ne suis pas tout a fait convaincu. Dans le domaine du tourisme, le mot "mexique" a une grande valeur ajoutée !
http://www.google.fr/search?q=mexique&ie=UTF-8&oe=UTF-8&hl=fr&btnG=Recherche+Goo...
Sur les 4 premières pages il n'y a aucun site de voyages  ... alors qu'ils étaient très présent auparavant... pourquoi ? Voilà mon hypothèse : Pourquoi Google placerait des sites de voyages dans les premiers résultats alors que si l'internaute veut aller sur un de ces sites il n'a qu'a cliquer sur les adsenses à droite ! C'est une façon de privilégier les sites d'informations en les plaçant dans les premières places et dans le même temps, gagner de l'argent avec Adsense 
Le problème c'est que Google semble occulter des sites d'informations qui comportent des mots commerciaux 
Résultat des courses : faire du commercial ou du purement informatif... il va falloir choisir |
|
| |
|
|
anguenot.com
WRInaute passionné
Inscrit le: 14 Mai 2003
Messages: 907
Localisation: http://bvwg.actulab.net
|
| Posté le : Jeu Déc 04, 2003 23:21 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
A propos du filtre, Scroogle donne la liste des sites affectés pour chaque mot-clé recherché (par la méthode décrite qq part dans ce forum, du -quelque-chose).
http://www.scroogle.org/
J'ai l'impression que le filtre ne porte que sur les mots anglais. En tous cas d'après stroogle, "mexique" n'est pas affecté. Peut-être un autre filtre ou un changement d'algo? |
|
| |
|
|
Katia
WRInaute impliqué
Inscrit le: 04 Sep 2002
Messages: 491
Localisation: Sud de la France
|
| Posté le : Jeu Déc 04, 2003 23:22 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
| Americas a écrit: |
Cette page est une page d'information sur le Mexique... certains ont avancés qu'il y avait une répétition trop importante du mot "mexique"... 54 fois... certes... mais 54 fois sur une page très longue... et comment parler du Mexique, de sa géographie, de son economie, de son histoire... sans répéter plusieurs fois son nom
|
Ce n'est surement pas un critère particulier mais une somme de dizaines de critères juxtaposés.
deux autres au hasard:
Pourquoi pas par exemple les 9 mots en balises h1 dont 4 fois le mot mexique soit un taux de 45%?
ou les 100% des liens entrants avec le même mot?
Katia. |
|
| |
|
|
Americas
WRInaute accro
Inscrit le: 24 Sep 2003
Messages: 3377
Localisation: Argentine
|
| Posté le : Jeu Déc 04, 2003 23:24 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
C'est quoi ce scroogle ?
Il se base sur quoi à part l'API de Google ? |
|
| |
|
|
Americas
WRInaute accro
Inscrit le: 24 Sep 2003
Messages: 3377
Localisation: Argentine
|
| Posté le : Jeu Déc 04, 2003 23:28 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
| Katia a écrit: |
Ce n'est surement pas un critère particulier mais une somme de dizaines de critères juxtaposés.
deux autres au hasard:
Pourquoi pas par exemple les 9 mots en balises h1 dont 4 fois le mot mexique soit un taux de 45%?
ou les 100% des liens entrants avec le même mot?
Katia. |
Tu as peut être raison... il y a sans doute suroptimisation de cette page 
Cela dit... cette suroptimisation est intervenue après que Google ait plongé cette page dans les profondeurs et qu'à ce moment là il n'y avait aucune balise H1 |
|
| |
|
|
Katia
WRInaute impliqué
Inscrit le: 04 Sep 2002
Messages: 491
Localisation: Sud de la France
|
| Posté le : Jeu Déc 04, 2003 23:48 Sujet du message: Google victime de son filtre bayésien anti spam ? |
|
|
[quote="anguenot.com"]
http://www.scroogle.org/
[quote]
Merci pour l'adresse.
Egalement pour comprendre la logique du filtre, pourquoi ne pas choisir un mot qui ne concerne pas son site comme : "cliquez" par exemple.
Ce mot est filtré, il n'est pas acheté en adwords, n'est pas un mot commercial, ni un mot anglophone...
Même si je n'arriverai pas à oter l'idée à certains que Google leur veut spécifiquement du mal, ca peut au moins faire reflechir.
Katia.
Dernière édition par Katia le Jeu Déc 04, 2003 23:52; édité 1 fois |
|
| |
|
|
| |
|
|
|
|
Autres sujets de discussion :
|
|
