[Article] Link Spam Detection Based on Mass Estimation

Dernière édition par WebRankInfo le Mer Nov 09, 2005 10:22; édité 1 fois

cf. actu Algorithme de détection du link spam de masse

http://www.webrankinfo.com/actualites/200511-link-spam.htm plutot Wink

oups... c'est corrigé

WRInaute impliqué Inscrit le: 19 Mar 2004 Messages: 455

Salut Olivier
pourrait tu faire des articles un peu plus complet , car l'anglais ...
faire une synthèse plus profonde de l'article en français
merci

WRInaute impliqué Inscrit le: 17 Nov 2003 Messages: 278

L'article PDF semble intéressant... pour la théorie !

Mais il n'y a pas une implémentation de l'algorithme quelquepart qui permettrait de tester nous-mêmes des sites ?

je partage l'info en publiant une actu, je fais mieux que les anglais qui n'ont que recopié le résumé puisque j'ai lu rapidement l'article et j'ai donné les grandes lignes

Et ça ne suffit pas, il faut que je traduise les 21 pages ? Ca commence à faire bcp, je n'ai pas assez de temps ! Mais il y aura peut-être une autre bonne volonté ?

WRInaute impliqué Inscrit le: 19 Mar 2004 Messages: 455

Ce n'est ni une tentative de traduction fidèle de l'article, ni une analyse mathématique de l'algo. C'est juste une trasncription de ce que j'ai crû comprendre ( avec toutes les erreurs d'interprétation que j'ai pu faire )

On retrouve dans cet article des similitudes avec une publi précédente de 2004 :
Combating web Spam With Trust Rank.
C'est article est d'ailleurs cité.
TrustRank introduit le concept : "reputables nodes"
Spam Mass Detection : introduit le concept de "good nodes"

L'idée générale est d'utiliser deux ensembles de PR :
- Le PR habituel, dont la formule +ou- remanié date de 1998
- Un 2° PR, biaisé qui prendrait en compte le PR de certains sites ou pages connus comme étant de qualité. ( "good node", "reputable node")

L'idée des spammeurs est assez simple : le PR étant relativement robuste aux tentatives de spam. Une des solutions consiste à multiplier les liens entrants de faible PR.

Trois techniques de spam usuelles sont cités :
- Utilisation de blog, forums, guestbook : une analyse des tentatives de splog sur le blog de veronis :
http://aixtal.blogspot.com/2005/10/blogs-les-derniers-ne-seront-jamais.html
- La technique classique des "honey pot" : il n'y a qu'a voir le nombre de versions du manuel php disponible sur le web
Smile

. On sait jamais peut-être que celle du site officiel ne suffit pas !
- Le rachat de nom de domaine très populaire et ayant récemment expiré.

L'idéal étant évidemment de combiner ces trois techniques Very Happy

On retrouve ces concepts de sites de référence dans plusieurs approche : Authoritative Page, TrustRank, etc...
Si mes souvenirs sont bons, Il ya quelques années les chercheurs d'IBM avaient détecté sur la toile 4 à 5.000 sites qui pouvaient être considéré comme des points de départ de crawl fiable.

Edite -- supprimmé --

On peut imaginer que Pavel Berkhin et Jan Pedersen considére l'annuaire de Yahoo! comme étant a "good node".
Very Happy

Edit :
Il est impossible pour chaque document du web de savoir si on a affaire à un spam ou a un document de qualité.
Les auteurs ont basé leurs études sur deux sous-ensemble :
- un sous-ensemble de sites qui seraient connus comme étant de qualité
- un sous-ensemble de sites qui seraient connus comme étant du spam.
Ce sont les concepts de "white-list" et de "black-list" qui seraient maintenus par les outils de recherches.
Pour leur étude les auteurs ce sont contenté d'utiliser une "white-list".
Je me demande bien où ils ont pu la trouver Very Happy

On voit bien là l'importance d'avoir une base de connaissance fiable sur un , ou deux, sous-ensemble significatif de l'index général.
Cette connaissance peut-être apporté par des humains ( annuaire, eval.google.com) ou alors de manière automatique par des algos.

L'algo automatique et les humains pouvant être combiné.

Est-ce que le fait d'inscrire sont site dans un annuaire comme DMoz, dont les données libres sont reprises sur de nombreux sites, est succeptible d'entraîner un "Link Spam Detection" ?

A la lecture de cet article il me semble que non.
Il me semble qu'une des caractéristique essentielle des tentatives de spam est l'interconnection forte entre eux des node participant à la tentative de SpamLink.

Dans le cas d'un annuaire tel que DMoz, on a effectivement de très nombreux liens entrants, mais l'interconnexion entre les sources est quasiment inexistante.

C'est une interprétation très personnelle de l'article, mais cela me semble être un critère important.

WRInaute impliqué Inscrit le: 19 Mar 2004 Messages: 455

http://www.google.fr/search?q=annuaire+basketball&hl=fr&lr=&c2coff=1...

et comment il vont être classé les pauvres sites sur ce genre de truc http://www.google.fr/search?q=annuaire+basketball&hl=fr&lr=&c2coff=1...
au usa il y en à qui paye pour faire référencé leurs concurrents sur des millions de blogs et guestbook et achète des liens pourri comme ci dessus , il place un mot très concurrentiel en lien texte sur des centaines de pages sat , au dernière nouvelles le site résiste 3 semaines !

Le probleme avec un site dit "de qualité" , c'est qu'un jour il peut devenir spammeur, ou bien etre racheté par de mauvaises mains...
Changer l'algo c'est bien pour eux (chiant pour nous), mais je pense qu'ils auraient tout intéret à mieux gérer le spam report, et ça un humain le vérifiera toujours mieux qu'une bête machine...

Les auteurs montrent eux-mêmes les limites et les dangers de telles méthodes en signalant que : macromedia.com est considéré comme le 3° plus gros site de spam !
Les publis sur toutes les techniques de détection de SpamLink "pulullent" en ce momment.
On commence à voir se profiler des pistes pour essayer de garder de la pertinence au concept du PR ( qui était une bonne idée au départ ).

- Détection et blacklistage des FarmLinks en tout genre. Madrileno donne un très bon exemple. Les FarmLinks sont fortement interconnectés.

- Un calcul classique, ou légèrement modifié du PR. Un des enjeu est de ne pas prendre en compte les FarmLinks dans ce calcul. La présence dans une FarmLinks devrait être neutre, afin d'éviter les tentatives décrites par Madrileno. Aucune influence de la FarmLink : ni en positif, ni en négatif. Cela ne me semble possible que si les FarmLinks sont préalablement blacklistés.

- La maintenance par les moteurs d'une liste de sites de références, par exemple l'annuaire de Yahoo!. Sur ce point Yahoo! a un vrai avantage / Google. Les auteurs parlent d'un PR biasé qui ne prendrait en compte spécifiquement ces "sites de qualités".

L'enjeu n'est plus à la taille des index, mais à la qualification des sources. Ce qui est bc, bc plus complexe.
A ce premier enjeu vient s'ajouter la prochaine frontière : la sémantique, qui commence à être pris en compte.

[Article] Link Spam Detection Based on Mass Estimation

A lire dans l'actualité sur WRI :

Autres sujets de discussion :