Outil de vérification de plagiat ou de duplication de contenu (duplicate content)

Salut à tous,

Alors, je viens de terminer un petit outil qui va vous permettre de vérifier s'il existe une page dupliquée pour un texte ou une page de votre site. J'ai utilisé l'API Search que nous met à disposition Google et j'aimerais quelques feedbacks pour l'améliorer encore si possible

Madrileno m'a déjà fait quelques feedbacks et à joué le rôle de bêta testeur, merci à lui !

Au programme:

- Choix entre un texte ou une url en entrée.
- L'outil parcourt votre site à la recherche de contenu.
- L'outil scinde le texte fournit ou le texte récolté depuis votre site en morceaux pour effectuer plusieurs recherches sur google, ce qui améliore la detection.
- Gestion des sites encodés en UTF-8, ISO...
- Liens directs vers les tests effectués disponibles que vous pouvez ajouter en favoris.
- Groupe les résultats des multiples recherches google qui possèdent la même adresse.
- Affiche le pourcentage de mots clés reconnus par google comme dupliqués (en gras)
- Aperçu instantané d'un plagiat (fond et encadré en rouge (>=50%) ou vert (<50%) )
- Suivi des redirections 301 en cas de test sur une URL ne renvoyant pas un code 200. (Max 3 redirections)

Pour l'utilisation, vous pouvez afficher le mode d'emploi facilement. Sinon c'est rapide, vous entrez soit un texte, soit l'url d'une page à tester et c'est parti! . Exemple avec WRI qui a pas mal de DC :mrgreen: :



:arrow: Voila l'outil de vérification de duplicate content. Qu'en pensez-vous ? N'hésitez pas à reporter les éventuels bugs que vous trouverez ou améliorations possibles

Si vous apercevez votre site dans les résultats de l'outil, n'ayez pas peur, c'est normal . Je l'ai juste laissé à titre d'indication, je trouve plutôt normal de trouver les résultats de son site en premier sur google quand on fait une recherche. Et si vous ne voyez pas 100% pour votre site, c'est normal aussi

NB: Si vous avez déjà visité positeo.com auparavant, n'oubliez pas de vider votre cache CTRL + F5 !

 

@carole, j'avais pensé à faire l'outil bien avant les 3 topics (qui est une brique de mon prochain projet, demande a madri ^^) Et je n'ai pas du tout utilisé le script de Zeb dont je trouve la méthode pas super bonne. Ces topics sont une pure coïncidence. La méthode de calcul sur le taux de mots en gras était la seule méthode à utiliser vu que c'est celle qui se rapporte le plus à une méthode de vérification manuelle... Je veux bien aider quelqu'un qui se casse la tête à réaliser un script mais lui donner une application terminée tout cuit dans le bec, faut pas pousser :mrgreen: Tu aimerais que je montre le code qui gère les mots en gras et calcule le pourcentage alors ? Mais pas tout le script quand même !

@Bigb06. Pour chaque résultat de recherche google, google met en gras un certain nombre de mots. C'est le pourcentage de mots en gras par rapport au snippet entier ! Et je trouve les mêmes résultats que copyscape, donc ca me semble être bon ? Qu'as-tu testé qui ne te semble pas correct ?

 

L'avantage de l'outil c'est qu'on peut y coller un texte entier qui peut etre trop grand pour être collé dans Google directement. (Google limite à 32mots la recherche)

 

J'ai eu le cas ou google ne trouvait pas le contenu duppliqué car il se trouvait à l'intérieur du texte après les 32 premiers mots. Ici vu que le texte est coupé en morceaux et que plusieurs requêtes sont faites, l'analyse est plus fine et google trouve plus de choses !

Sinon les résultats sont classés par ordre de pourcentage décroissant. Donc si le premier n'est pas rouge, c'est bon

 

@dop20vt : Si ta page est trouvée en + de 50%, tu vérifies manuellement J'ai laissé le site source pour information, mais j'aurais très bien pu filtrer les résultats concernant le site inséré. Et le pourcentage correspond à ce que google à mis en gras par rapport à tous les mots dans un même snippet. Donc c'est après avoir coupé ton contenu en morceaux et fait quelques recherches google avec qu'il a trouvé cela. Sache aussi que je filtre beaucoup le contenu avant de le couper. Il peut donc manquer des choses que je n'ai pas voulu utiliser dans la recherche google. J'ai préféré les phrases longues, le texte pure.

@vincentdezone : Ce que tu fais après ? Bah tu contactes le webmaster pour faire virer le contenu plagié ^^. Au dessus de 50% tu vois clairement des phrases entières copiées, donc tu peux te poser des questions et vérifier le site manuellement

@labelandco : Je n'aime pas trop copyscape. Je le connaissais mais jamais utilisé et j'avais souvent peu de résultats. Il fait surement qu'une seule recherche google. J'avoue que j'ai surtout fait mon outil pour faire un algo que je réutiliserai plus tard pour autre chose .

Est-ce qu'un modo pourrait rajouter ceci dans le post initial ? Je ne peux plus l'éditer :
" Si vous apercevez votre site dans les résultats de l'outil, n'ayez pas peur, c'est normal . Je l'ai juste laissé à titre d'indication, je trouve plutôt normal de trouver les résultats de son site en premier sur google quand on fait une recherche. Et si vous ne voyez pas 100% pour votre site, c'est normal aussi "
On m'a mp pour clarifier ce point justement

 

Toi qui utilise beaucoup copyscape, que penses-tu de l'outil que je propose ? De grosses différences de résultats ? Hésite pas à critiquer hein

 

Tu peux m'envoyer en détails par mp ce que tu as fait afin que j'améliore ça ? Tu veux dire que tu as eu une grosse différence entre les résultats copyscape et positeo ? Sinon j'affiche à chaque fois le lien de la page qui copie non ?

 

Salut olivier, alors oui les pourcentages sont en rapport avec ce que Google fournit, donc oui, au niveau de la compréhension, j'ai des choses à changer.

Au niveau des requêtes, je coupe en fait le texte au mot prêt après un certain nombre de caractères. par exemple une page contient 2000caractères, 2000/300 = 7 (arrondi au dessus). Je coupe donc le texte en 7 morceaux et fait 7 requêtes avec l'api Google.

Non je n'indexe pas les liens vers les résultats. Normalement tout est en redirection 301 vers l'index de l'outil. Si cela ne fonctionne pas, je regarderai ça en détail.

 

Et beh c'est bien ma veine y a une limite du nombre de requêtes avec l'API Google ... Vous étonnez pas si vous avez un beau message "Quota Exceeded"

Je verrai pour arranger ça après les exams. Si des gens ont aussi des propositions à faire ... Au pire je passerai par un jeu de proxies.