Coder un comparateur de prix

[ideezik]

Bonjour

Je me posais la question. Est-ce que les sites marchants proposent des webservices (en xml par exemple) pour fournir leurs prix sur leurs produits ?

Si c'est le cas, le codage d'un comparateur de prix me semble faisable. Si ce n'est pas le cas, j'ai du mal à voir comment font les sites genre rue-hardware, rue-du-commerce & co à part bien sur payer 300 personnes pour mettre les prix à jour mais ca m'étonne quand meme !

Voila. La question est posée. Si quelqu'un a déjà codé un site dans le genre j'aimerais bien des infos.

 

[Nitou]

Biensûr qu'ils fournissent un fllux XML

 

[ideezik]

Je vais aller me renseigner alors.

Si vous connaissez de la doc la dessus, ou si vous utilisez les flux de certains sites marchands (orienté matos informatique) je suis interessé.

Je sens que je vais avoir du boulot si je me mets à coder ca :roll:

 

[Oxud]

C'est pas trop le code le plus compliqué, c'est le référencement... c'est bien plus complexe car tu ne maitrises pas les données du flux xml et niveau densité c'est catastrophique....

 

[rituel]

Oulàlàlà vous rêvez ... Avant d'avoir un catalogue XML vous devez attendre d'avoir une certaine notoriété :roll:

Déjà certains sites ne proposent pas d'affiliations directe, il faut donc passer par des régies, et pour que ces dernières ayent les catalogues c'est une autre paire de manches ...

Une fois que vous avez la notoriété en revanche, c'est beaucoup plus simple ce n'est pas vous qui allez les chercher, c'est eux

Pour le reste Oxud à raison.

 

[ideezik]

Euh... ces propos sont un poil hors sujet

Ma question était d'un point de vue uniquement technique :wink:

Pour le reste, c'est une évidence.

 

[rituel]

D'un point de vue technique on t'a répondu les catalogues XML, maintenant je te préviens d'avance qu'il est inutile de te faire de fausses illusions et que tu va lutter pour les avoir :wink:

En tout cas bonne chance quoi que tu entreprennes !

 

[totoro]

Pour rue-montgall par exemple c'est pas du flux xml, ce sont les boutiques qui renseignent... et payent pour y être d'ailleurs...

 

[ideezik]

Merci

C'était plus un besoin de savoir "comment ca marche" sans pour autant vouloir mettre ca en place pour le moment.

Comme tu le disais il faut avoir les épaules solides pour mettre une telle chose en place.

Mais ca empeche pas de se renseigner pour savoir comment ca marche :wink:

 

[Nitou]

Rue-montgallet/Hardware utilise des flux XML pour mettre à jour les prix.

 

[squawk]

Pour rue-montgall par exemple c'est pas du flux xml, ce sont les boutiques qui renseignent... et payent pour y être d'ailleurs...

Comment tu sais qu'elles n'utilisent pas de flux xml ? et bien sur que les marchands paient pour être dans les comparateurs, c'est leur modèle économique d'ailleurs

 

[alain-b]

Une fois que tu as les flux, tu mets dans ta base de données et après tu présentes et tries les données de façon a en faire quelque chose qui ressemble à un comparateur de prix ...

Pas évident donc. Ca existe peut etre en GPL ??

 

[totoro]

Par ce que je connais une boutique qui remplit a la main... maintenant ils ont, j'espere pour eux, de l'integration xml aussi !

 

[rebirth]

Les boutiques donnent elles des examples de leurs flux XML ?

Je suis actuellement en recherche d'informations dessus....

Le plan technique ne me derange pas du tout, mais je cherche a avoir un exemple de flux ou de categories communes entre 3/4 boutiques pour tester...

 

[rituel]

Certaines boutiques payent pour figurer dans un site, j'ai eu moi même une proposition.

Sinon, j'oubliais de dire que ca peut aussi être un catalogue texte qu'ils donnent.

 

[vpx]

Les plus gros comparateurs font des offres allechantes aux boutiques: Integration pendant X mois sans pourcentage, et ils proposent de mettre en place eux même le flux xml du catalogue. Du point de vue referencement, ils ont interet à integrer des commercants, même à titre gratuit.

 

[rituel]

Vpx, oui pour pour des produits rigoureusement identiques, pour les produits artisanaux je ne suis pas d'accord, car finalement ce n'est pas vraiment de la comparaison de prix mais du recensement puisque les produits restent différents même s'ils sont de nature identique.

 

[Americas]

Pour répondre au sujet de comment les boutiques font pour proposer un catalogue aussi dense... il y a un article dans SVM de juin 2004.

Des sites comme Kelkoo, Bestofmicro, Grosbill, PriceMinister, Wstore, etc... sont clients de cnetchannel.com, une société américaine installée en russie qui emploie des gens (plus de 250 dans ce qu'ils appellent une datafarm) pour remplir des fiches pour tous les produits.
Cette société vend alors ses 250.000 fiches à une soixantaine de clients en fonction de leurs besoins.

Selon la même revue, tous n'adoptent pas la même technique. LDLC emploie 3 personnes à temps plein pour rédiger les 15.000 fiches de son catalogue.

 

[pipologue]

Un export CSV suffit pour tous les comparateurs de prix...

 

[ideezik]

Erf Americas confirme un truc que je pensais impossible 8O

 

[macjee]

Il n'y a pas que les flux XML, pour mon comparateur de prix j'utilise des technique de reconnaissance comme un robot de moteur de recherche.

Si tu attends d'avoir des propositions des boutiques ou qu'elles te filent un flux XML tu peux attendre longtemps... :lol:

 

[rituel]

La solution Macjee c'est celle qu'utilise Froogle mais il faut de très bons ingénieurs en IA derrière pour le faire une reconnaissance automatique sur un n'importe quel site.

 

[demipoulpe]

chaque comparateur ( icomparateur, kelkoo ) a son mode de fonctionnement propre et demande une gestion du flux xml differente ( meme si basiquement on demande toujours le meme type de balise ), apres les comparateurs viennt sur ton serveurs recuperer le flux ou alors il faut le leur envoyé ( dynamiquement avec des methode post/curl... etc.. ) ou manuellement.
Generer de tesl flux n a rien de techniquement difficile ( le xml etant un langage de balise tres semblable au html ).Par contre creer un comparateur necesste des moyen technique de traitement du flux assez consequent .
La retribution du comparateur se fait generelament au click.

Pour les fiche il y a aussi le systeme CNETmais ce sont des fiches techniques payantes ....

 

[M le maudit]

C'est pas compliqué, faut juste avoir l'accord des sites que tu aspires et être prêt à bosser 3 à 6 mois à temps plein avant de gagner le moindre euro (d'expérience...) !

Mais c'est faisable, bon courage alors ;-)

 

[yeca]

Je suis pas du tout de vos avis.

Je sais que certains sites ne proposent pas de flux. Les comparateurs aspirent simplement les sites en question avec des spiders pour dynamiquement en tirer les offres.

Désolé de vous décevoir mais la mise en place d'un comparateur est loin d'être simple.

 

[demipoulpe]

c ets dans l interet de sites de mettre une solution XML ou CSV en place, les comparateur qui "aspirent" les données ne peuvent pretendre etre remunerer au click par les sites de ecommerce et se contentEent de la pub pour vivre ( ce qui est plutot aleatoire ) .....
Un compareteur a tout interet a passer par le xml ( et des balises GENCOD, CNET ou SKU ) pour pouvoir comparer ce qui est comparable et aider les sites a mettre en place de tel solutions ( le code qui genere le flux xml kelkoo par exemple ne prend pas plus de 10 minutes a mettre en place meme si on est pas une bete en info .... )

 

[yeca]

Sauf que certains marchand ont des prix qui varient trop souvent pour que les flux XML soient si facilement posés.

 

[demipoulpe]

une exporte toute les 24 heures pour un fichier de 2000 references pour moi ... sur 5 comparateurs

 

[fat-freddy]

Les plus gros comparateurs font des offres allechantes aux boutiques: Integration pendant X mois sans pourcentage, et ils proposent de mettre en place eux même le flux xml du catalogue. Du point de vue referencement, ils ont interet à integrer des commercants, même à titre gratuit.

tu connais des comparateurs qui proposent leur services gratuitement aux boutiques ? parceque ca m'intéresse fortement ...

si tu peux me les envoyer en mp ou sur le forum ca serait sympa ! j'ai du flux à refiler :lol:

 

[demipoulpe]

webmarchand.com le fait, sinon des periodes dessais sont negociables.

 

[iconso]

Les comparateurs aspirent simplement les sites en question avec des spiders pour dynamiquement en tirer les offres

Je vais essayer d'apporter quelques infos ;-)
En fait il existe deux méthodes principales de collecte des données pour les comparateurs de prix :
1/ Le crawl (aspiration des fiches, extraction des données utiles)
2/ Les flux : XML, CSV, Excel, un bon comparateur de prix doit être capable de gérer (presque) toutes les formes de données standardisées.

D'un manière générale, la 1ère méthode montre rapidement ses limites, ce qui fait qu'elle a presque disparue. La facilité d'extraction des catalogues en XML ou CSV fait qu'il vaut mieux privilégier cela. Avec un flux de ce type, plusieurs problèmes importants disparaissent :
- La taille des fichiers à transférer est bien moindre (1000 produits prenent moins de 300 ko en moyenne en XML/CSV, contre 1000 * 50 ko en mode crawl) : ce ne permet pas de rafraichir les prix à la même fréquence.
- Les erreurs liées à l'extraction des données sont presqu'inexistantes : si le marchand change son design, etc.. le XML/CSV n'en est pas affecté.

A mon avis, ce qui fait l'intérêt d'un comparateur, ce n'est pas sa capacité à lister des produits, mais sa capacité à hiérarchiser et classer l'information, en la rafraichissant le plus souvent possible. Certains le font plus ou moins bien. Pour hierarchiser l'info, il y a deux philosophies qui sont souvent combinées :
- L'identification produit : par exemple http://hifiphotovideo.kelkoo.fr/b/a/sbs ... 35997.html
- Le search : http://hifiphotovideo.kelkoo.fr/ctl/do/ ... 01&x=0&y=0

L'identification des produits est une phase assez complexe, au point d'ailleurs que certains comparateurs la font manuellement :lol: ou se contentent juste de méthodes de search (Froogle, LeGuide, Webmarchand, etc..). Personnellement je défends l'identification des produits lorsque c'est possible, parce que ca évite les remontées d'accessoires et de produits parasites, et l'utilisateur final s'affranchit de la manière dont a été saisi le nom du produit chez le marchand (une recherche sur Ixus 40 ne renverrait généralement pas un produit nommé Ixus40 et inversement) : il voit alors en une seule page les marchands vendant le produit qu'il cherche, et seulement celui ci.

Un comparateur avec identification des produits gratuit pour les marchands, je ne suis pas certain que cela puisse exister : ca demande des ressources considérables. Dans le search, il existe du gratuit, c'est une autre problématique, beaucoup plus simple (Kelkoo, Froogle - bientot en France, etc..). Les résultats sont par contre parfois décevants sur certaines catégories de produits.

Pour donner un ordre d'idée de l'ampleur du travail, un site comme i-Comparateur traite toutes les 6 heures les catalogues de 136 marchands, soit un peu plus de 350,000 prix. Il est possible d'intégrer un marchand en quelques heures, quel que soit son nombre de produit (il n'y a pas d'intervention humaine sur la classification des catalogues des marchands).

Fred

 

[M le maudit]

Je tiens tout d’abord à féliciter « iconso » pour sa réponse qui n’a pas manqué d’éclairer beaucoup de monde sur l’ampleur du travail que représentent les développements, mais je reste mitigé quant à l'ampleur du travail…
Je comprends tout à fait que le secteur des comparateurs d’achats en ligne reste entre les mains de certain qui ne veulent pas voir arriver de nouveaux acteurs ;-)

Il est évidement vrai que les flux sont préférables au crawler, cependant tous les sites marchands ne disposent pas encore de flux XML ou CSV, c’est pourquoi l’aspi reste une solution qu’il faut savoir traiter !!!

Les difficultés résident :
- dans la connaissance du fonctionnement des sites marchands,
- de leurs architectures,
- et le fait d’avoir de bonnes relations avec les marchands pour obtenir leur accord.

Ensuite, les développements doivent être bien pensé en amont pour ne pas avoir à tout modifier en cours. Les cahiers des charges doivent tenir compte des contraintes marchandes des sites.
Mais comme le dît « iconso » ensuite tout est automatisé !

C'est pourquoi, il est donc préférable de connaître tous ces aspects marketing avant de partir dans tous les sens et ne pas voir que l’aspect tech du projet.

Il reste vrai que cela représente du travail, mais avec une vision claire dès le départ, cela reste tout à fait faisable.

A votre dispo ;-)

 

[iconso]

Tiens comparer-tout.com c'est la suite d'astucius.com ?

Je comprends tout à fait que le secteur des comparateurs d’achats en ligne reste entre les mains de certain qui ne veulent pas voir arriver de nouveaux acteurs ;-)

C'est l'impression que cela peut donner, parce que le marché du comparateur généraliste est dominé par un seul acteur (Yahoo shopping, soit le généraliste Kelkoo + Monsieur Prix - plus spécialisé), qui domine les autres de manière très très nette. Ensuite pour les challengers c'est le serpent qui se mord la queue : il est plus difficile d'attirer les marchands avec une audience faible, et il est difficile de fidéliser des internautes avec peu de marchands. Personnellement, je ne peux qu'encourager ceux qui souhaitent se lancer dans l'aventure à le faire, ceux qui veulent des infos à ce sujet peuvent me contacter en PM.

tous les sites marchands ne disposent pas encore de flux XML ou CSV, c’est pourquoi l’aspi reste une solution qu’il faut savoir traiter !!!

Je ne crois pas avoir rencontré un seul marchand qui n'arrive pas à mettre en place un flux : il leur faut parfois du temps, mais ca finit toujours par se faire. Il faut dire aussi que dans mon domaine (informatique, image, son, téléphonie, éléctroménager), la plupart des sites sont 100% dynamiques et permettent donc d'extraire cela facilement.

Mais comme le dît « iconso » ensuite tout est automatisé !

Je ne voudrais pas que ceux qui lisent ce sujet pensent qu'il "suffit" d'automatiser, comme si cette tache était triviale.. ;-) Je crois qu'il y a plusieurs membres de ce forum qui s'occupent de comparateurs de prix, et tous devraient pouvoir confirmer qu'à partir d'une certaine taille, les choses prennent une ampleur complètement différente, essentiellement d'un point de vue technique. Par exemple, on ne dédoublonne pas une table de plusieurs centaines de milliers de lignes comme on peut le faire avec quelques dizaines de milliers. Chaque traitement, s'il n'est pas adapté, peut prendre un temps fou, et créer des points bloquants...

Fred

 

[M le maudit]

Quelle réponse "icono", je voie que tu as fait des recherches :lol:

C'est vrai que j'ai lancé Astucius en mai 2003, puis comparer-tout.com il y a quelques semaines.
Mais on ne peut pas dire que l'un est la suite de l'autre. Comparer-tout.com n'est pas vraiment un comparateur, mais est plus une boutiques de promo...

Comme je le disais dans mon précédent message et "iconso" le confirme, même si dans le secteur des produits info, la pratique des flux est bien établie, les voyagistes, l'alimentaire, les fleurs, les vins et encore bien d'autres ne disposent pas de flux... :?

Et si vous voulez lancer un moteur pour ces produits : une seule solution si vous ne voulez pas voir apparaître vos premiers cheveux blancs avant d'avoir obtenu un flux, L'ASPI !

Si vous avez des questions, n'hésitez pas :arrow:

 

[iconso]

Quelle réponse "icono", je voie que tu as fait des recherches :lol:

Je regarde souvent le "Qui sommes nous ?" des sites que je peux rencontrer et qui touchent de plus ou moins loin à la comparaison de prix, et dans ton cas c'était assez original pour que je m'en souvienne ;-)

Fred

 

[M le maudit]

iconso, je te dis merci :lol:

Ca fait toujours plaisir un compliment

 

[gunt]

La question est au niveau de la rémunération, car si on regarde les partenariats il est souvent proposé une rémunération sous forme de pourcentage et qui n'est payé, sois à partir d'un certain seuil, et souvent par trimestre.

Donc ça veut dire pas d'entrée d'argent pendant 3 mois.