Fonctionnement d'un comparateur de prix

[jeromec]

Bonjour à tous,

J'ai le projet de faire un comparateur de prix "un peu spécial", du moins différent de ce que l'on peut voir aujourd'hui sur la toile. Seulement je ne sais pas si mon projet est vraiment réalisable, et avant de consulter un professionnel, j'aimerai connaitre le fonctionnement d'un comparateur de prix.

C'est sur ce point que je sollicite toute votre attention. J'ai fais pas mal de recherche sur google et sur les forums mais je comprends pas grand chose. Ils parlent de fichier xml et d'autres trucs incompréhensible pour moi.

Si quelqu'un pouvait m'expliquer simplement le fonctionnement d'un comparateur de prix ou m'envoyer vers des liens qui traite du sujet, ca serait vraiment sympa.

Merci.

 

[silef]

Voila les grandes lignes du fonctionnement d'un comparateur de prix vis à vis des récupérations boutiques :

- les boutiques te fournissent un fichier avec leurs produits ( à toi de définir le format du fichier ) et un moyen de les identifier ( code ean, upc, gtin )
- tous les X heures/jours/semaines tu récupères ces fichiers et les intègres dans une base de données

Après à toi de concevoir une bonne base de données, améliorer le système pour les boutiques n'ayant pas de code ean, upc, gtin et biensur faire le coté utilisateur.

 

[jeromec]

Merci silef pour ces premiers renseignements.

Concernant le fichier qui contient les produits. Sachant que je suis un nouveau comparateur de prix que personne ne connait, est ce qu'un gros site marchant comme par exemple La Redoute va accepter de me faire ce fichier. Car ce fichier si j'ai bien compris, la boutique le crée uniquement pour moi et j'imagine que ca doit demander un certain temps?

L'intégration des fichiers dans la base de donnée se fait automatiquement ou manuellement?

 

[silef]

Ben pour une boutique d'une certaine taille, je peux t'aider déjà ( envois moi un mp et on s'en occupe demain ).

Ensuite je te conseille d'automatiser le tout, je suis pas trés au point sur ça mais faut regarder du coté des taches cron. Si tu trouves des trucs interessants là dessus ça m'interesse^^.

 

[mookster]

Hello,

Il y a un comparateur de prix un peu différent qui s'appelle Twenga et qui, à l'aide de son robot interne va aussi crawler les sites marchands.

http://www.twenga.com/bot.html
http://www.twenga.fr

 

[jeromec]

Je compte pas confier dessuite la réalisation de ce comparateur, mais simplement avoir des infos. Donc si d'autres veulent partager leurs connaissances, voir leurs expériences, c'est avec grand plaisir!

 

[Recif]

Au niveau économique, les comparateurs touchent une com sur les ventes? Ou il profitent juste du traffic généré pour faire de la pub?...

 

[Bacteries]

Les deux

 

[xanti]

Bonjour

Comme tu peux le constater il est hasardeux voir très hasardeux de se lancer dans un tel projet, il y a peu d’informations sur la toile pour y comprendre les mécanismes technique. J’ai développé le comparateur de prix i-malaya.com il y a quelque temps en partant de A à Z et comme toi il a été très dur de comprendre tout dès le début. Voici le lien http://fr.i-malaya.com (Faute de temps le site n’est plus mis à jour depuis environ 8 mois, donc les informations ne sont plus à jours (photos, redirections marchands, etc…). Pour commencer il faut se dire qu’il va falloir quelques temps pour le développement (pour moi 1 an) donc il faut être ultra motivé. Ensuite il faut bien analyser les informations de divers catalogues marchand, oui la est la première difficulté car comme tu l’indique plus haut les gros marchand et petit marchand ne vont pas obligatoirement te fournir un fichier adapté (très très peu de marchands) dons il faut développer un parseur qui pourra indexé les catalogues en différents formats (XML, CSV, TXT). Quand tu commencera à analyser les fichiers tu verras que c’est franchement le brun. Entre le marchand qui te fourni plusieurs catalogues avec des différences de structure, celui qui te fourni le catalogue en .zip .rar, le marchand qui te fourni un catalogue avec aucune norme iso, le marchand qui te fourni sont catalogue avec 1 niveau de nœuds et plusieurs niveaux de nœuds pour le tri des données, etc, etc, etc ...

Ex fichier en TXT

1 nœud :

Nom;description;catégorie;prix ;stock;port

2 nœuds :

Nom;description|catégorie|prix;stock|port


Il va bien falloir s’adapter surtout que certain catalogue sont vraiment chaotique même de très grosses sociétés, on se demande se que font les informaticiens !
Après il faut traité toutes les informations et la on gère pas une base de données de quelques dizaines de milliers de produits comme une base contenant des millions d’informations (vitesse de calcul de la base données)

Pour i-malaya j’ai développé plus de quarante robots différents qui indexais plus de 2 millions de produits (2 jours pour la mise à jour des informations sur un ordi spécialement dédié au crawl et à la mise à jour).


Pour plus d’informations tu peux me contacter par MP

@+

 

[julienr]

Pour i-malaya j’ai développé plus de quarante robots différents qui indexais plus de 2 millions de produits (2 jours pour la mise à jour des informations sur un ordi spécialement dédié au crawl et à la mise à jour).

très intéressant, quand tu dis des robots dédié au crawl, c'est à dire à la façon de twenga ? Peux tu nous en dire plus sur cette techno ?

sinon jeromec, pour commencer dans un premier temps mieux vaut envisager un partenariat avec des comparateurs qui proposent des api de comparaisons plus rapide à mettre en place

 

[kitten13]

Tu peut aussi pour commencer travailler sur un base comme se script par exemple :

http://www.script-utile.com/

:wink:

edit : oups j'ai rien dit

 

[xanti]

Très bien comme script de marque blanche, mais se n'est pas le developpemnt d'une techno propriétaire pour le client, vue que le script n'est que d'en 1 fichier. je parlais d'un développement propriétaire! les données sont fournis par kelkoo sur la plateforme tradedoubler

 

[xanti]

je parle de développer un système qui indexera les données de centaines voir de milliers de marchands, qui classera les informations par référence, qui créera automatiquement les fiches produits, qui controle les images des marchands, etc, etc, etc... sont propre kelkoo

 

[xanti]

en réponse à julienr

Quand je parle de crawl, je veux dire qu'il faut réaliser divers robots qui auront chacun des taches particulières. 1 robot pour chercher les fichiers, un autre pour controler les fichiers, un autre pour parser les fichiers, un autre pour intégrer les données, un autre pour intégrer les produits en base de données, un autre pour créer les fiches produits, un autre pour contrôler les images, etc, etc, etc...

 

[OTP]

Comment se rémunèrent ces sites ?
Commissions ?
Ou seulement la pub ?

 

[xanti]

click (redirection produit)
pub CPM (banniere)
pub sur une durée définie (banniere, mise en avant marchand)
commission
pub au click (ex: adsense)

 

[OTP]

Ok, merci.

 

[e-kiwi]

tout de même, je te sens un peu léger pour te lancer la dedans vu les questions posés. tu devrai chercher un partenaire technique

 

[julienr]

Quand je parle de crawl, je veux dire qu'il faut réaliser divers robots qui auront chacun des taches particulières. 1 robot pour chercher les fichiers, un autre pour controler les fichiers, un autre pour parser les fichiers, un autre pour intégrer les données, un autre pour intégrer les produits en base de données, un autre pour créer les fiches produits, un autre pour contrôler les images, etc, etc, etc...

ok je situes mieux tes notions de crawl et de robot. Et aussi comment as-tu fais pour établir des correspondances entre un même produits de plusieurs marchands, car comme tu le disais les réf diffèrent généralement ?

 

[xanti]

ben là il faut être inventif, utiliser les regex, faire des comparaisons syntaxique et statistique et surtout de nombreux tests pour analyser les résultats. chaque famille de produits est différent, on compare pas une ref de téléviseur comme une ref d'objectif photo ou comme un titre de jeux...

 

[jeromec]

Je suis ok pour avoir un partenaire technique e-kiwi mais personne dans mon entourage n'a de compétences dans ce domaine. Ma question est con mais comment trouver un partenaire, en faisant le tour des sociétés de création de sites web?

 

[silef]

C'est un boulot assez costaud, il faut plutot passer par une SSII à mon avis.

 

[mhsoft]

Je suis interaisse par le developpemnt d'un comparateur de prix ...je cherche kk qui connais le fonctionnel qui me guide ..

 

[devclick]

Bonjour,
je suis intéressée par le développement d'un comparateur de prix de voyages, techniquement j'ai quelques informations sur le fonctionnement, mais je me sens encore perdue..
Il y aceux qui me disent que la méthode de crawl est plus efficace pour développer un comparateur de prix, d'autres qui me disent, que avoir des API, cad l'intégration des flux XML dans la base est plus efficace, n’alourdit pas la base, ect..
J'ai commencé à travailler avec la 2eme méthode mais côté voyagistes, j'ai trouvé que certains n'ont pas des fichiers XMl pret, (voyage SNCF par exe..)
je me demande comment faire pour avoir des flux XML, de tout les voyagistes, d'autres je me demande comment font les autres comparateurs de voyages!! je croix pas que tous font des crawl des sites de voyagistes!!
d'autres part si j'adopte la méthode de crawl, comment je serais rémunéré?
Autre point, j'ai eu des difficultés lors du paramétrage des id des voyageurs, et l'extraction des données des différents formats ..
comment je peux adopter tous les informations, et les rassembler dans une même base ..??
enfin je cherche qq qui a déjà developpé un tel comparateur pour m'aider techniquement.
Merci d'avance pour vos réponses et vos aide!!
Cordialement,
Zen referencement

 

[Leonick]

je croix pas que tous font des crawl des sites de voyagistes!!
d'autres part si j'adopte la méthode de crawl, comment je serais rémunéré?

non, tu ne seras pas rémunéré, par contre tu risques gros devant les tribunaux pour extraction automatique d'une base de données. Les BDD sont, elles aussi, protégées http://www.industrie.gouv.fr/guidepropintel/reglementations/protection ... auteur.htm

de toutes façons, les comparateurs de prix c'est fini : gg se met dans la partie pour les généralistes et pour ceux des voyagistes, en dehors de ceux qui ont des accords avec les grandes centrales de réservation (accords qu'il faut payer, assez cher, selon le volume de requêtes, même si ça n'aboutit pas)
les comparateurs, en général, c'est de la m... on a des prix qui ne sont plus valables, car les vrais prix sont en temps réel, yield management oblige.
Donc un conseil : oublie ton projet