Indexer des sites d'annonces - Légalité et droit

OJAL · 3 Mai 2007

Bonjour,

Je développe un crawler qui indexe le contenu d'un maximum de sites d'annonces. Je dits bien qui indexe, il ne s'agit pas de pomper le contenu, mais de créer un méta moteur de recherche orientant vers tel ou tel annonce indexée avec un lien direct.
Dans les grandes lignes (et soyons modestes lol!! 8) ) c'est ce que fait google sauf que la c'est dans un domaine d'activité spécifique.
Avez-vous personnellement un retour d'expérience comparable?
Quelle serait votre réaction si votre site était indexé (à l'insu de votre plein gré

).
Existe-t-il des conditions généralesd e sites intredisant cette pratique?
Les tribunaux ont-ils déjà été confrontés à ce genre de problématique?

PS: je tiens à préciser que je développe cet outil dans un très bon état d'esprit et dans un réel but d'indexation. Si je pouvais avoir des accords de partenariat avec tous les sites indexés, ce serait le paradis, mais c'est un gros travail qui de plus est peut être inutile...?
Au pire je peux apporter du trafic très ciblé sur chacun des sites indexés :lol:
Je ne vois pas les points négatifs que pourraient supporter un site indexé... le crawl se fera le plus légèrement possible à des heures creuses si possible par exemple...

D'avance merci pour vos récations ;-)

honolulu · 3 Mai 2007

bah, si ton robot est capable de détecter les annonces, il devrait être capable également de trouver les pages de contact des sites :wink:

xTrade · 3 Mai 2007

OJAL a dit:
Quelle serait votre réaction si votre site était indexé (à l'insu de votre plein gré ).

Si j'ai un site de petites annonces gratuites et que je me rémunère uniquement avec de la pub ou de l'affiliation, je le prendrais très mal.

Toute page vue en moins (et le temps de faire des recherches dans un site de PA, cela fait des pages vues) est une perte potentielle.

theJB · 3 Mai 2007

regarde le cas comintoo pour l'immobilier, les gros sites sont super hostiles aux metamoteurs car ils veulent rester incontournable (et là le mot est bien choisi)

sinon pour le droit, c'est simple: jurisprudence keljob / cadremploi (le 2ème jugement en appel)->1 000 000 de francs d'amende avec astreinte énorme.

et en règle général, c'est aussi un délit pénal et pour l'immo, je me souviens avoir eu un cours de droit ou le prof nous parlait d'un mec qui sans le dire avait repompé pap. Je me rappelle plus trop mais ça c'est fini avec 18 mois de taule pour le gérant du site incriminé.

donc à tes risques et périls..

OJAL · 3 Mai 2007

xTrade a dit:
OJAL a dit:

Quelle serait votre réaction si votre site était indexé (à l'insu de votre plein gré ).

Cliquez pour agrandir...

Si j'ai un site de petites annonces gratuites et que je me rémunère uniquement avec de la pub ou de l'affiliation, je le prendrais très mal.

Toute page vue en moins (et le temps de faire des recherches dans un site de PA, cela fait des pages vues) est une perte potentielle.

Oui, mais si ton site est indexé dans le méta moteur tu recevras du trafic qui te génèrera des pages vues et ou des clics...
Je ne comprends donc pas pourquoi tu le prendrais mal....
Tu ne rales pas quand un visiteur arrive sur ton site depuis une requête exécutée sur GOOGLE???

biddybulle · 3 Mai 2007

si tu fais juste un moteur de recherche comme google sans filtre préparé sans carte et filtre par ville ou région. en gros juste la page d'accueil de GG mais pour l'immo uniquement.

Ca doit pouvoir passer et même temps ton robot de crawl doit avoir un nom bien visible pour que le webmaster puisse le bloquer.

OJAL · 3 Mai 2007

theJB a dit:
regarde le cas comintoo pour l'immobilier, les gros sites sont super hostiles aux metamoteurs car ils veulent rester incontournable (et là le mot est bien choisi)

Ou peut-on trouver de l'info sur les difficultés de comintoo à indexer les gros sites???
Je note juste que le lien sur comintoo n'est pas direct, mais je n'ai pas analysé plus..

theJB a dit:
sinon pour le droit, c'est simple: jurisprudence keljob / cadremploi (le 2ème jugement en appel)->1 000 000 de francs d'amende avec astreinte énorme.

Qu'elle était le problème keljob / cadremploi??? J'imagine que ce devait être des annonces pompées??? Sinon pour le moment GOOGLE n'a été attaqué ni par keljob ni par cadremploi?

theJB a dit:
et en règle général, c'est aussi un délit pénal et pour l'immo, je me souviens avoir eu un cours de droit ou le prof nous parlait d'un mec qui sans le dire avait repompé pap. Je me rappelle plus trop mais ça c'est fini avec 18 mois de taule pour le gérant du site incriminé.

La sentence semble énorme mais on ne parle pas du tout de la même chose... J'ai bien précisé qu'il s'agit d'indexer avec des liens directs, pas de pomper... Il serait quand même intéressant de retrouver des infos à ce sujet... GOOGLE n'a pas écopé de prison pour avoir indexé PAP je suppose non plus ;-)

Leonick · 3 Mai 2007

OJAL a dit:
Qu'elle était le problème keljob / cadremploi??? J'imagine que ce devait être des annonces pompées??? Sinon pour le moment GOOGLE n'a été attaqué ni par keljob ni par cadremploi?

http://www.legalis.net/breves-article.p ... rticle=974

biddybulle · 3 Mai 2007

si tu ne prends que les liens sans même savoir qui publie, l'endroit, des éléments de l'annonce, le prix, ...

Tout cela me semblerait correct.

OJAL · 3 Mai 2007

biddybulle a dit:
si tu fais juste un moteur de recherche comme google sans filtre préparé sans carte et filtre par ville ou région. en gros juste la page d'accueil de GG mais pour l'immo uniquement.
Ca doit pouvoir passer et même temps ton robot de crawl doit avoir un nom bien visible pour que le webmaster puisse le bloquer.

L'objectif est pourtant bien de pouvoir faire des recherches performantes et non pas full texte simplement... Des filtrages géographiques devront bien être possibles sinon la pertinence du méta moteur laissera à désirer...

biddybulle · 3 Mai 2007

oui j'avais bien compris mais cela me semble difficilement défendable même si tu rapportes un lien direct tu vas reprendre du contenu et des informations d'une BDD.

OJAL · 3 Mai 2007

GOOGLE indexe bien les annonces CADREMPLOI :
http://209.85.135.104/search?sourceid=n ... 0700329840

En lisant le délibéré http://www.legalis.net/breves-article.p ... rticle=974 fourni par Leonick, j'ai du mal à comprendre la raison pour laquelle KELJOB a été punis... GOOGLE devrait l'être dans les mêmes conditions et pourtant il ne l'est pas... :?:

biddybulle · 3 Mai 2007

parce que dans google je peux pas choisir de voir les annonces de cadremploi sur Marseille qui concerne l'agriculture. C'est une base de donnée bordélique google.

j'ai un lien direct ou en cache de la page avec une balise Title assez courte. Google prend la page tel qu'elle est sans reprendre des données pour effectuer des tris. En cache, je vois le site cadremploi tel qu'il est pratiquement dans la réalité.

OJAL · 3 Mai 2007

biddybulle a dit:
oui j'avais bien compris mais cela me semble difficilement défendable même si tu rapportes un lien direct tu vas reprendre du contenu et des informations d'une BDD.

Pourrais-tu nous expliquer un peu plus clairement les restrictions que tu sembles comprendre dans cette problématique d'indexation???

Concernant le site indexé, je ne comprends pas en quoi il peut se sentir pénalisé??? Le moteur va en effet lui apporter du trafic ciblé en plus et celà gratuitement...

Les juges de l'affaire CADREMPLOI / KELJOB ont-ils bien saisi la problématique? Je n'en suis pas très certain... Ca ne remet pas en cause leur verdict c'est certain mais si cette affaire revenait à être jugée, la serait-elle dans les mêmes conditions???

biddybulle · 3 Mai 2007

Moi j'y vois pas de restriction mais c'est la loi sur la protection des bases de donnée qui fait qu'on ne peut reprendre du contenu et le ranger proprement dans une base de donnée, la sienne. Tu voudrais pas retraduire ces annonces en allemand ou espagnol ca se verrait moins ?

Par contre dans certain pays, cette loi n'existe sans doute pas et un déménagement peut arranger cette affaire.

Concernant l'affaire, il y a peut être eu tentative de concialiation refusé par Keljob à l'époque. Du genre vous retirez toutes annonces de notre site et on vous lâche.

OJAL · 3 Mai 2007

biddybulle a dit:
parce que dans google je peux pas choisir de voir les annonces de cadremploi sur Marseille qui concerne l'agriculture. C'est une base de donnée bordélique google.

j'ai un lien direct ou en cache de la page avec une balise Title assez courte. Google prend la page tel qu'elle est sans reprendre des données pour effectuer des tris. En cache, je vois le site cadremploi tel qu'il est pratiquement dans la réalité.

C'est une BDD bordélique mais très très bien indexée full texte quand même ;-)
S'il y a le texte marseille et agriculture la recherche full texte fonctionnera comme un filtre... Je ne pense pas que ce soit cette raison qui fait que GOOGLE ne soit pas attaqué...

Enfin GOOGLE a bien été attaqué à maintes reprises, mais est bardé d'avocats et a un poids certain pour faire face aux attaques....

biddybulle · 3 Mai 2007

en tout cas pour moi c'est trop bordélique pour que je recherche des annonces d'emploi ou immo

hyadex · 3 Mai 2007

Bonsoir OJAL,

Etant proprietaire de nombreux sites d' ann0nces, je te cache pas que je ferais tout pour que ton moteur (et ceux des autres) ne viennent pas fouiller dans "mes" ann0nces...

Une explication assez rapide (je suis pris par le temps).
Si tu m'envois des visiteurs directement sur l'ann0nce que l'internaute recherche, mon nombre de pages vues va considérablement chuter... et donc les revenus qui vont avec...

Quant à ta remarque "Pourquoi ne pas refuser google" parcque google m'envoi pour la très très grande majorité des visiteurs sur les pages index et aussi parcque google c'est google...!

Voilà...

++
Yoann

OJAL · 3 Mai 2007

Petite annecdote en passant:
J'essais de contacter les sociétés proppriétaires des sites que je souhaite indexer.
Pour le moment, la plupart me réservent un excellent accueil et j'arrive même pour certains à leur faire générer un ou des flux permettant une indexation facilitée évitant un crawl 'sauvage'.
Néanmoins ce qui me fait douter de cette démarche est l'histoire suivante: je contacte une boite, j'ai au moins 4 interlocuteurs entre le webmaster, le dir de la comm, du marketing, un chef de projet... tout ça pour que le chef de projet me dise que c'est niet... ha.... je leur demande alors quels sont les termes qui les lient avec le moteur TRUC et le moteur MUCH qui a indexé leurs annonces... Etonné le gars n'imaginait même pas qu'il se faisiat déjà indexer par ces moteurs... L'affaire remonte à la direction qui finalement statue qu'il faut favoriser les partenariats avec ce genre de moteur puisque ça leur génère des visiteurs ciblés pour un cout nul! Mieux, ils veulent même investir sur ces moteurs pour avoir encore plus de clics... (le monde à l'envers!)
Moralité : A prime abord, ils étaient contre car ils n'avaient pas bien compris l'intérêt pour eux, mais après avoir bien réfléchis ils ont compris les enjeux business et sont même moteurs!
La discussion a été très intéressant avec cette société et se fini de façon très constructive, mais les chances d'y arriver la prochaine fois qu'on me dira niet sont minimes, de plus je n'y mettrai un jour peut être plus autant de conviction et de temps...
Que ferais-je lorsqu'on me dira niet alors que les annonces du site en question sont déjà indexés par plusieurs moteurs?
Cette démarche est de plus hyper consommatrice de temps et d'énergie...

OJAL · 3 Mai 2007

hyadex a dit:
Bonsoir OJAL,

Etant proprietaire de nombreux sites d' ann0nces, je te cache pas que je ferais tout pour que ton moteur (et ceux des autres) ne viennent pas fouiller dans "mes" ann0nces...

Une explication assez rapide (je suis pris par le temps).
Si tu m'envois des visiteurs directement sur l'ann0nce que l'internaute recherche, mon nombre de pages vues va considérablement chuter... et donc les revenus qui vont avec...

Quant à ta remarque "Pourquoi ne pas refuser google" parcque google m'envoi pour la très très grande majorité des visiteurs sur les pages index et aussi parcque google c'est google...!

Voilà...

++
Yoann

As-tu imaginé un instant que les visiteurs que je t'apporterais, tu ne les aurais certainement pas eu... ?
Ce visiteur arrivant sur ton site va peut être revenir sur ta page d'index et relancer une recherche...
S'il ne revient pas sur l'index de ton site, c'est peut être parce qu'il a trouvé ce qu'il cherchait dans le contenu même de l'annonce et ça c'est capital pour tes annonceurs non??? OK dans ce cas ce n'est pas une revenu publicitaire pour toi, mais un annonceur surement satisfait qui fera son buzz autour de ton service...

Et puis si un jour un webmaster bloque l'indexation ou me contacte pour désindexer ce qui est indexé de son site, il n'y a pas de raison de lui dire non.... Je suis certain que les 2 services sont complémentaires... Si le webmaster en question ne partage pas cette conviction ce n'est pas grave ;-)

jesuiszen · 3 Mai 2007

Je pense que tu ferais mieux de demander l'autorisation aux webmasters avant de te lancer dans ces indéxations.

Au moins tu sera fixé , et tu sera certrain de ne pas avoir de problèmes

theJB · 3 Mai 2007

q1) pour comintoo c'est simple tu regarde les sites leaders dans l'immo, aucune annonce ne figure sur leur moteur, alors qu'ils avaient dit au debut "on est un moteur on a le droit", qq jugements en référés plutard ils ont laché l'affaire.
Tu peux indexer des sites seulement avec leur accord, ou plutot tu peux indexer les sites tant qu'ils ne t'ont pas dit non et en l'occurence dans l'immobilier, ils ont dit avant même la sortie du moteur donc c'est cuit
q2) c'est pas de google dont il est q° c'est à l'époque keljob qui a aspiré cadremploi.
q3) google et toi ce n'est pas tout à fait la même chose. Et google ne permet une recherche parmi les annonces avec des critères spécifiques c'est aussi ça qui fait la différence.
Mais en parlant de google, en belgique google s'est fait allumé par la presse belge avec google news.

willpower · 4 Mai 2007

Voici un site qui fait deja ca... http://www.youpi.ca/extra/index.asp

Leonick · 4 Mai 2007

j'ai l'impression qu'il a juste fait une personnalisation du moteur de google sur certains sites. Il ne crawle pas les sites.

Greggy · 4 Mai 2007

Personnellement, si ton moteur ne fait qu'indexer le contenu (ce qui est bien le principe de base !), et donc propose un lien sur les pages d'annonces de mon site, alors ça me va parfaitement.

Par contre, si l'ensemble de l'annonce est visible / lisible, sans se rendre sur mon site, alors c'est du vol de contenu, et donc répréhensible.

Bref, si comme tu le dis, ton esprit est "très bon" (ou qqchose comme ça), alors tu peux venir chez moi !

gnarco · 4 Mai 2007

Bonjour à tous,

personnellement je pense, que s'il n'y a qu'un extrait de contenu et pas une exploitation complète des données (en gros obligation pour le visiteur de passer sur le site d'origine pour consulter le contenu dans son intégralité en terme de contenu et de contexte), il n'y a aucun problème.

Si par contre, tu fais une vraie exploitation des données et te substitue à ces sites tu aurais des problèmes.

Je fais le même genre de chose, mais en utilisant les RSS. Je pense être 'protégé' dans la mesure où, la mise à disposition du flux est un acte volontaire du webmaster qui d'ailleurs en profite la plupart des cas pour n'intégrer qu'une partie de son contenu.

J'espère avoir fait un peu avancer le débat

willpower · 4 Mai 2007

Greggy a dit:
Bref, si comme tu le dis, ton esprit est "très bon" (ou qqchose comme ça), alors tu peux venir chez moi !

Meme chose pour moi..!!!

Leonick · 4 Mai 2007

gnarco a dit:
Je fais le même genre de chose, mais en utilisant les RSS. Je pense être 'protégé' dans la mesure où, la mise à disposition du flux est un acte volontaire du webmaster qui d'ailleurs en profite la plupart des cas pour n'intégrer qu'une partie de son contenu.

sauf que dans certains cas, l'utilisation du flux n'est autorisée que pour un usage personnel et non une agrégation sur un autre site. Et ce, marqué explicitement sur le site. Genre http://www.lemonde.fr/web/article/0,1-0 ... 325,0.html

jesuiszen · 4 Mai 2007

theJB a dit:
q1) pour comintoo c'est simple tu regarde les sites leaders dans l'immo, aucune annonce ne figure sur leur moteur, alors qu'ils avaient dit au debut "on est un moteur on a le droit", qq jugements en référés plutard ils ont laché l'affaire.
Tu peux indexer des sites seulement avec leur accord, ou plutot tu peux indexer les sites tant qu'ils ne t'ont pas dit non et en l'occurence dans l'immobilier, ils ont dit avant même la sortie du moteur donc c'est cuit
q2) c'est pas de google dont il est q° c'est à l'époque keljob qui a aspiré cadremploi.
q3) google et toi ce n'est pas tout à fait la même chose. Et google ne permet une recherche parmi les annonces avec des critères spécifiques c'est aussi ça qui fait la différence.
Mais en parlant de google, en belgique google s'est fait allumé par la presse belge avec google news.

tres bon exemple "comintoo" , en tout cas c'est intéréssant comme débat , tiens nous au courant OJAL