Google... sur mon site !

[Just]

Bonjour,

Sujet récurent mais mes questions ne semblent pas trouver de réponses exactes ici ou là.

Je souhaiterais éviter de développer un moteur de recherche pour le site que je met en place actuellement. En effet même avec tous le soin que je prendrais à le développer il ne sera jamais aussi efficace que des Google ou autres Yahoo.

Pour intégrer un moteur de recherche, Google propose FreeSearch (https://www.google.com/coop/cse/) et Yahoo BOSS (http://developer.yahoo.com/search/boss/) (corrigez moi si je me trompe svp).

Or, j'ai une contrainte : intégrer totalement le formulaire ainsi que les résultats de recherche à la charte graphique du site. Il faut donc que je récupère les résultats sous forme XML, JSON ou autres.
Google Freesearch semble ne pas le permettre, et Yahoo BOSS semble ne pas permettre des recherches sur la totalité d'un site précis.

Donc je ne sais pas trop quel choix faire :/.
Ou dois-je me résigner à développer mon propre moteur de recherche, qui ne sera certainement pas très efficace.

Je vous remercie par avance pour vos avis et réponses !

 

[Dharius]

Pour Google COOP, l'intégration est en javascript à l'intérieur de ton site : tu peux mettre donc les resultats où tu veux...

 

[Just]

Merci pour ce premier élément de réponse Dharius .

Je cherche une solution plutôt "server side" étant donné qu'il faut que cela fonctionne avec ou sans JS activé.

Le but étant de disposer d'un moteur de recherche complet, qui recherche dans le contenu du site (page et document si possible).

 

[Dharius]

A une époque il y avait Google qui proposait sont API (mais il faut une clé)... et Yahoo! comme tu le fais remarqué, limite ses résultats à 10...

Sinon il existe des programmes comme PHP Crawler, mais le temps du crawl du ou des sites, ton serveur risque d'être inaccessible tellement ils sont gourmands en bande passante, mémoire et prcesseur. Dans ce cas ton site n'a pas intérêt d'être énorme.

SI à la limite quelqu'un en connait un bien, je suis également preneur. Je viens en effet de créer "les pages jaunes chinoises" sur mon site, en annuaire mais j'ai pas de moteur de recherche (trop gourmand)

 

[Just]

LoL "pages jaunes chinoises" :x.. si le titre est explicite alors effectivement se doit être conséquent ^^... ou bien est-ce un jeux de mots ?

Sinon pour compléter : Google propose d'excellente offre avec API XML... mais payante : https://www.google.com/sitesearch/.

Comment ça, yahoo limite à 10 ? J'avais juste peur qu'il fasse la recherche sur le web en général et non sur mon site exactement... ?

 

[finstreet]

euh avec AdSense pour les recherches ca pose 0 pb

 

[Dharius]

Comment ça, yahoo limite à 10 ? J'avais juste peur qu'il fasse la recherche sur le web en général et non sur mon site exactement... ?

en effet pas pensé... j'ai pas essayé avec la comamnde "site:www..."

 

[NxtGen]

Avec Yahoo, j'utilise ca pour des recherche interne :
$request = "http://search.yahooapis.com/WebSearchService/V1/webSearch?appid=*****&query=".urlencode("site:www.wearing.fr $requete")."&results=10";

C'est comme chez google en fait, pour limiter la recherche à un domaine précis : site:www.exemple.com

 

[Just]

Merci pour vos réponses !

@finstreet : en mon sens "AdSense pour les recherches" c'est ce que moi j'ai appelé "FreeSearch" et ça ne permet pas une intégration des résultat. Uniquement une personnalisation superficiel type CSS. Pour rappel ce qui serait idéal dans mon cas c'est de récupérer les résultats de la requête dans un fichier d'échange, type XML, JSON ou autres.

@NxtGen : et les résultats sont pertinent ? J'avais peur que ça ne scan pas tout le site et du coup ne me sorte que peu de résultat, voir pas du tout :/.

 

[NxtGen]

Je t'ai répondu en MP

 

[UsagiYojimbo]

Sinon pour un moteur vraiment puissant sur son site, il y a toujours moyen de passer par Lucene (au travers de Zend par exemple).

 

[screuscreu]

Sinon pour un moteur vraiment puissant sur son site, il y a toujours moyen de passer par Lucene (au travers de Zend par exemple).

AAhHAHahHAHahh
Ne me parlez plus de ce truc !!!
Je sais que c'est sensé être super puissant .... mais les dev qui l'on implémenté sur le site dont je m'occupe .... on du s'y prendre avec les pieds ... une recherche prend une éternité ... quand par bonheur elle dépasse pas le temps max du script !

Mais bon il parait que wikipedia utilise ça donc ça doit bien marcher ... enfin moi même avec quelques millions de fois moins de contenu ... c'est environ 100 fois plus de temps de recherche

Bon je retourne bosser .... trop de WRI à cette heure-ci :wink:

 

[Just]

Merci à tous pour vos réponses !

@UsagiYojimbo : je n'aurais malheureusement pas la structure suffisante pour implémenter Lucerne, mais merci pour l'info.

Je pense me tourner vers Yahoo BOSS.
Je ferais un retour à ce sujet .

 

[ecocentric]

L'API de Yahoo! permet de récupérer 50 (ou 100, je ne sais plus exactement) résultats en une requête REST, pas 10 comme lu plus haut. Et il est possible de cibler un sous ensemble de sites (il y a un paramètre pour cela).

L'API Json de Google est assez facile à utiliser. Par contre, aucune information côté limitations (si qqn a des infos).

Zend Search ne marche pas trop mal pour les tests que j'ai pu en faire (mais uniquement sur un site de qq centaines de pages).

 

[Just]

Merci pour ta contribution ecocentric !

Par API Google, tu entends la payante ? [merci de fournir une URL si c'est une différente de celle que j'ai cité]

 

[ecocentric]

Merci pour ta contribution ecocentric !

Par API Google, tu entends la payante ? [merci de fournir une URL si c'est une différente de celle que j'ai cité]

C'est gratuit.
http://code.google.com/intl/fr/apis/aja ... mentation/
Ya moyen de faire plus simple que le code d'exemple (PHP Access). En fait, il y a un support Json dans les dernières versions de PHP, sinon il y a un script PEAR qui permet de recréer cette interface PHP dans les versions plus anciennes présentes chez la plupart des hébergeurs.

 

[Just]

Merci encore ecocentric !

Mais je veux du server side :s.
Pour une raison simple : il faut que la recherche sur le site fonctionne, que le client ai JS ou non...
Et là j'avoue qu'avec cette API je ne vois pas comment l'accéder en PHP (par exemple) :/.

 

[ecocentric]

Merci encore ecocentric !

Mais je veux du server side :s.
Pour une raison simple : il faut que la recherche sur le site fonctionne, que le client ai JS ou non...
Et là j'avoue qu'avec cette API je ne vois pas comment l'accéder en PHP (par exemple) :/.

Me relire: il y a un accès PHP en Json.

 

[Just]

Exacte. Navré j'avais mal cherché.
Après par contre il faut trouver comment restreindre la recherche à un site (le but étant de faire un moteur de recherche efficace pour mes sites).

Et je me dis que cette méthode là même restreinte à un site ne doit pas être des plus efficace... sinon pourquoi monnayerais t'il la même méthode (ici https://www.google.com/sitesearch/) ?

En effet, la solution de l'AJAX API implique que l'ensemble des pages du site soit indéxé par Google Bot... ce qui n'est pas gagné, ou à défaut n'est absolument pas immédiat :/.

Donc sauf illumination à ce sujet, je reste sur l'idée de Yahoo BOSS je pense.

 

[ecocentric]

Exacte. Navré j'avais mal cherché.
Après par contre il faut trouver comment restreindre la recherche à un site (le but étant de faire un moteur de recherche efficace pour mes sites).

site: dans la requête que tu envoies à l'API Json.

Donc sauf illumination à ce sujet, je reste sur l'idée de Yahoo BOSS je pense.

Il y a aussi l'API REST de Yahoo qui est très bien faite, avec différentes solutions pour restreindre à un site (via site: ou via paramètre à passer par URL).

 

[Just]

OK ! Je vais regarder ça !
Merci pour les pistes !

 

[Just]

Un petit retour sur mes premiers test : yahoo BOSS marche génialissimement bien !
... pour un site référencé :/.

Effectivement, blond que je suis, je n'avais pas eu se raisonnement.

Donc ma question, à votre avis, combien de temps va s'écouler entre la mise en ligne de mon site et la pertinence des requête de recherche Yahoo BOSS ?

:s

 

[Just]

Bientôt trois semaines que mon site est en ligne... et toujours pas de résultat pertinent fournis par Yahoo BOSS :/.
Je flippe ^^.