Discussion, création d'un moteur de recherche

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

Yop, alors voila
l'idée, c'est que j'ai décidé de creer un moteur de recherche sur un de mes serveurs. l'idée est d'approcher d'un point de vue technique ce qui se fait, et de me refaire la main en prog de haut niveau...

je vais donc attaquer ca ce soir, et si je fais ce post, c'est pour écouter vos propositions et idées, qu'est ce que vous pensez qu'un bon annuaire devrait faire au niveau des calculs pour ressortir les sites les plus précis au niveaux des mots clés.

je n'ai pas la prétention de refaire google (ni les moyens d'ailleurs), mais je pense que ca peut être interessant....

voila, maintenant, je vous écoute...

Un petit lien qui pourra t'aider :
http://www.webrankinfo.com/forums/viewtopic_41650.htm

( j'ai toujours pas fini le développement, faute de temps, mais je m'y remettrais bientôt )

Ben prépare toi à investir dans un gros serveur dédié alors !
Parceque question ressource ... vlà ce que ca bouffe... c'est énorme. Discute bien de tes projets avec ton hébergeur.

Bonne chance.

Tcho.

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

alors, pour l'instant, j'ai 3 dédiés, et j'ai lancé ca sur un vieux p4 1.7ghz chez moi,
j'ai juste codé la partie crawler, qui ne fait que récupérer des urls de pages, avec un minimum de traitement. je l'ai lancé ce matin (avant de partir bosser, et la, j'ai 40827 pages indexées. ca fait dans les 10 000pages / heures (dont 5000 pages les 10 premieres minutes).

Sinon, plutôt que de tout coder toi même, il y a phpdig qui est bien fait et bien optimisé au niveau des ressources.

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

Bonjour et bon courage

tu demandes des idées donc :

-crawl des pages entieres
-repérage de balises alt
-lecture et annalyse des textes
-détermination d'une forme de densité telque le mot ou phrase est cité 3 fois c'est bon, 10 fois on veux le biéser
- Nom de domaine peut important sur mot clefs
- pas d'effet sandbox, pour laisser la chance aux nouveaux sites
- inscriptions facile est rapide avec crawl total dans les 24 heures et affichage dans les 48 h
- surlignage des mots clefs dans les réponses données (genre cache gg)
-synergie entre les balises title, description, et "texte en dur sur page"
- non indexation (blackliste) des site ou page avec texte caché (texte blanc sur fond blanc)
-affichage d'un icon du site (exalead) sur les réponses données
-nombre de réponses affichées par 50 par défaut
-réactualisation des affichages toutes les semaine (sorte gg dance ) pour vérifier que le 1er est tjs le 1er
-navigation simplifié et intuitive
-possibilité de le customiser (préférences)
-affinage des réponse (exalead et UJIKO)
-différente commandes webmaster (site: , links: ....)
crawl régulier des sites existant avec upgrade ou effacement des liens mort

voila c'est les 1er trucs qui me vienne..

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

Une bonne base serait d'indexer les pages en retirant les balises HTML et d'utiliser des index FULLTEXT (comme ça tu utilise la fonction de recherche dee MySQL (MATCH)

Heu, et les projets Open Source existant ?
http://dmoz.org/Computers/Open_Source/Search_Engines/

tiens, ca me donne faim tout ca

t'as regardé http://www.phpdig.net/ (en dehors de tes heures de boulot)

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

Ok, petit lu, as-tu lu le lien que je t'avais filer au début du post ? Si oui, qu'est-ce que tu pense de tout ce qu'on a pu dire ?

Nouveau WRInaute Inscrit le: 09 Fév 2006 Messages: 31

ouaip je l'ai lu, j'avais d'ailleurs pas pensé a la fct soundex pour l'ortographe (le coup du essayez avec cette orthographe ...)

nickel aussi pour les stopwords, ca fait des plombes que je cherchais un fichier complet...

en fait j'ai deja fait un moteur de recherche dans une base de données (70 000 entrées a scanner Shocked

), mais pas aussi complexe....

Discussion, création d'un moteur de recherche

Autres sujets de discussion :