WRInaute discret
Grub - Looksmart crawling distribué
- Auteur de la discussion vanillefraise
- Date de début
où peut-on tester le moteur de recherche ? je ne parle pas de les aider, je veux faire des recherches...
WRInaute discret
Nouveau WRInaute
Bonjour,
Nous avons publié un article le 26 mai de cette année à propos de la nouvelle version de Grub.
Nous avions testé la version précédente du programme de Grub, c'est très fun et bien dans l'esprit "communauté"
. L'avantage de mutualiser les ressources, c'est que chacun peut (pouvait ? je ne sais pas avec la nouvelle version...) soumettre des urls de ses sites favoris, et les crawler en priorité.
Un petit bémol personnel, le point faible de Grub est son point fort, et inversement. S'il y a beaucoup d'utilisateurs actifs, alors cela risque d'être génial. S'il y en a peu, l'index retombera en désuétude.
D'après pas mal de professionnels, si Grub plaît à un nombre non négligeable d'utilisateurs-crawlers, il est capable de surpasser la capacité d'indexation de Google himself.
Reste qu'ensuite, si l'algorithme des recherches n'est pas à la hauteur, peu de gens vont utiliser le moteur de recherche, ce qui serait catastrophique puisque le principe d'un moteur est de retourner des résultats pertinents.
Qu'en pensez-vous ?
Bonne journée.
Amicalement,
Gautier.
Nous avons publié un article le 26 mai de cette année à propos de la nouvelle version de Grub.
Nous avions testé la version précédente du programme de Grub, c'est très fun et bien dans l'esprit "communauté"
. L'avantage de mutualiser les ressources, c'est que chacun peut (pouvait ? je ne sais pas avec la nouvelle version...) soumettre des urls de ses sites favoris, et les crawler en priorité.Un petit bémol personnel, le point faible de Grub est son point fort, et inversement. S'il y a beaucoup d'utilisateurs actifs, alors cela risque d'être génial. S'il y en a peu, l'index retombera en désuétude.
D'après pas mal de professionnels, si Grub plaît à un nombre non négligeable d'utilisateurs-crawlers, il est capable de surpasser la capacité d'indexation de Google himself.
Reste qu'ensuite, si l'algorithme des recherches n'est pas à la hauteur, peu de gens vont utiliser le moteur de recherche, ce qui serait catastrophique puisque le principe d'un moteur est de retourner des résultats pertinents.
Qu'en pensez-vous ?
Bonne journée.
Amicalement,
Gautier.
je pense aussi que la grosse difficulté est de mettre au point un algorithme pertinent résistant au spamdexing.
Je ne pense pas que le plus difficile soir de crawler des milliards de pages un peu de bande passante et le tour est joué en quelques jours. Par contre, là ou c'est beaucoup plus compliqué c'est de faire rapidement les recherches dans la base de donnée et d'avoir des indexes très efficaces et ça le fait d'avoir un réseaux de clients distribués n'y change rien...Gautier_Girard a dit:
On voit bien que google à atteind un pallier et essayes d'exclure un maximum de pages (id dans l'url, viewprofiles, etc...) pour que le nombre de page indexés n'explose pas et les temps de recherche aussi.
Perso, j'ai peur qu'on analyse le protocole entre le client et l'index pour référencer des pages comme ayant tous les mots du dictionnaires ou des trucs de ce genre... Le fait qu'on puisse crawler soi même son site très fréquement n'est pas un soit un gros problème pour le spamdexing.Webrankinfo a dit:
Mirgolth
par spamdexing je ne parlais pas de la spécificité de Grub mais des moteurs en général.
Pour que Grub ait du succès, il est nécessaire que la partie interrogation de l'index soit performante.
Pour que Grub ait du succès, il est nécessaire que la partie interrogation de l'index soit performante.
Nouveau WRInaute
Bonsoir,
Oui, c'est ce que j'évoquais en fin de message et qu'Olivier a précisé en soulignant le problème du spamdexing.
Amicalement,
Gautier.
Mirgolth a dit:
Oui, c'est ce que j'évoquais en fin de message et qu'Olivier a précisé en soulignant le problème du spamdexing.
Amicalement,
Gautier.
Bonsoir, pour que la recherche soit satisfaisante il faut qu'elle soit pertinente et rapide.
Plusieurs critères entrent en jeu : la capacité d'indexation, la lutte contre le spamdexing et autres sélections, la finesse des algorithmes de classement et de recherche, la taille de la base et la puissance machine.
La taille de la base est le problème le plus difficile : même les algo les plus fins finissent par être dépassés à partir d'une certaine valeur, la taille critique du système. On peut ajouter de la puissance matérielle mais c'est reporter le problème à plus tard.
A quoi bon sortir 5.000.000 de résultats quand les internautes ne visitent au maximum que les 30 premiers ?
La forte indexation des moteurs sur les annuaires n'est jamais réellement utilisée en pratique : un cas typique de sur-spécification en somme.
Plusieurs critères entrent en jeu : la capacité d'indexation, la lutte contre le spamdexing et autres sélections, la finesse des algorithmes de classement et de recherche, la taille de la base et la puissance machine.
La taille de la base est le problème le plus difficile : même les algo les plus fins finissent par être dépassés à partir d'une certaine valeur, la taille critique du système. On peut ajouter de la puissance matérielle mais c'est reporter le problème à plus tard.
A quoi bon sortir 5.000.000 de résultats quand les internautes ne visitent au maximum que les 30 premiers ?
La forte indexation des moteurs sur les annuaires n'est jamais réellement utilisée en pratique : un cas typique de sur-spécification en somme.
WRInaute discret
En fait, je pense aussi qu'un des problèmes (mis à part le spamindexing) est qu'on fait tourner sa machine à l'oeil pour que looksmart améliore son index et se fasse des sous ! C'est un peu fort !
Je trouvais quand même l'idée intéressante, et je me demandais s'il existait d'autres projets semblables où les données serviraient à alimenter un index "libre" d'utilisation.
Je trouvais quand même l'idée intéressante, et je me demandais s'il existait d'autres projets semblables où les données serviraient à alimenter un index "libre" d'utilisation.
WRInaute occasionnel
Eservice a dit:
Bonsoir,
fallait bien que je me fasse voir sur ce sujet...
L'ensemble des facteurs que tu viens d'énumérer je les ai vécu, donc rien à redire dessus.
Une base de 500.000 sites n'est pas pertinente par rapport à une base de 5.000.000 sites.
La puissance maschine... elle joue un role important dans son ensemble et ce à tous les niveau de pieces : memoire, disque, cpu, etc...
La bande passante, est primordiale pour l'indexation, par contre moins importante pour la recherche.
Quant à la théorie de limite que google semble avoir atteint, j'y crois assez fortement, mais en terme de communication c'est toujours plus "sexy" d'annoncer 3.000.000.000 de pages que 5.000.000. Quand à l'utilisateur... il ne dépasse pas les 30 urls même si l'outil peut fournir 100.000.000 pages de résultats.
Voila ma pensé sur le sujet... je vais retourner de ce pas sur mon index, et lui dire d'afficher 4.000.000.000 de pages... de toute manière qui peut vérifier... ;-) je blague.
Bonjour,
Si c'est pour sortir 10 fois plus de résultats, je ne crois pas que cela soit déterminant pour la satisfaction de l'internaute.
Gilbert Wayenborgh a dit:
Si on part du principe que le spectre de requêtes servies sera 10 fois plus large, je suis d'accord.Gilbert Wayenborgh a dit:
Si c'est pour sortir 10 fois plus de résultats, je ne crois pas que cela soit déterminant pour la satisfaction de l'internaute.
je vois le genre ;-)Gilbert Wayenborgh a dit:
WRInaute occasionnel
Je parlais du spectre bien évidement...
bonne journée
bonne journée
Discussions similaires