Grub - Looksmart crawling distribué

je crois que c'est pas encore en route, ils ne font que crawler pour l'instant d'apres un article (pas trés trés récent)

 

Bonjour,

Nous avons publié un article le 26 mai de cette année à propos de la nouvelle version de Grub.

Nous avions testé la version précédente du programme de Grub, c'est très fun et bien dans l'esprit "communauté" . L'avantage de mutualiser les ressources, c'est que chacun peut (pouvait ? je ne sais pas avec la nouvelle version...) soumettre des urls de ses sites favoris, et les crawler en priorité.

Un petit bémol personnel, le point faible de Grub est son point fort, et inversement. S'il y a beaucoup d'utilisateurs actifs, alors cela risque d'être génial. S'il y en a peu, l'index retombera en désuétude.

D'après pas mal de professionnels, si Grub plaît à un nombre non négligeable d'utilisateurs-crawlers, il est capable de surpasser la capacité d'indexation de Google himself.

Reste qu'ensuite, si l'algorithme des recherches n'est pas à la hauteur, peu de gens vont utiliser le moteur de recherche, ce qui serait catastrophique puisque le principe d'un moteur est de retourner des résultats pertinents.

Qu'en pensez-vous ?

Bonne journée.
Amicalement,
Gautier.

 

Je ne pense pas que le plus difficile soir de crawler des milliards de pages un peu de bande passante et le tour est joué en quelques jours. Par contre, là ou c'est beaucoup plus compliqué c'est de faire rapidement les recherches dans la base de donnée et d'avoir des indexes très efficaces et ça le fait d'avoir un réseaux de clients distribués n'y change rien...
On voit bien que google à atteind un pallier et essayes d'exclure un maximum de pages (id dans l'url, viewprofiles, etc...) pour que le nombre de page indexés n'explose pas et les temps de recherche aussi.

Perso, j'ai peur qu'on analyse le protocole entre le client et l'index pour référencer des pages comme ayant tous les mots du dictionnaires ou des trucs de ce genre... Le fait qu'on puisse crawler soi même son site très fréquement n'est pas un soit un gros problème pour le spamdexing.

Mirgolth

 

Bonsoir,

Oui, c'est ce que j'évoquais en fin de message et qu'Olivier a précisé en soulignant le problème du spamdexing.

Amicalement,
Gautier.

 

On est tous d'accord si quand on cherche on trouve pas on reviendra pas quand bien même il y a des milliards de pages indexées.

Mirgolth

 

Bonsoir, pour que la recherche soit satisfaisante il faut qu'elle soit pertinente et rapide.
Plusieurs critères entrent en jeu : la capacité d'indexation, la lutte contre le spamdexing et autres sélections, la finesse des algorithmes de classement et de recherche, la taille de la base et la puissance machine.
La taille de la base est le problème le plus difficile : même les algo les plus fins finissent par être dépassés à partir d'une certaine valeur, la taille critique du système. On peut ajouter de la puissance matérielle mais c'est reporter le problème à plus tard.

A quoi bon sortir 5.000.000 de résultats quand les internautes ne visitent au maximum que les 30 premiers ?
La forte indexation des moteurs sur les annuaires n'est jamais réellement utilisée en pratique : un cas typique de sur-spécification en somme.

 

C'est même une insulte, à moins qu'on y gagne quelque chose de concret :roll:

 

Bonsoir,

fallait bien que je me fasse voir sur ce sujet...

L'ensemble des facteurs que tu viens d'énumérer je les ai vécu, donc rien à redire dessus.

Une base de 500.000 sites n'est pas pertinente par rapport à une base de 5.000.000 sites.

La puissance maschine... elle joue un role important dans son ensemble et ce à tous les niveau de pieces : memoire, disque, cpu, etc...

La bande passante, est primordiale pour l'indexation, par contre moins importante pour la recherche.

Quant à la théorie de limite que google semble avoir atteint, j'y crois assez fortement, mais en terme de communication c'est toujours plus "sexy" d'annoncer 3.000.000.000 de pages que 5.000.000. Quand à l'utilisateur... il ne dépasse pas les 30 urls même si l'outil peut fournir 100.000.000 pages de résultats.

Voila ma pensé sur le sujet... je vais retourner de ce pas sur mon index, et lui dire d'afficher 4.000.000.000 de pages... de toute manière qui peut vérifier... ;-) je blague.

 

Bonjour,

Si on part du principe que le spectre de requêtes servies sera 10 fois plus large, je suis d'accord.
Si c'est pour sortir 10 fois plus de résultats, je ne crois pas que cela soit déterminant pour la satisfaction de l'internaute.

je vois le genre ;-)

 

Je parlais du spectre bien évidement...

bonne journée