Grub - Looksmart crawling distribué

Discussion dans 'Autres moteurs de recherche connus' créé par vanillefraise, 4 Juin 2003.

  1. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Bonjour,

    Certains d'entre vous ont-ils entendu parler où participent-ils à Grub, un projet censé accélérer et améliorer le crawling en le distribuant sur les machines de clients qui téléchargent un logiciel. Le projet appartient à Looksmart.

    Qu'en pensez-vous ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 137
    J'aime reçus:
    350
    où peut-on tester le moteur de recherche ? je ne parle pas de les aider, je veux faire des recherches...
     
  3. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 175
    J'aime reçus:
    0
    je crois que c'est pas encore en route, ils ne font que crawler pour l'instant d'apres un article (pas trés trés récent)
     
  4. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
  5. Gautier_Girard
    Gautier_Girard Nouveau WRInaute
    Inscrit:
    24 Mai 2003
    Messages:
    46
    J'aime reçus:
    0
    Bonjour,

    Nous avons publié un article le 26 mai de cette année à propos de la nouvelle version de Grub.

    Nous avions testé la version précédente du programme de Grub, c'est très fun et bien dans l'esprit "communauté" :). L'avantage de mutualiser les ressources, c'est que chacun peut (pouvait ? je ne sais pas avec la nouvelle version...) soumettre des urls de ses sites favoris, et les crawler en priorité.

    Un petit bémol personnel, le point faible de Grub est son point fort, et inversement. S'il y a beaucoup d'utilisateurs actifs, alors cela risque d'être génial. S'il y en a peu, l'index retombera en désuétude.

    D'après pas mal de professionnels, si Grub plaît à un nombre non négligeable d'utilisateurs-crawlers, il est capable de surpasser la capacité d'indexation de Google himself.

    Reste qu'ensuite, si l'algorithme des recherches n'est pas à la hauteur, peu de gens vont utiliser le moteur de recherche, ce qui serait catastrophique puisque le principe d'un moteur est de retourner des résultats pertinents.

    Qu'en pensez-vous ?

    Bonne journée.
    Amicalement,
    Gautier.
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 137
    J'aime reçus:
    350
    je pense aussi que la grosse difficulté est de mettre au point un algorithme pertinent résistant au spamdexing.
     
  7. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    419
    J'aime reçus:
    0
    Je ne pense pas que le plus difficile soir de crawler des milliards de pages un peu de bande passante et le tour est joué en quelques jours. Par contre, là ou c'est beaucoup plus compliqué c'est de faire rapidement les recherches dans la base de donnée et d'avoir des indexes très efficaces et ça le fait d'avoir un réseaux de clients distribués n'y change rien...
    On voit bien que google à atteind un pallier et essayes d'exclure un maximum de pages (id dans l'url, viewprofiles, etc...) pour que le nombre de page indexés n'explose pas et les temps de recherche aussi.

    Perso, j'ai peur qu'on analyse le protocole entre le client et l'index pour référencer des pages comme ayant tous les mots du dictionnaires ou des trucs de ce genre... Le fait qu'on puisse crawler soi même son site très fréquement n'est pas un soit un gros problème pour le spamdexing.

    Mirgolth
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 137
    J'aime reçus:
    350
    par spamdexing je ne parlais pas de la spécificité de Grub mais des moteurs en général.
    Pour que Grub ait du succès, il est nécessaire que la partie interrogation de l'index soit performante.
     
  9. Gautier_Girard
    Gautier_Girard Nouveau WRInaute
    Inscrit:
    24 Mai 2003
    Messages:
    46
    J'aime reçus:
    0
    Bonsoir,

    Oui, c'est ce que j'évoquais en fin de message et qu'Olivier a précisé en soulignant le problème du spamdexing.

    Amicalement,
    Gautier.
     
  10. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    419
    J'aime reçus:
    0
    On est tous d'accord si quand on cherche on trouve pas on reviendra pas quand bien même il y a des milliards de pages indexées.

    Mirgolth
     
  11. Eservice
    Eservice WRInaute passionné
    Inscrit:
    18 Septembre 2002
    Messages:
    1 204
    J'aime reçus:
    0
    Bonsoir, pour que la recherche soit satisfaisante il faut qu'elle soit pertinente et rapide.
    Plusieurs critères entrent en jeu : la capacité d'indexation, la lutte contre le spamdexing et autres sélections, la finesse des algorithmes de classement et de recherche, la taille de la base et la puissance machine.
    La taille de la base est le problème le plus difficile : même les algo les plus fins finissent par être dépassés à partir d'une certaine valeur, la taille critique du système. On peut ajouter de la puissance matérielle mais c'est reporter le problème à plus tard.

    A quoi bon sortir 5.000.000 de résultats quand les internautes ne visitent au maximum que les 30 premiers ?
    La forte indexation des moteurs sur les annuaires n'est jamais réellement utilisée en pratique : un cas typique de sur-spécification en somme.
     
  12. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    En fait, je pense aussi qu'un des problèmes (mis à part le spamindexing) est qu'on fait tourner sa machine à l'oeil pour que looksmart améliore son index et se fasse des sous ! C'est un peu fort !

    Je trouvais quand même l'idée intéressante, et je me demandais s'il existait d'autres projets semblables où les données serviraient à alimenter un index "libre" d'utilisation.
     
  13. Eservice
    Eservice WRInaute passionné
    Inscrit:
    18 Septembre 2002
    Messages:
    1 204
    J'aime reçus:
    0
    C'est même une insulte, à moins qu'on y gagne quelque chose de concret :roll:
     
  14. Gilbert Wayenborgh
    Gilbert Wayenborgh WRInaute occasionnel
    Inscrit:
    16 Décembre 2002
    Messages:
    387
    J'aime reçus:
    0
    Bonsoir,

    fallait bien que je me fasse voir sur ce sujet...

    L'ensemble des facteurs que tu viens d'énumérer je les ai vécu, donc rien à redire dessus.

    Une base de 500.000 sites n'est pas pertinente par rapport à une base de 5.000.000 sites.

    La puissance maschine... elle joue un role important dans son ensemble et ce à tous les niveau de pieces : memoire, disque, cpu, etc...

    La bande passante, est primordiale pour l'indexation, par contre moins importante pour la recherche.

    Quant à la théorie de limite que google semble avoir atteint, j'y crois assez fortement, mais en terme de communication c'est toujours plus "sexy" d'annoncer 3.000.000.000 de pages que 5.000.000. Quand à l'utilisateur... il ne dépasse pas les 30 urls même si l'outil peut fournir 100.000.000 pages de résultats.

    Voila ma pensé sur le sujet... je vais retourner de ce pas sur mon index, et lui dire d'afficher 4.000.000.000 de pages... de toute manière qui peut vérifier... ;-) je blague.
     
  15. Eservice
    Eservice WRInaute passionné
    Inscrit:
    18 Septembre 2002
    Messages:
    1 204
    J'aime reçus:
    0
    Bonjour,
    Si on part du principe que le spectre de requêtes servies sera 10 fois plus large, je suis d'accord.
    Si c'est pour sortir 10 fois plus de résultats, je ne crois pas que cela soit déterminant pour la satisfaction de l'internaute.
    je vois le genre ;-)
     
  16. Gilbert Wayenborgh
    Gilbert Wayenborgh WRInaute occasionnel
    Inscrit:
    16 Décembre 2002
    Messages:
    387
    J'aime reçus:
    0
    Je parlais du spectre bien évidement...

    bonne journée
     
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice