Mais comment font ces méta moteurs pour alimenter leur base

Discussion dans 'Demandes d'avis et de conseils sur vos sites' créé par welcominh, 5 Novembre 2008.

  1. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Bonjour à tous, j'espère que ma question correspond bien à la bonne catégorie :)

    Alors voilà, j'ai développé récemment un méta moteur (http://www.megadownload.fr) en m'inspirant de deux moteurs de recherche http://rapidlibrary.com et http://4megaupload.com qui sont 2 moteurs pour des célèbres hébergeurs de fichiers.
    Techniquement, j'ai pu me débrouiller à peu près, et je ne suis pas mécontent du résultat. Mais reste une énigme, qui me turlupine depuis peu. C'est la question de l'alimentation de la base. Ces 2 moteurs voient leur base grandir chaque jour à une vitesse folle. Et j'ai beau réfléchir, je ne vois pas vraiment comment ils font.

    Quelqu'un aurait-il une idée sur le comment de la chose?
    Merci.
     
  2. darmond.j
    darmond.j WRInaute discret
    Inscrit:
    18 Février 2007
    Messages:
    224
    J'aime reçus:
    0
    https://www.google.com/support/webmaster ... swer=35769


    Je ne donne pas chers de ton site :(

    De plus, faire indexer des pages qui ne retournent aucun résultat est également très mauvais pour toi.

    Et c'est pas interdit un site comme le tien ? Proposer du contenu sous licence me semble tout de même risqué ...
     
  3. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Merci pour le conseil pour l'indexation des derniers résultats. Je ne connaissais pas ce point. J'ai corrigé ca dans le robots.txt.
    Pour l'éternel question interdit/pas interdit, j'ai lu sur un autre topic du même genre que ca ne l'était pas en soi (car il s'agit de ce que propose le site et non ce que recherchent les internautes, en gros pareil que la légalité du P2P quoi). Mais ce n'est pas le débat.

    Une idée sur le pourquoi du comment sinon?
    Je viens de lire sur un forum, qu'apparemment ces sites utilisent des programmes qui tournent 24h/24. Pas étonnant donc soit-disant qu'ils "feedent" leur base chaque jour.
     
  4. gripsous
    gripsous WRInaute passionné
    Inscrit:
    5 Juillet 2004
    Messages:
    1 416
    J'aime reçus:
    0
    Sympa MegaLeech ! Je vais le regarder ^^... par contre niveau juridique... hmm hmm ;-) Faire la promos de warez :-D
     
Chargement...
Similar Threads - font méta moteurs Forum Date
Changements METAS et TITLE suite refonte d'un site Problèmes de référencement spécifiques à vos sites 13 Novembre 2008
Avis avisés suite à refonte de mon site Maison-Construction Demandes d'avis et de conseils sur vos sites 25 Juin 2019
301 ou 410 suite à une refonte du site ? Référencement Google 14 Mai 2019
Refonte de site, redirections URL et NDD. Débuter en référencement 27 Mars 2019
WordPress Lazy Loading et SEO font-ils bon ménage ? Techniques avancées de référencement 29 Janvier 2019
Google crawle encore des liens désavoués qui me font des 404 Référencement Google 22 Décembre 2018
Refonte site lemonde.fr Tests et études de cas 15 Novembre 2018
Refonte d'un site - Besoin d'une page plan du site en sus du sitemap ? Demandes d'avis et de conseils sur vos sites 8 Novembre 2018
Les contenus envoyés à Google Shopping font-ils du contenu dupliqué ? Référencement Google 5 Novembre 2018
Merci pour vos retours sur cette refonte Demandes d'avis et de conseils sur vos sites 16 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice