Mais comment font ces méta moteurs pour alimenter leur base

Discussion dans 'Demandes d'avis et de conseils sur vos sites' créé par welcominh, 5 Novembre 2008.

  1. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Bonjour à tous, j'espère que ma question correspond bien à la bonne catégorie :)

    Alors voilà, j'ai développé récemment un méta moteur (http://www.megadownload.fr) en m'inspirant de deux moteurs de recherche http://rapidlibrary.com et http://4megaupload.com qui sont 2 moteurs pour des célèbres hébergeurs de fichiers.
    Techniquement, j'ai pu me débrouiller à peu près, et je ne suis pas mécontent du résultat. Mais reste une énigme, qui me turlupine depuis peu. C'est la question de l'alimentation de la base. Ces 2 moteurs voient leur base grandir chaque jour à une vitesse folle. Et j'ai beau réfléchir, je ne vois pas vraiment comment ils font.

    Quelqu'un aurait-il une idée sur le comment de la chose?
    Merci.
     
  2. darmond.j
    darmond.j WRInaute discret
    Inscrit:
    18 Février 2007
    Messages:
    224
    J'aime reçus:
    0
    https://www.google.com/support/webmaster ... swer=35769


    Je ne donne pas chers de ton site :(

    De plus, faire indexer des pages qui ne retournent aucun résultat est également très mauvais pour toi.

    Et c'est pas interdit un site comme le tien ? Proposer du contenu sous licence me semble tout de même risqué ...
     
  3. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Merci pour le conseil pour l'indexation des derniers résultats. Je ne connaissais pas ce point. J'ai corrigé ca dans le robots.txt.
    Pour l'éternel question interdit/pas interdit, j'ai lu sur un autre topic du même genre que ca ne l'était pas en soi (car il s'agit de ce que propose le site et non ce que recherchent les internautes, en gros pareil que la légalité du P2P quoi). Mais ce n'est pas le débat.

    Une idée sur le pourquoi du comment sinon?
    Je viens de lire sur un forum, qu'apparemment ces sites utilisent des programmes qui tournent 24h/24. Pas étonnant donc soit-disant qu'ils "feedent" leur base chaque jour.
     
  4. gripsous
    gripsous WRInaute passionné
    Inscrit:
    5 Juillet 2004
    Messages:
    1 416
    J'aime reçus:
    0
    Sympa MegaLeech ! Je vais le regarder ^^... par contre niveau juridique... hmm hmm ;-) Faire la promos de warez :-D
     
Chargement...
Similar Threads - font méta moteurs Forum Date
Backlinks cassés issus des sites ayant menés à la refonte du site en question Netlinking, backlinks, liens et redirections 8 Avril 2020
Refonte annuaire seo Demandes d'avis et de conseils sur vos sites 18 Mars 2020
Search Console HTTP vers HTTPS après une refonte de site Crawl et indexation Google, sitemaps 27 Janvier 2020
Refonte site, disparition google homepage Problèmes de référencement spécifiques à vos sites 4 Janvier 2020
Redirections des images - Refonte Débuter en référencement 14 Novembre 2019
Après refonte, 3000 pages indexées qui ne fonctionnent plus Problèmes de référencement spécifiques à vos sites 22 Octobre 2019
Outil extraction contenus - Refonte Rédaction web et référencement 21 Octobre 2019
Avis avisés suite à refonte de mon site Maison-Construction Demandes d'avis et de conseils sur vos sites 25 Juin 2019
301 ou 410 suite à une refonte du site ? Référencement Google 14 Mai 2019
Refonte de site, redirections URL et NDD. Débuter en référencement 27 Mars 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice