WRInaute discret
Salut à tous,
Je développe RDTvlokip Search depuis un moment, un moteur de recherche français que je gère entièrement seul. Pas d'API Google ou Bing derrière, tout est fait from scratch. On est autour de 3.4 millions de pages indexées aujourd'hui sur plus de 221 000 domaines.
Le crawler c'est clairement la partie la plus complexe. Gérer le respect des serveurs qu'on crawle, éviter les pièges à bots, le contenu dupliqué, les pages quasi-identiques générées à l'infini... c'est un chantier en continu et y'a toujours quelque chose qui cloche.
Sans parler du reste : scorer correctement les résultats sans les signaux comportementaux de Google, gérer le spam de sites générés à l'IA qui polluent l'index, tenir l'infra à un coût raisonnable...
Du coup je me demandais, même si vous n'avez jamais sauté le pas, juste le fait d'y avoir réfléchi sérieusement, c'est quoi les points qui vous semblent les plus difficiles ou bloquants ?
C'est faisable, j'en suis la preuve, mais la difficulté est immense...
Théo (alias RDTvlokip)
Je développe RDTvlokip Search depuis un moment, un moteur de recherche français que je gère entièrement seul. Pas d'API Google ou Bing derrière, tout est fait from scratch. On est autour de 3.4 millions de pages indexées aujourd'hui sur plus de 221 000 domaines.
Le crawler c'est clairement la partie la plus complexe. Gérer le respect des serveurs qu'on crawle, éviter les pièges à bots, le contenu dupliqué, les pages quasi-identiques générées à l'infini... c'est un chantier en continu et y'a toujours quelque chose qui cloche.
Sans parler du reste : scorer correctement les résultats sans les signaux comportementaux de Google, gérer le spam de sites générés à l'IA qui polluent l'index, tenir l'infra à un coût raisonnable...
Du coup je me demandais, même si vous n'avez jamais sauté le pas, juste le fait d'y avoir réfléchi sérieusement, c'est quoi les points qui vous semblent les plus difficiles ou bloquants ?
C'est faisable, j'en suis la preuve, mais la difficulté est immense...
Théo (alias RDTvlokip)
