Avis sur mon moteur de recherche français indépendant - RDTvlokip Search

[RDTvlokip]

Combien de page vous indexez par site ?

20 pages par site, en raison pour éviter d'exploser mon stockage.

 

[Just Aware]

20 pages ! ok donc pas la peine de soumettre alors, j'ai des sites à plus de 500.000 pages...
Ils sont basés sur la long train.

 

[RDTvlokip]

20 pages ! ok donc pas la peine de soumettre alors, j'ai des sites à plus de 500.000 pages...
Ils sont basés sur la long train.

Ouf ! +500 000 pages c'est énorme

 

[Just Aware]

Bon, votre message initial était de donner un avis.

Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?

• Vous avez beaucoup de difficultés a crawler les sites, il faut que le propriétaire fasse beaucoup de manip et sacrifie un peu de sécurité pour être crawl.
• Vous ne prenez qu'un nombre de pages très restreint
• Vous ne référencez pas le nom de domaine.

Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.

Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.

Bon courage.

 

[RDTvlokip]

Bon, votre message initial était de donner un avis.

Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?

• Vous avez beaucoup de difficultés a crawler les sites, il faut que le propriétaire fasse beaucoup de manip et sacrifie un peu de sécurité pour être crawl.
• Vous ne prenez qu'un nombre de pages très restreint
• Vous ne référencez pas le nom de domaine.

Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.

Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.

Bon courage.

Vous avez raison sur tous les points, le chemin est long. C'est un projet personnel, j'ai 20 ans, pas encore une alternative sérieuse aux moteurs établis. Les limites que vous citez sont connues et sur la roadmap. L'objectif n'est pas de concurrencer Google demain, mais de construire quelque chose d'indépendant et honnête, étape par étape.

Merci pour le retour direct.

 

[RDTvlokip]

Je suis conscient des limitations, elles sont toutes sur la roadmap. Ce que vous ne voyez pas c'est que derrière il y a :

• +20 000 lignes de code from scratch, zéro framework de moteur de recherche
• Un crawler qui a indexé 126M+ de backlinks
• Un algorithme de ranking à 22 signaux maison
• Un modèle BERT-like entraîné pour la désambiguaïsaïson sémantique
• Une infrastructure entièrement auto-hébergée, zéro dépendance Google ou Bing
• Un audit de sécurité avec ~25 vulnérabilités trouvées et corrigées
• Tout ça en solo, à 20 ans, en parallèle d'une formation TSSR

Les 20 pages par site et les difficultés de crawl Cloudflare sont des étapes, pas des limites définitives. Le projet a quelques mois, pas quelques années. Le chemin est long, je l'assume, mais il avance.

 

[RDTvlokip]

Les limitations que vous citez sont réelles et je ne les nie pas. Mais construire un moteur de recherche from scratch, sans framework, sans API Google ou Bing, c'est plus complexe que ça en a l'air.

La plupart des gens pensent que c'est juste du web scraping. En réalité c'est de la gestion mémoire, des systèmes distribués, du NLP, de la sécurité, de l'infrastructure... J'ai vécu chaque problème en vrai, les OOM, les blocages Cloudflare, les vulnérabilités de sécurité, les choix d'architecture. Pas lu dans un article, vécu.

Les 20 pages et les difficultés de crawl sont des étapes, pas des limites définitives. Le projet a quelques mois. Le chemin est long, je l'assume.