Avis sur mon moteur de recherche français indépendant - RDTvlokip Search

[RDTvlokip]

Combien de page vous indexez par site ?

20 pages par site, en raison pour éviter d'exploser mon stockage.

 

[Just Aware]

20 pages ! ok donc pas la peine de soumettre alors, j'ai des sites à plus de 500.000 pages...
Ils sont basés sur la long train.

 

[RDTvlokip]

20 pages ! ok donc pas la peine de soumettre alors, j'ai des sites à plus de 500.000 pages...
Ils sont basés sur la long train.

Ouf ! +500 000 pages c'est énorme

 

[Just Aware]

Bon, votre message initial était de donner un avis.

Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?

• Vous avez beaucoup de difficultés a crawler les sites, il faut que le propriétaire fasse beaucoup de manip et sacrifie un peu de sécurité pour être crawl.
• Vous ne prenez qu'un nombre de pages très restreint
• Vous ne référencez pas le nom de domaine.

Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.

Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.

Bon courage.

 

[RDTvlokip]

Bon, votre message initial était de donner un avis.

Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?

• Vous avez beaucoup de difficultés a crawler les sites, il faut que le propriétaire fasse beaucoup de manip et sacrifie un peu de sécurité pour être crawl.
• Vous ne prenez qu'un nombre de pages très restreint
• Vous ne référencez pas le nom de domaine.

Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.

Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.

Bon courage.

Vous avez raison sur tous les points, le chemin est long. C'est un projet personnel, j'ai 20 ans, pas encore une alternative sérieuse aux moteurs établis. Les limites que vous citez sont connues et sur la roadmap. L'objectif n'est pas de concurrencer Google demain, mais de construire quelque chose d'indépendant et honnête, étape par étape.

Merci pour le retour direct.

 

[RDTvlokip]

Je suis conscient des limitations, elles sont toutes sur la roadmap. Ce que vous ne voyez pas c'est que derrière il y a :

• +20 000 lignes de code from scratch, zéro framework de moteur de recherche
• Un crawler qui a indexé 126M+ de backlinks
• Un algorithme de ranking à 22 signaux maison
• Un modèle BERT-like entraîné pour la désambiguaïsaïson sémantique
• Une infrastructure entièrement auto-hébergée, zéro dépendance Google ou Bing
• Un audit de sécurité avec ~25 vulnérabilités trouvées et corrigées
• Tout ça en solo, à 20 ans, en parallèle d'une formation TSSR

Les 20 pages par site et les difficultés de crawl Cloudflare sont des étapes, pas des limites définitives. Le projet a quelques mois, pas quelques années. Le chemin est long, je l'assume, mais il avance.

 

[RDTvlokip]

Les limitations que vous citez sont réelles et je ne les nie pas. Mais construire un moteur de recherche from scratch, sans framework, sans API Google ou Bing, c'est plus complexe que ça en a l'air.

La plupart des gens pensent que c'est juste du web scraping. En réalité c'est de la gestion mémoire, des systèmes distribués, du NLP, de la sécurité, de l'infrastructure... J'ai vécu chaque problème en vrai, les OOM, les blocages Cloudflare, les vulnérabilités de sécurité, les choix d'architecture. Pas lu dans un article, vécu.

Les 20 pages et les difficultés de crawl sont des étapes, pas des limites définitives. Le projet a quelques mois. Le chemin est long, je l'assume.

 

[Le Lion 07]

J'ai vu pour mes 2 sites, c'est du bon boulot.

Pour en revenir à l'objet de cette discussion, essayez de changer la page d'accueil, il faudrait réduire ces caractères immenses.

C'est toujours une aventure de tenter de faire quelque chose là où un concurrent occupe une position de quasi monopole. Car c'est bien ce qu'a réussi le Gogol. Tout le monde le dit, la plupart le déplore mais rien ne bouge parce que les gens sont devenus dépendants.

Il existe évidemment une catégorie de sites – les miens par exemple – sans enjeu économique et pour lesquels le dédain du Gogol n'affecterait que l'ego, pas le portefeuille. Mais le Gogol est assez finaud (et a les épaules assez larges) pour ne négliger personne et même des gens comme moi lui font les yeux doux. Perso, j'agis à ma façon pour prendre du recul par rapport à ce monde-là. J'ai définitivement viré Matomo de mon site de poésie parce que je me f... éperdument de savoir qui vient et pourquoi. Je l'ai installé (Matomo) sur le site de Laurel & Hardy mais c'est provisoire, je suis juste curieux de voir le comportement des visiteurs. Dans quelques mois, nul doute que je le supprimerai.

Je suis probablement une sorte de doux rêveur mais il en faut. Je n'ai pas de téloche, pas de radio et la Toile est pour moi comme une façon de jeu. Les aspects techniques m'intéressent car j'aime apprendre mais je ne vais pas au-delà d'un certain seuil ; arrivé là, je retourne à mes poèmes ou je regarde un court-métrage des deux compères.

Bonne continuation. Je redonne mes suggestions : revoir la page d'accueil avec ses caractères gigantesques et virer tous les vocables anglo-saxons qui rendent le discours obscur pour les non-initiés. Le reste, c'est de la patience, beaucoup de boulot et un brin de folie. Car il faut être un peu timbré pour s'attaquer à ce genre de projet. Moi, j'aime bien les gens un peu timbrés... soit dit sans offense.

À plus.

 

[RDTvlokip]

J'ai vu pour mes 2 sites, c'est du bon boulot.

Pour en revenir à l'objet de cette discussion, essayez de changer la page d'accueil, il faudrait réduire ces caractères immenses.

C'est toujours une aventure de tenter de faire quelque chose là où un concurrent occupe une position de quasi monopole. Car c'est bien ce qu'a réussi le Gogol. Tout le monde le dit, la plupart le déplore mais rien ne bouge parce que les gens sont devenus dépendants.

Il existe évidemment une catégorie de sites – les miens par exemple – sans enjeu économique et pour lesquels le dédain du Gogol n'affecterait que l'ego, pas le portefeuille. Mais le Gogol est assez finaud (et a les épaules assez larges) pour ne négliger personne et même des gens comme moi lui font les yeux doux. Perso, j'agis à ma façon pour prendre du recul par rapport à ce monde-là. J'ai définitivement viré Matomo de mon site de poésie parce que je me f... éperdument de savoir qui vient et pourquoi. Je l'ai installé (Matomo) sur le site de Laurel & Hardy mais c'est provisoire, je suis juste curieux de voir le comportement des visiteurs. Dans quelques mois, nul doute que je le supprimerai.

Je suis probablement une sorte de doux rêveur mais il en faut. Je n'ai pas de téloche, pas de radio et la Toile est pour moi comme une façon de jeu. Les aspects techniques m'intéressent car j'aime apprendre mais je ne vais pas au-delà d'un certain seuil ; arrivé là, je retourne à mes poèmes ou je regarde un court-métrage des deux compères.

Bonne continuation. Je redonne mes suggestions : revoir la page d'accueil avec ses caractères gigantesques et virer tous les vocables anglo-saxons qui rendent le discours obscur pour les non-initiés. Le reste, c'est de la patience, beaucoup de boulot et un brin de folie. Car il faut être un peu timbré pour s'attaquer à ce genre de projet. Moi, j'aime bien les gens un peu timbrés... soit dit sans offense.

À plus.

Merci beaucoup, ça fait plaisir que les sites soient bien crawlés. Je note pour la page d'accueil et les anglicismes, c'est sur la liste. Et oui, il faut être un peu timbré pour se lancer là-dedans. Bonne continuation à vous aussi.