WRInaute discret
20 pages par site, en raison pour éviter d'exploser mon stockage.
Avis sur mon moteur de recherche français indépendant - RDTvlokip Search
- Auteur de la discussion RDTvlokip
- Date de début
WRInaute discret
20 pages ! ok donc pas la peine de soumettre alors, j'ai des sites à plus de 500.000 pages...
Ils sont basés sur la long train.
Ils sont basés sur la long train.
WRInaute discret
Ouf ! +500 000 pages c'est énorme
WRInaute discret
Bon, votre message initial était de donner un avis.
Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?
Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.
Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.
Bon courage.
Je ne sais pas quel est le but de votre moteur, se développer pour devenir un concurrent ou juste un exercice de style ?
- Vous avez beaucoup de difficultés a crawler les sites, il faut que le propriétaire fasse beaucoup de manip et sacrifie un peu de sécurité pour être crawl.
- Vous ne prenez qu'un nombre de pages très restreint
- Vous ne référencez pas le nom de domaine.
Je ne pense pas qu'en l'état, de nombreux webmasters se bousculent pour soumettre, sans compter que vous devriez référencer sans avoir à soumettre.
Le chemin est encore long si vous voulez concurrencer les moteurs alternatifs, je ne parle même pas des grands.
Bon courage.
WRInaute discret
Vous avez raison sur tous les points, le chemin est long. C'est un projet personnel, j'ai 20 ans, pas encore une alternative sérieuse aux moteurs établis. Les limites que vous citez sont connues et sur la roadmap. L'objectif n'est pas de concurrencer Google demain, mais de construire quelque chose d'indépendant et honnête, étape par étape.
Merci pour le retour direct.
WRInaute discret
Je suis conscient des limitations, elles sont toutes sur la roadmap. Ce que vous ne voyez pas c'est que derrière il y a :
Les 20 pages par site et les difficultés de crawl Cloudflare sont des étapes, pas des limites définitives. Le projet a quelques mois, pas quelques années. Le chemin est long, je l'assume, mais il avance.
- +20 000 lignes de code from scratch, zéro framework de moteur de recherche
- Un crawler qui a indexé 126M+ de backlinks
- Un algorithme de ranking à 22 signaux maison
- Un modèle BERT-like entraîné pour la désambiguaïsaïson sémantique
- Une infrastructure entièrement auto-hébergée, zéro dépendance Google ou Bing
- Un audit de sécurité avec ~25 vulnérabilités trouvées et corrigées
- Tout ça en solo, à 20 ans, en parallèle d'une formation TSSR
Les 20 pages par site et les difficultés de crawl Cloudflare sont des étapes, pas des limites définitives. Le projet a quelques mois, pas quelques années. Le chemin est long, je l'assume, mais il avance.
WRInaute discret
Les limitations que vous citez sont réelles et je ne les nie pas. Mais construire un moteur de recherche from scratch, sans framework, sans API Google ou Bing, c'est plus complexe que ça en a l'air.
La plupart des gens pensent que c'est juste du web scraping. En réalité c'est de la gestion mémoire, des systèmes distribués, du NLP, de la sécurité, de l'infrastructure... J'ai vécu chaque problème en vrai, les OOM, les blocages Cloudflare, les vulnérabilités de sécurité, les choix d'architecture. Pas lu dans un article, vécu.
Les 20 pages et les difficultés de crawl sont des étapes, pas des limites définitives. Le projet a quelques mois. Le chemin est long, je l'assume.
La plupart des gens pensent que c'est juste du web scraping. En réalité c'est de la gestion mémoire, des systèmes distribués, du NLP, de la sécurité, de l'infrastructure... J'ai vécu chaque problème en vrai, les OOM, les blocages Cloudflare, les vulnérabilités de sécurité, les choix d'architecture. Pas lu dans un article, vécu.
Les 20 pages et les difficultés de crawl sont des étapes, pas des limites définitives. Le projet a quelques mois. Le chemin est long, je l'assume.
WRInaute discret
J'ai vu pour mes 2 sites, c'est du bon boulot.
Pour en revenir à l'objet de cette discussion, essayez de changer la page d'accueil, il faudrait réduire ces caractères immenses.
C'est toujours une aventure de tenter de faire quelque chose là où un concurrent occupe une position de quasi monopole. Car c'est bien ce qu'a réussi le Gogol. Tout le monde le dit, la plupart le déplore mais rien ne bouge parce que les gens sont devenus dépendants.
Il existe évidemment une catégorie de sites – les miens par exemple – sans enjeu économique et pour lesquels le dédain du Gogol n'affecterait que l'ego, pas le portefeuille. Mais le Gogol est assez finaud (et a les épaules assez larges) pour ne négliger personne et même des gens comme moi lui font les yeux doux. Perso, j'agis à ma façon pour prendre du recul par rapport à ce monde-là. J'ai définitivement viré Matomo de mon site de poésie parce que je me f... éperdument de savoir qui vient et pourquoi. Je l'ai installé (Matomo) sur le site de Laurel & Hardy mais c'est provisoire, je suis juste curieux de voir le comportement des visiteurs. Dans quelques mois, nul doute que je le supprimerai.
Je suis probablement une sorte de doux rêveur mais il en faut. Je n'ai pas de téloche, pas de radio et la Toile est pour moi comme une façon de jeu. Les aspects techniques m'intéressent car j'aime apprendre mais je ne vais pas au-delà d'un certain seuil ; arrivé là, je retourne à mes poèmes ou je regarde un court-métrage des deux compères.
Bonne continuation. Je redonne mes suggestions : revoir la page d'accueil avec ses caractères gigantesques et virer tous les vocables anglo-saxons qui rendent le discours obscur pour les non-initiés. Le reste, c'est de la patience, beaucoup de boulot et un brin de folie. Car il faut être un peu timbré pour s'attaquer à ce genre de projet. Moi, j'aime bien les gens un peu timbrés... soit dit sans offense.
À plus.
Pour en revenir à l'objet de cette discussion, essayez de changer la page d'accueil, il faudrait réduire ces caractères immenses.
C'est toujours une aventure de tenter de faire quelque chose là où un concurrent occupe une position de quasi monopole. Car c'est bien ce qu'a réussi le Gogol. Tout le monde le dit, la plupart le déplore mais rien ne bouge parce que les gens sont devenus dépendants.
Il existe évidemment une catégorie de sites – les miens par exemple – sans enjeu économique et pour lesquels le dédain du Gogol n'affecterait que l'ego, pas le portefeuille. Mais le Gogol est assez finaud (et a les épaules assez larges) pour ne négliger personne et même des gens comme moi lui font les yeux doux. Perso, j'agis à ma façon pour prendre du recul par rapport à ce monde-là. J'ai définitivement viré Matomo de mon site de poésie parce que je me f... éperdument de savoir qui vient et pourquoi. Je l'ai installé (Matomo) sur le site de Laurel & Hardy mais c'est provisoire, je suis juste curieux de voir le comportement des visiteurs. Dans quelques mois, nul doute que je le supprimerai.
Je suis probablement une sorte de doux rêveur mais il en faut. Je n'ai pas de téloche, pas de radio et la Toile est pour moi comme une façon de jeu. Les aspects techniques m'intéressent car j'aime apprendre mais je ne vais pas au-delà d'un certain seuil ; arrivé là, je retourne à mes poèmes ou je regarde un court-métrage des deux compères.
Bonne continuation. Je redonne mes suggestions : revoir la page d'accueil avec ses caractères gigantesques et virer tous les vocables anglo-saxons qui rendent le discours obscur pour les non-initiés. Le reste, c'est de la patience, beaucoup de boulot et un brin de folie. Car il faut être un peu timbré pour s'attaquer à ce genre de projet. Moi, j'aime bien les gens un peu timbrés... soit dit sans offense.
À plus.
WRInaute discret
Merci beaucoup, ça fait plaisir que les sites soient bien crawlés. Je note pour la page d'accueil et les anglicismes, c'est sur la liste. Et oui, il faut être un peu timbré pour se lancer là-dedans. Bonne continuation à vous aussi.
WRInaute discret
Sur le nom : c'est mon alias depuis des années, cohérent avec mes autres projets (VTT Editor Pro, AG-BPE, etc.). Ce n'est pas optimisé pour la mémorisation grand public, c'est assumé.
Sur le .fr : l'ambition est explicitement française. Un moteur souverain, francophone, indépendant de Google et Bing. Le .fr n'est pas une limitation, c'est une position.
WRInaute occasionnel
Oui, mais pour qu'un moteur de recherche soit utilisé par le grand public, il faut que son nom soit mémorisable. En branding et en psychologie cognitive, cela passe généralement par un rythme fluide de deux syllabes et l'utilisation de voyelles claires.
La recherche en neurosciences montre que notre cerveau est soumis à la fluidité de traitement (Processing Fluency) : plus un mot s'articule facilement, plus il inspire confiance et s'ancre dans la mémoire. L'alternance des consonnes et des voyelles crée ce qu'on appelle en marketing le symbolisme phonétique, un levier indispensable pour qu'un utilisateur retienne un nom et le tape spontanément. Un alias technique ou une suite de consonnes complexes sature la mémoire de travail du grand public.
De plus, de nombreuses entreprises françaises exportent. Le web, l'infrastructure technique et le SEO sont massivement financés par le secteur privé et les intentions commerciales des entreprises (comme le rappellent les analyses économiques de la Harvard Business Review). Un positionnement trop restreint géographiquement ou un nom difficile d'accès limitent drastiquement la viabilité et les partenariats publicitaires nécessaires pour éponger les coûts de serveurs.
Ainsi, la réussite et la pérennité de votre projet à grande échelle restent conditionnées par ces deux variables : la mémorabilité cognitive et l'ouverture aux réalités économiques du marché. Et pour que les sites éditeurs se référencent chez vous, il faut que votre moteur de recherche draine du trafic....CQFD....
La recherche en neurosciences montre que notre cerveau est soumis à la fluidité de traitement (Processing Fluency) : plus un mot s'articule facilement, plus il inspire confiance et s'ancre dans la mémoire. L'alternance des consonnes et des voyelles crée ce qu'on appelle en marketing le symbolisme phonétique, un levier indispensable pour qu'un utilisateur retienne un nom et le tape spontanément. Un alias technique ou une suite de consonnes complexes sature la mémoire de travail du grand public.
De plus, de nombreuses entreprises françaises exportent. Le web, l'infrastructure technique et le SEO sont massivement financés par le secteur privé et les intentions commerciales des entreprises (comme le rappellent les analyses économiques de la Harvard Business Review). Un positionnement trop restreint géographiquement ou un nom difficile d'accès limitent drastiquement la viabilité et les partenariats publicitaires nécessaires pour éponger les coûts de serveurs.
Ainsi, la réussite et la pérennité de votre projet à grande échelle restent conditionnées par ces deux variables : la mémorabilité cognitive et l'ouverture aux réalités économiques du marché. Et pour que les sites éditeurs se référencent chez vous, il faut que votre moteur de recherche draine du trafic....CQFD....
WRInaute discret
Merci pour le retour détaillé.
Sur la mémorabilité : point valide, je ne le nie pas. C'est un vrai frein pour l'adoption grand public.
Sur le reste : partenariats publicitaires, viabilité économique à grande échelle ce n'est pas l'horizon actuel. Le projet a quelques mois, 4.5M pages indexées, 288K domaines. L'objectif aujourd'hui c'est de construire un index pertinent et indépendant, pas de monétiser.
Le trafic drainé qui conditionne l'adoption des éditeurs, c'est juste. Mais ça vient après la qualité de l'index, pas avant.
WRInaute occasionnel
Un nom vaut mieux le changer au début du projet qu’au milieu…
WRInaute discret
Changer le nom en cours de route coûte plus cher que le garder. RDTvlokip est cohérent avec tout l'écosystème crawler, projets, alias, etc. La mémorabilité grand public, c'est un problème pour quand le trafic est là. Pas maintenant.
WRInaute discret
Je pense aussi que c'est une erreur, tu commences à communiquer sur ton moteur, l'ancienneté du domaine, tout un tas de facteurs qui sont en faveur de bien choisir le nom dès le départ. Tu ne peux pas t'en soucier après la constitution de l'index, il ne sera jamais finis...
WRInaute discret
L'ancienneté du domaine comme signal, c'est un point valide que je n'avais pas considéré.
Mais changer de nom maintenant c'est : nouveau domaine, nouveau crawl de tout l'écosystème (VTT Editor Pro, AG-BPE, tous mes projets liés), reconstruction de la notoriété zéro. Le coût dépasse le bénéfice à ce stade.
Sur "il ne sera jamais fini" : un index ne se finit effectivement jamais, c'est sa nature. Google et Bing non plus n'ont pas d'index fini, ils re-crawlent en permanence parce que le web grossit et change chaque jour. Ça ne change pas l'ordre des priorités.
WRInaute occasionnel
Je comprends tout à fait ton point de vue de concepteur et je salue la performance technique : développer tout cela from scratch à 20 ans, en solo, avec la gestion de l'infrastructure et de la sémantique (BERT), c'est un travail colossal et remarquable. Chapeau pour ça.
Cependant, attention à ne pas confondre l'index technique et la marque :
Ton projet est une superbe aventure technique. Prends simplement soin de ne pas laisser le "code" bloquer la vision stratégique à long terme. Très bonne continuation pour la suite de ta roadmap !
Cependant, attention à ne pas confondre l'index technique et la marque :
- Changer de nom ou migrer un domaine ne t'oblige absolument pas à re-crawler tout ton index. C'est un travail de redirection et de base de données, pas un reset de tes serveurs.
- Plus ton index va grossir et plus tu vas intégrer de projets à ton écosystème, plus le coût de sortie de cet alias sera lourd et douloureux.
Ton projet est une superbe aventure technique. Prends simplement soin de ne pas laisser le "code" bloquer la vision stratégique à long terme. Très bonne continuation pour la suite de ta roadmap !
WRInaute discret
Tu peux avoir un crawler sur un domaine et le résultat public sur un autre domaine.
Séparer le technique du commercial peut être bon, techniquement aussi.
Sur un même serveur, tu as accès aux mêmes bases et technique, quel que soit le domaine.
Séparer le technique du commercial peut être bon, techniquement aussi.
Sur un même serveur, tu as accès aux mêmes bases et technique, quel que soit le domaine.
WRInaute discret
on a répondu en même temps 
WRInaute discret
@Just Aware et @EUSKAL CONSEIL
Je comprends les arguments et ils sont valides dans un contexte de lancement marketing classique. Mais RDTvlokip n'est pas juste un nom de domaine.
C'est un alias lié à un écosystème entier :
Séparer le domaine public du crawler ne change rien à ça. Ce n'est pas un problème de redirection 301, c'est une identité technique et académique construite sur plusieurs années.
Sur la mémorabilité : Google s'appelait "BackRub" avant de devenir Google. "Google" lui-même était considéré comme un nom bizarre en 1998. C'est l'usage qui crée la mémorabilité, pas l'inverse.
Je comprends les arguments et ils sont valides dans un contexte de lancement marketing classique. Mais RDTvlokip n'est pas juste un nom de domaine.
C'est un alias lié à un écosystème entier :
- Publications scientifiques sur Zenodo, ResearchGate, HAL (ORCID : 0009-0009-6643-7372)
- Projets publiés sous ce nom : AG-BPE, VTT Editor Pro, LISP-7
- Profils Hugging Face, GitHub, Google Scholar
- User-Agent RDTvlokipBot validé comme Verified Bot Cloudflare
Séparer le domaine public du crawler ne change rien à ça. Ce n'est pas un problème de redirection 301, c'est une identité technique et académique construite sur plusieurs années.
Sur la mémorabilité : Google s'appelait "BackRub" avant de devenir Google. "Google" lui-même était considéré comme un nom bizarre en 1998. C'est l'usage qui crée la mémorabilité, pas l'inverse.
Si ce projet vise une adoption par le grand public, ça me semble tout de même incontournable d'avoir un nom que l'on retient. Est-ce que au moins une personne ici saurait épeler le nom correctement ?
WRInaute discret
C'est une critique légitime pour un moteur visant le grand public.
Mais le projet n'en est pas là. Aujourd'hui l'objectif c'est la qualité de l'index, pas l'adoption massive. La question du nom se posera vraiment quand le trafic sera là.
Sur l'épellation : RDTvlokip se prononce R-D-T-vlo-kip. Ceux qui me suivent l'épellent correctement. Les autres disent RDT trois lettres, aussi simple que SFR ou EDF.
C'est un vrai sujet à long terme. Pas la priorité aujourd'hui.
WRInaute occasionnel
Bon de toute manière la migration dont je parle visait à créer une interface pour les utilisateurs et éditeurs tout en gardant ce que Tu avais déjà fait, donc les blocages au niveau du changement de nom de marque tombent....je comprends tes blocages et moi même serai terrifiée s"il fallait que je fasse de même avec mon nom de domaine auquel je ne suis pas tant attachée, mais la seule différence c'est que je ne vise pas l'adoption du grand public....même si a priori les gens tapent facilement euskal conseil sur google, je suis la première surprise....
➡️ Offre MyRankingMetrics ⬅️
pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)
Voir les détails ici
Discussions similaires
