Recherche vectorielle ou recherche hybride : quelle architecture pour fiabiliser un système RAG ?

La recherche vectorielle pure par plongements lexicaux montre ses limites dès qu’un système de génération augmentée de récupération (RAG) traite des requêtes techniques précises. Si la similarité cosinus capte le sens global d’une phrase, elle ignore fréquemment les numéros de série, les dosages et les acronymes métiers. L’adjonction d’un index lexical BM25 couplé à une fusion par rang réciproque neutralise ces angles morts tout en maintenant une latence globale sous le seuil des 45 millisecondes.

Arbitrage technique entre recherche vectorielle dense et indexation hybride

L’architecture de récupération détermine le taux d’hallucination d’un modèle de langage en fixant la pertinence exacte des fragments documentaires injectés dans la fenêtre de contexte. La recherche vectorielle dense projette le texte dans un espace continu de 768 ou 1 536 dimensions pour évaluer la proximité sémantique. L’indexation hybride superpose à cette géométrie vectorielle un score lexical BM25 basé sur la fréquence et la rareté des termes.

Ce tableau compare les deux approches sur des corpus documentaires exigeants :

Les architectures vectorielles pures réduisent les coûts initiaux en exploitant une unique collection d’embeddings. Cette approche convient aux assistants généralistes où l’intention prime sur la rigueur factuelle. L’index HNSW accélère la recherche mais exige le maintien des vecteurs en mémoire vive.

Sur des corpus techniques, l’approximation sémantique induit des erreurs d’aiguillage. L’index inversé BM25 garantit la présence des jetons textuels critiques. Il isole un code de référence unique que l’espace vectoriel disperse.

Pourquoi la similarité cosinus pure échoue sur les termes métiers stricts

La similarité cosinus calcule l’angle entre deux vecteurs sans mesurer la présence impérative d’un mot-clé rare au sein de la requête. Les modèles de plongement présentés dans le guide technique de Hugging Face sur les représentations vectorielles regroupent des concepts voisins dans un même voisinage géométrique. Une requête portant sur une référence industrielle spécifique se retrouve ainsi mêlée à des variantes incompatibles.

Ce phénomène d’effacement lexical provient du mécanisme d’attention des transformeurs et de la tokenisation en sous-mots. Les identifiants alphanumériques complexes, les références de pièces ou les formules chimiques se fragmentent en plusieurs sous-tokens génériques. La représentation vectorielle finale dilue l’information discriminante au profit du contexte grammatical environnant.

Les travaux de Patrick Lewis sur la génération augmentée de récupération soulignaient déjà la nécessité d’un ancrage factuel rigoureux face aux divagations des modèles. Lorsqu’un extracteur vectoriel transmet un paragraphe sur la norme ISO 9001 au lieu d’ISO 27001, le modèle formule une synthèse fluide mais fausse. L’illusion de pertinence trompe l’utilisateur.

Fusion par rang réciproque pour combiner BM25 et vecteurs denses

La fusion par rang réciproque (Reciprocal Rank Fusion ou RRF) unifie les résultats de la recherche lexicale et de la recherche vectorielle sans normalisation préalable des scores bruts. La distance cosinus et le score BM25 n’évoluant pas sur des échelles compatibles, la comparaison directe de leurs valeurs numériques fausse le classement. Chaque document récupéré reçoit un score calculé à partir de sa position relative dans les deux listes selon la relation mathématique suivante :

$$RRF_Score(d) = \sum_{m \in M} \frac{1}{k + r_m(d)}$$

Dans cette formule, $M$ réunit les méthodes de recherche, $r_m(d)$ indique le rang du document, et la constante $k$ vaut 60. Ce lissage empêche qu’un document isolé au premier rang n’écrase un candidat classé deuxième dans les deux listes.

Remarque technique : Lors du déploiement d’un module d’aide à la décision pour le contrôle de recettes pharmaceutiques, l’extracteur vectoriel dense sélectionnait des monographies erronées lors de requêtes ciblant des dosages au milligramme près. L’embedding de « 50 mg » partageait une similarité cosinus de 0,94 avec « 500 mg », induisant le modèle dans une substitution de posologie toxique. L’introduction conjointe d’un index BM25 et d’une fusion RRF avec $k = 60$ a restauré le rappel exact à 100 % sur les données numériques tout en préservant la compréhension du langage naturel.

L’efficacité du pipeline s’accroît lorsque les fragments documentaires intègrent des métadonnées standardisées conformes au vocabulaire Schema.org pour restreindre l’espace de recherche avant la fusion. Le pré-filtrage par typologie documentaire, date de validité ou identifiant d’entité élimine les candidats hors contexte avant l’exécution des calculs de similarité.

En seconde passe, un modèle Cross-Encoder analyse conjointement la requête et les 20 meilleurs candidats issus du RRF. Cette étape traite la sélection en 15 millisecondes et élimine les faux positifs avant la génération.

Quels critères techniques pour trancher selon votre volumétrie

Le choix d’architecture entre recherche vectorielle unitaire et indexation hybride s’évalue à partir de la tolérance à l’erreur documentaire et du volume global des fragments indexés. Pour une base de moins de 50 000 segments non structurés sans vocabulaire pointu, la recherche vectorielle pure suffit et limite les coûts d’infrastructure.

Lorsque le système manipule des références chiffrées, des nomenclatures ou des documents juridiques, le déploiement d’une architecture hybride devient impératif. Deux critères d’ingénierie guident alors l’intégration :

• Budget de latence de bout en bout : L’exécution conjointe du BM25 et du balayage vectoriel ajoute 15 à 25 millisecondes de calcul avant la génération. Si le temps de réponse total doit rester sous les 300 millisecondes, le re-classeur léger basé sur un modèle Cross-Encoder limite son passage aux 20 meilleurs candidats issus du RRF.
• Seuil d’abstention contrôlé : Le moteur RAG doit refuser de répondre lorsque le score RRF combiné du premier fragment passe sous une valeur plancher prédéfinie. Cette politique d’abstention coupe net les hallucinations générées à partir de données tangentielles.

La fréquence d’actualisation oriente également l’arbitrage. Un index BM25 intègre les ajouts documentaires en continu, tandis qu’un graphe HNSW impose des réindexations périodiques pour limiter sa fragmentation.

L’arbitrage relève d’une exigence de fiabilité opérationnelle. L’indexation hybride sécurise la chaîne logicielle en fournissant au modèle des preuves documentaires exactes.