Guide

BGE : embeddings ouverts avec trois modes à la fois

BGE est une famille d'embeddings ouverts qui renvoie un vecteur dense, un vecteur épars et multi-vecteur en une passe. Multilingue, reranking, matériel.

L'équipe CodeWorlds12 min de lecture ·

Pratique Python dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article9

BGE est une famille de modèles d'embedding ouverts développée par un institut de recherche chinois et publiée sous une licence permissive qui autorise l'usage commercial. Tu fais tourner les modèles toi-même, donc il n'y a pas de coût par token et aucune donnée ne quitte ton infrastructure.

Le modèle le plus connu de cette famille porte un atout que les concurrents n'ont généralement pas : un seul modèle renvoie trois représentations différentes du même texte en une seule passe. Un vecteur dense ordinaire, un vecteur épars correspondant aux mots, et un ensemble de vecteurs décrivant des parties individuelles du texte.

Cela résout un problème qui, avec d'autres modèles, oblige à maintenir deux systèmes de recherche distincts. Je décris ci-dessous ce qui en découle en pratique et quand cela vaut la peine d'être utilisé.

Trois modes dans un seul modèle

Comprendre en quoi ces représentations diffèrent est rentable, car cela détermine laquelle tu utiliseras.

Un vecteur dense est l'embedding classique : quelques centaines de nombres où la proximité signifie un sens proche. Il gère très bien une question formulée autrement que la réponse et rate les correspondances exactes.

Un vecteur épars contient un nombre énorme de dimensions correspondant aux mots, presque toutes à zéro. Il se comporte comme une recherche par mots-clés, sauf que le modèle juge quels mots comptent et prend en compte les formes apparentées. Il tombe juste là où un nombre précis, un code ou un nom propre compte.

Le troisième mode renvoie un vecteur séparé par partie du texte et les compare avec les parties de la requête. Il donne la plus grande précision et coûte le plus en espace et en temps, donc on l'applique généralement comme dernière étape, pour affiner quelques dizaines de candidats.

Python
from FlagEmbedding import BGEM3FlagModel

model = BGEM3FlagModel("BAAI/bge-m3", use_fp16=True)

result = model.encode(
    chunks,
    return_dense=True,
    return_sparse=True,
    return_colbert_vecs=False,
)

Le point essentiel est que les trois naissent en une seule passe. Avec d'autres options, la recherche hybride demande deux modèles, deux index et deux passes sur l'archive. Ici tu paies une fois et tu décides de ce que tu utilises.

Un support multilingue qui fonctionne

C'est le deuxième atout, et sur des documents dans des langues autres que l'anglais, il compte plus que le premier.

Le modèle prend en charge plus de cent langues et, plus important, gère la recherche entre elles. Une question dans une langue peut trouver un document dans une autre, car les textes de même sens dans différentes langues se trouvent proches dans le même espace.

Sur une archive d'entreprise, cela peut être décisif. Documentation technique en anglais, correspondance dans la langue locale, contrats dans les deux : un seul index sert tout, sans rien traduire et sans collections par langue.

Vérifie tout de même cela sur tes propres données, car la qualité diffère d'une langue à l'autre. Le modèle a été entraîné sur un corpus où certaines langues sont mieux représentées que d'autres, donc un support déclaré pour cent langues ne veut pas dire une précision égale partout.

Le test prend un après-midi : cinquante vraies questions dans ta langue avec les réponses attendues, une comparaison avec un modèle commercial sur la même collection, et la vérification de la fréquence à laquelle le bon document arrive dans les cinq premiers.

Le modèle accepte aussi des entrées exceptionnellement longues, environ huit mille tokens, soit à peu près vingt pages de texte. Cela aide pour les documents qu'on ne peut pas raisonnablement découper, un tableau réparti sur plusieurs pages par exemple. Ce n'est pourtant pas une invitation à intégrer des documents entiers, car un vecteur fait la moyenne du contenu, donc un document qui couvre douze sujets ne correspond plus à rien. Considère la limite du modèle comme un plafond plutôt que comme une recommandation.

Modèles de notation des candidats

Une partie distincte de la famille couvre des modèles qui comparent une paire requête et document en voyant les deux à la fois.

La différence avec les embeddings est fondamentale. Un modèle d'embedding calcule le vecteur d'un document une seule fois, sans connaître la question, donc la comparaison se réduit à la distance entre deux points. Un modèle de notation voit les deux ensemble et juge l'adéquation bien plus précisément, au prix du temps, puisqu'il doit tourner pour chaque paire séparément.

D'où l'arrangement en deux étapes, qu'il vaut mieux traiter comme la valeur par défaut dans une recherche sérieuse. Une recherche vectorielle bon marché renvoie cinquante candidats de toute l'archive, et le modèle de notation choisit les cinq meilleurs.

Ajouter cette étape donne généralement le plus grand saut de précision possible sans changer le modèle d'embedding ni l'approche de découpage. Essaie-la avant le fine-tuning, car elle coûte une fraction de ce travail.

La famille comprend des modèles de notation de plusieurs tailles, dont des variantes conçues pour un coût de calcul plus faible. Choisir entre eux est un compromis ordinaire : plus grand veut dire plus précis et plus lent, et avec cinquante candidats par requête, cette différence se traduit directement en temps de réponse.

Matériel et performances

Les modèles de cette famille sont plus grands que les embeddings commerciaux typiques, car ils prennent en charge de nombreuses langues et plusieurs modes à la fois, donc le matériel mérite d'être planifié.

Pour des requêtes qui arrivent une par une, un processeur suffit, même si le temps de calcul est nettement plus élevé qu'avec des modèles plus petits. Dans une application où la requête attend de toute façon un modèle de langage, cette différence disparaît complètement.

Pour l'indexation, une carte graphique change radicalement la situation. Traiter cent mille fragments sur un processeur prend de nombreuses heures ; sur une carte, un quart d'heure. Si l'archive est mise à jour chaque jour, une carte se rentabilise dès le premier mois.

Trois réglages font la plus grande différence sans changer de modèle. Le premier est une précision numérique réduite, qui divise à peu près le temps par deux pour une perte pratiquement imperceptible. Le deuxième est le traitement par lots plutôt qu'un par un. Le troisième est la désactivation des modes que tu n'utilises pas, car calculer les trois représentations coûte plus que d'en calculer une.

Ce dernier point est souvent oublié, et la différence est réelle. Si tu construis uniquement une recherche dense, désactive les deux autres modes dans l'appel et tu gagnes sensiblement en temps et en place dans la base de données.

Réfléchis aussi à l'endroit où le modèle doit tourner. Le charger séparément dans chaque processus d'application signifie autant de copies en mémoire que de processus, et ces modèles sont volumineux. Un arrangement plus sensé est un service séparé qui calcule les vecteurs, interrogé par le reste de l'application, avec une seule copie du modèle chargée une fois au démarrage et une requête de préchauffage synthétique, pour que le premier vrai utilisateur ne paie pas l'initialisation.

Comment fusionner les résultats de deux modes

Puisque le modèle donne un vecteur dense et un vecteur épars en même temps, il reste à décider comment combiner les deux recherches en une seule liste. Cette étape décide de tout dans la recherche hybride et se fait souvent au feeling.

L'approche naïve additionne les scores. Cela ne marche pas, car les échelles sont incomparables : la similarité des vecteurs denses tombe généralement dans une plage étroite, alors que le score d'une recherche éparse peut prendre des valeurs arbitrairement grandes selon la longueur de la requête.

L'approche qui marche en pratique ignore les valeurs et ne regarde que les positions. Un document arrivé troisième dans une recherche et septième dans l'autre reçoit un score combiné construit à partir des inverses des deux positions. La méthode est simple, ne demande aucun réglage de seuil et résiste au fait qu'une recherche renvoie des valeurs sur une échelle totalement différente de l'autre.

L'alternative normalise les deux listes sur une plage commune et les additionne avec des poids. Elle donne plus de contrôle et demande d'ajuster ces poids sur ton propre jeu de questions, donc n'y recours que quand la méthode plus simple s'avère insuffisante.

Vérifie sur tes propres données si la recherche hybride améliore le résultat. Sur des documents descriptifs, sans nombres ni codes, la recherche dense seule est souvent tout aussi bonne, et ajouter une deuxième couche ne fait que compliquer le système.

Fine-tuning et limites de cette approche

Les modèles de cette famille peuvent être affinés (fine-tuning) sur tes propres données, un avantage que les services commerciaux n'offrent pas du tout.

Le gain apparaît avec un vocabulaire spécialisé : abréviations utilisées au sein d'une seule entreprise, noms de produits, termes sectoriels qu'un modèle généraliste n'associe pas entre eux. Quelques milliers de paires question et fragment suffisent pour que le modèle apprenne ces liens.

L'ordre des opérations mérite d'être dit clairement, car le fine-tuning tente plus qu'il ne le mérite. D'abord améliorer la manière de découper les documents en fragments, car cela change le plus la précision et coûte le moins. Ensuite ajouter un modèle de notation des candidats. Ce n'est que lorsque ces deux étapes ne suffisent pas qu'il faut passer au fine-tuning, car c'est plusieurs jours de travail et cela demande de construire un jeu d'entraînement.

La limite de toute l'approche se situe ailleurs et mérite d'être connue. Les embeddings trouvent des documents proches en sens d'une question plutôt que d'y répondre. Si une réponse demande de combiner des informations de trois documents ou de calculer quelque chose, aucun modèle d'embedding ne le fera, car c'est une tâche pour la couche qui génère la réponse.

La deuxième limite est la fraîcheur. Les vecteurs reflètent l'état d'un document au moment de l'indexation, donc un document modifié ou retiré doit être retraité ou supprimé de l'index. Sans cela, la recherche renvoie du contenu qui n'existe plus, et cette erreur est plus difficile à remarquer que l'absence de résultats.

BGE face aux alternatives

OptionPoint fortPoint faibleÀ choisir quand
BGETrois modes à la fois, nombreuses langues, licence permissiveUn gros modèle, demande du matérielUne archive multilingue hébergée par toi
Sentence TransformersOutillage pratique, fine-tuning, nombreux modèlesTu choisis le modèle toi-mêmeTravailler avec des modèles locaux en général
OpenAIDémarrage le plus simple, pas de matérielLe coût augmente avec le volume, les données sortentUn prototype et des volumes modérés
Voyage AIEspace partagé au sein d'une famille de modèlesUn fournisseur de plus à payerUn projet où le modèle pourrait changer

La deuxième ligne n'est pas ici un concurrent mais une couche complémentaire. La bibliothèque pour travailler avec des modèles locaux peut charger les modèles de cette famille et offre une interface plus pratique, donc un déploiement typique utilise les deux ensemble.

Choisir entre la première et la troisième ligne revient à deux questions. Les données peuvent-elles quitter l'entreprise : sinon, il n'y a rien à discuter. Et le volume est-il assez grand pour qu'un coût fixe batte un coût variable, ce qui, à quelques milliers de requêtes par jour, n'est généralement pas le cas.

Erreurs courantes

La première est de calculer les trois représentations alors que tu n'en utilises qu'une. Désactiver les modes inutiles dans l'appel raccourcit le temps et réduit la place dans la base de données.

La deuxième est de supposer une qualité égale pour chaque langue prise en charge. Un support déclaré pour cent langues ne veut pas dire une précision égale, donc vérifie ton cas avec tes propres questions.

La troisième est de sauter le modèle de notation des candidats. C'est généralement le plus grand saut de précision pour le moins de travail.

La quatrième est d'indexer une grande archive sur un processeur. Une carte graphique transforme de nombreuses heures en un quart d'heure et se rentabilise vite avec des mises à jour régulières.

La cinquième est de mélanger dans un même index des vecteurs de versions de modèle différentes. Ils ne sont pas comparables, et le symptôme est de moins bons résultats sans aucun message d'erreur.

La sixième est de choisir un modèle d'après sa position dans un classement. Les benchmarks mesurent des tâches moyennées, et tes documents relèvent d'un seul domaine et d'une seule langue.

FAQ

BGE est-il gratuit ?

Oui, les modèles sont ouverts et publiés sous une licence qui autorise l'usage commercial. Tu ne paies que le matériel sur lequel tu les fais tourner et le temps nécessaire pour les déployer et les maintenir.

Que signifie la prise en charge de trois modes à la fois ?

Un seul modèle renvoie, en une passe, un vecteur dense, un vecteur épars correspondant aux mots et un ensemble de vecteurs décrivant des parties du texte. Avec d'autres options, la recherche hybride demande deux modèles et deux index ; ici une seule passe sur l'archive suffit.

Fonctionne-t-il bien dans d'autres langues que l'anglais ?

Le modèle prend en charge plus de cent langues et gère la recherche entre elles, donc une question dans une langue peut trouver un document dans une autre. La qualité diffère toutefois selon les langues, donc vérifie avec ton propre jeu de questions avant de décider.

Quel matériel faut-il ?

Un processeur suffit pour traiter des requêtes individuelles. Pour indexer une archive plus grande, une carte graphique ramène le temps de nombreuses heures à un quart d'heure, ce qui la rend pratiquement nécessaire avec des mises à jour régulières.

Où stocker les vecteurs calculés ?

Dans une base de données vectorielle qui prend en charge les modes que tu as choisis, comme celle présentée dans l'article sur Qdrant. Avec des vecteurs épars, vérifie la prise en charge avant de décider, car toutes les bases ne les gèrent pas aussi bien, et l'ajouter plus tard oblige à reconstruire l'index.

Les modèles et la documentation se trouvent sur le site du projet, et le code de l'outillage dans le dépôt GitHub.

À lire aussi