Guide

Elasticsearch, recherche vectorielle et plein texte en un moteur

Elasticsearch réunit recherche plein texte et recherche vectorielle dans un seul moteur. semantic_text, quantification, recherche hybride, licences et coûts.

L'équipe CodeWorlds13 min de lecture ·

Pratique NestJS dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article9

Elasticsearch est un moteur de recherche distribué qui, au fil des dernières versions, en est venu à traiter les vecteurs comme des citoyens de premier rang à côté du texte. Cela signifie qu'un seul système gère la correspondance par mots-clés et la similarité sémantique, sans seconde base de données à maintenir ni fusion manuelle des ensembles de résultats. La version actuelle est la 9.5.0, publiée le 4 août 2026, et le projet est distribué sous une triple licence qui inclut l'AGPLv3 open source.

Quand Elasticsearch est un choix raisonnable pour les vecteurs

J'énonce une affirmation qui organise le reste de ce texte : si Elasticsearch tourne déjà dans votre système, ajouter une base vectorielle séparée est rarement rentable. S'il ne tourne pas, le mettre en place uniquement pour les vecteurs est encore moins rentable.

La raison tient à la nature de ce moteur. C'est un moteur à index inversé qui embarque toute une couche que les bases vectorielles dédiées n'ont pas : analyseurs linguistiques, tokenisation, gestion des synonymes, agrégations, surlignage des extraits, permissions au niveau du document. Si votre produit a besoin de ces choses, vous les obtenez avec les vecteurs, et cela l'emporte généralement sur toute différence de performance brute en recherche approximative.

L'inverse vaut pour une charge purement vectorielle. Faire tourner un cluster Elasticsearch exige de connaître le réglage du tas Java, les shards et les réplicas. Si tout ce dont vous avez besoin est la recherche de plus proches voisins sur deux millions de vecteurs, Qdrant ou Milvus seront mis en place plus vite et coûteront moins cher à faire tourner.

Il y a un troisième cas où la décision est évidente. Quand les requêtes des utilisateurs mêlent les deux intentions, quelque chose comme « facture de mars 2025 du fournisseur d'énergie », aucun des deux systèmes ne répond bien seul. Il faut une correspondance exacte sur les chiffres et les dates et une correspondance sémantique sur le reste. Elasticsearch le fait en une seule requête, et c'est son meilleur argument.

semantic_text, le chemin le plus court vers la recherche sémantique

Le chemin vectoriel classique ressemble à ceci : choisir un modèle d'embedding, découper le texte en fragments, calculer les vecteurs, les stocker avec leurs métadonnées, puis à la requête calculer le vecteur de la question et chercher. Cinq étapes, dont chacune peut mal tourner.

Le type de champ semantic_text les réduit à une seule. Vous déclarez le type de champ, et le moteur choisit la représentation vectorielle, découpe le texte long et calcule les embeddings à l'indexation tout seul.

JSON
PUT /documents
{
  "mappings": {
    "properties": {
      "content": { "type": "semantic_text" }
    }
  }
}

La requête est tout aussi courte et prend du texte brut plutôt qu'un vecteur :

JSON
GET /documents/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "how to settle a corrective invoice"
    }
  }
}

Dans la version 9.4, les valeurs par défaut de ce champ ont changé à trois endroits à la fois, ce qu'il vaut mieux savoir si vous comparez des résultats entre environnements. Le modèle par défaut est désormais jina-v5, la précision par défaut BFLOAT16, et le type d'index par défaut disk_bbq. Un index créé avant la mise à jour garde ses anciens réglages, donc deux environnements de la même version peuvent renvoyer des classements légèrement différents quand l'un a été construit plus tôt.

Cette commodité a un prix, et il est juste de le nommer. Vous renoncez au contrôle du choix du modèle et de la façon dont le texte est découpé. Pour des documents à la structure inhabituelle, comme des tableaux ou du code, un découpage sur mesure bat généralement le découpage automatique. Commencez avec semantic_text et ne passez à la configuration manuelle que lorsque les mesures disent que cela en vaut la peine.

Quantification et DiskBBQ

Les vecteurs consomment beaucoup de mémoire, et c'est le principal coût de cette partie du système. Mille dimensions en flottants simple précision représentent quatre kilo-octets par document, soit quatre gigaoctets par million de documents avant de compter l'index.

La quantification consiste à stocker ces nombres avec une précision moindre. Elastic développe sa propre variante de la technique sous le nom BBQ, et la documentation commerciale de l'éditeur cite une compression jusqu'à 32 fois et une réduction de la mémoire d'environ 95 pour cent avec un rappel préservé. Ce sont des chiffres marketing, donc traitez-les comme un ordre de grandeur plutôt qu'une promesse pour vos données. Le mécanisme lui-même est réel, et sur des ensembles plus grands c'est lui qui détermine la taille du cluster.

La version 9.4 a apporté ici deux changements concrets. DiskBBQ, la variante qui garde la structure sur disque, est désormais la valeur par défaut des index nouvellement créés, et son algorithme a été réécrit de sorte que les recherches sous des filtres très restrictifs s'exécutent trois fois plus vite, voire mieux. Un choix de précision est aussi apparu : 1, 2, 4 ou 7 bits par dimension.

C'est dans ce choix qu'une heure de mesure se rentabilise. Un bit donne la plus grande économie et la fidélité la plus basse, sept bits l'inverse. La règle qui tient en pratique : commencez avec les valeurs par défaut, mesurez le rappel sur votre propre jeu de requêtes avec les résultats attendus, et n'augmentez la précision que si le résultat déçoit. L'augmenter par précaution, c'est payer de la mémoire dont vous n'avez pas besoin.

Recherche hybride et fusion de rangs

La similarité vectorielle seule échoue partout où une chaîne exacte compte. Un numéro de facture, un nom de famille, une référence de dossier, un nom de modèle d'appareil. Le modèle d'embedding les voit comme semblables à d'autres numéros et d'autres noms, ce qui produit des résultats sémantiquement corrects et pratiquement inutiles.

La réponse est de combiner les deux approches. La variante la plus simple est une requête booléenne ordinaire où la clause par mots-clés et la clause sémantique se trouvent toutes deux sous should, chacune avec son propre boost. L'inconvénient est que les deux produisent des scores sur des échelles différentes, donc régler les boosts revient à deviner.

La fusion de rangs réciproque fonctionne mieux. Au lieu de comparer les scores, elle ne considère que la position de chaque document dans chaque liste, ce qui fait disparaître le problème d'échelle.

JSON
GET /documents/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        { "standard": { "query": { "match": { "content": "corrective invoice" } } } },
        { "standard": { "query": { "semantic": { "field": "content", "query": "how to settle a corrective invoice" } } } }
      ],
      "rank_window_size": 50,
      "rank_constant": 20
    }
  }
}

Deux paramètres de cette requête méritent d'être compris. rank_window_size indique combien de résultats prendre dans chaque liste avant la fusion, et l'augmenter améliore les chances de faire remonter un document visible dans une seule des deux, au prix de la latence. rank_constant atténue l'avantage des premières positions, donc l'augmenter permet à un document classé dixième dans les deux listes de battre un document classé premier dans une seule liste et absent de l'autre.

Licences, la plus grande source de confusion

Ce sujet génère plus de confusion que tout le reste réuni et ressurgit dans chaque discussion sur le choix d'un moteur de recherche, donc il vaut la peine de le démonter.

En janvier 2021, le projet a cessé d'être distribué sous Apache 2.0 et est passé à deux licences non approuvées par l'Open Source Initiative. C'est à ce moment qu'Amazon a créé le fork OpenSearch. En août 2024, Elastic a ajouté une troisième option, l'AGPLv3, qui est une licence open source approuvée par l'OSI, donc l'arrangement actuel est une triple licence : AGPLv3, Elastic License 2.0 et SSPL, le choix étant laissé à l'utilisateur.

La signification pratique de ces différences se ramène à une question : avez-vous l'intention de proposer Elasticsearch comme service géré à d'autres entreprises. Si non, ce qui décrit presque toutes les équipes produit, les trois licences vous laissent faire ce que vous voulez, y compris l'usage commercial et l'auto-hébergement. Elastic License 2.0 interdit précisément la revente en tant que service, la SSPL exige d'ouvrir tout le code de la pile d'un tel service, et l'AGPLv3 impose l'obligation de publier les modifications.

Le découpage des fonctionnalités est une couche distincte. L'offre Basic gratuite couvre la recherche vectorielle, la recherche hybride, le champ semantic_text et toutes les fonctions de base. Les offres payantes ajoutent des capacités de sécurité et de gestion, des permissions au niveau des champs et des documents, l'authentification unique, l'apprentissage automatique pour la détection d'anomalies. Lors de la planification d'un déploiement, c'est ce découpage, plutôt que la licence du code source, qui s'avère le plus souvent décisif.

Elasticsearch face aux bases vectorielles dédiées

CaractéristiqueElasticsearchMilvusQdrantpgvector
Recherche plein textecomplète, avec analyseursbasique, vecteurs creuxbasiquevia une extension
Recherche vectorielleoui, avec quantificationoui, sa fonction principaleoui, sa fonction principaleoui, plus simple
Agrégations et rapportsfortslimitéslimitésSQL complet
Barrière d'entrée opérationnelleélevéeélevéefaibleaucune sur une base existante
LicenceAGPLv3, ELv2, SSPLApache 2.0Apache 2.0PostgreSQL
Empreinte mémoireélevée, basée sur la JVMmoyennefaibledépend de la base de données

Lisez ce tableau à travers ce que vous faites déjà tourner. Avec une base PostgreSQL existante et un ensemble de moins d'un million de vecteurs, l'extension pgvector règle l'affaire en une soirée et n'ajoute rien de nouveau à maintenir. Là où vous avez besoin d'une vraie recherche de texte avec racinisation, synonymes et surlignage, aucune des bases vectorielles dédiées n'égalera Elasticsearch, car ce n'est pas ce qu'elles cherchent à faire.

Coûts et ressources

Une facture Elasticsearch suit rarement le nombre de documents et suit presque toujours la mémoire. Trois sortes de mémoire valent la peine d'être distinguées, car les confondre produit des clusters mal dimensionnés dans les deux sens.

Le tas Java sert les structures de requête et les caches. La recommandation est de rester sous la moitié de la mémoire de la machine et sous environ trente gigaoctets, car au-delà de ce seuil la machine virtuelle cesse d'utiliser des pointeurs compressés et perd en fait de la mémoire au lieu d'en gagner.

L'autre moitié de la mémoire appartient au système d'exploitation, et c'est elle qui garde les fichiers d'index dans le cache de pages. Pour la recherche vectorielle, c'est critique : si la structure du graphe n'y tient pas, chaque requête va sur le disque et la latence augmente d'un ordre de grandeur. Les variantes sur disque, dont DiskBBQ, existent précisément pour cette situation et permettent d'accepter en connaissance de cause un accès plus lent en échange d'une machine plus petite.

Le troisième élément est l'espace disque, le moins cher des trois et celui qui est le plus souvent surdimensionné alors que la mémoire est rationnée. Pour dimensionner un cluster, calculez d'abord la taille des vecteurs après quantification, ajoutez l'index inversé et les métadonnées, et seulement ensuite pensez aux disques.

Erreurs courantes

La première est de changer le mapping d'un champ sur un index existant. Les types de champs ne peuvent pas être modifiés sur place, donc chaque correction signifie créer un nouvel index et réindexer. Les projets qui ne l'avaient pas prévu le découvrent au pire moment, lors de leur premier vrai changement de modèle de données. Les alias d'index existent justement pour que ce basculement reste invisible pour l'application, et ils valent la peine d'être utilisés dès le premier jour.

La deuxième est de mélanger les modèles d'embedding. Les vecteurs de deux modèles différents ne sont pas comparables, même à dimensionnalité identique. Changer de modèle exige de recalculer tout l'ensemble et pas seulement les nouveaux documents, sinon les anciens et les nouveaux enregistrements cessent de rivaliser de façon pertinente.

La troisième est d'avoir trop de shards. L'idée par défaut selon laquelle plus de shards signifie de meilleures performances est l'inverse de la vérité pour de petits jeux de données. Chaque shard est un index Lucene distinct avec son propre surcoût, donc dix shards pour cent mille documents ralentissent les requêtes au lieu de les accélérer.

La quatrième concerne le refresh. Un document écrit n'est pas immédiatement visible dans les résultats, car l'index se rafraîchit environ une fois par seconde. Un test d'intégration qui écrit puis cherche aussitôt sera instable. Les tests doivent forcer un refresh ; la production doit être patiente, car le forcer à chaque écriture peut mettre un cluster à genoux.

La cinquième est la pagination profonde. Sauter à la page mille avec un paramètre d'offset oblige chaque nœud à trier un ensemble énorme. Les longues listes appellent un curseur sur les valeurs de tri, pas un offset plus grand.

FAQ

Elasticsearch est-il gratuit ?

Le code source est disponible sous une triple licence incluant l'AGPLv3 open source, et vous pouvez l'utiliser commercialement sans frais. L'offre Basic gratuite couvre la recherche vectorielle et hybride. Les abonnements payants ajoutent surtout des fonctions de sécurité et de gestion, par exemple des permissions au niveau des champs.

En quoi Elasticsearch diffère-t-il d'OpenSearch ?

OpenSearch est un fork qu'Amazon a créé en 2021 après le changement de licence d'Elasticsearch, et les deux projets ont divergé fonctionnellement depuis. La mécanique vectorielle plus récente, dont le champ semantic_text et la variante DiskBBQ, est arrivée après la séparation et n'a pas d'équivalent direct.

Ai-je besoin d'une base vectorielle séparée à côté d'Elasticsearch ?

Généralement non. Si un cluster tourne déjà et contient vos données, ajouter un second système signifie deux chemins d'écriture et la charge de les garder cohérents. Une base séparée ne mérite sa place qu'à une échelle où la mémoire du cluster coûte plus cher que la maintenance d'un composant supplémentaire.

Quelle méthode de recherche hybride utiliser ?

La fusion de rangs réciproque, sauf si vous avez une raison de régler les poids à la main. Elle n'exige aucun réglage de boost, car elle ignore les scores et ne regarde que les positions, ce qui supprime le problème d'échelles incomparables entre la correspondance par mots-clés et la correspondance sémantique.

De combien de mémoire un cluster avec des vecteurs a-t-il besoin ?

Cela dépend de la précision de stockage. Sans quantification, prévoyez quatre kilo-octets par vecteur de mille dimensions, soit environ quatre gigaoctets par million de documents, plus le surcoût de l'index. La quantification réduit cela de plusieurs fois, et la variante sur disque va encore plus bas au prix de la latence.

Les détails des versions sont couverts dans les notes de version d'Elasticsearch, et la position sur les licences est expliquée dans la FAQ officielle sur les licences.

À lire aussi