Un système qui répond à des questions à partir de vos propres documents tombe en panne de deux façons différentes qui se ressemblent de l'extérieur. Soit la récupération n'a pas trouvé le bon fragment, soit elle l'a trouvé et le modèle a répondu à sa manière malgré tout. Un correctif pour l'un ne fait rien pour l'autre, donc sans les séparer, le réglage relève de la devinette.
Ragas les sépare avec quatre mesures : deux qui notent la récupération, deux qui notent la réponse. C'est une bibliothèque open source qui a établi le vocabulaire utilisé aujourd'hui dans toute cette catégorie d'outils.
Quatre métriques et ce qu'elles disent
| Métrique | Ce qu'elle note | Ce que signifie un score bas |
|---|---|---|
| Context precision | Si les fragments récupérés sont pertinents | La récupération renvoie du bruit |
| Context recall | Si tout le nécessaire a été récupéré | Des fragments manquent dans l'index ou dans les résultats |
| Faithfulness | Si la réponse s'appuie sur le contexte | Le modèle invente malgré un bon contexte |
| Answer relevancy | Si la réponse traite la question | Le modèle répond à côté du sujet |
Les répartir en deux paires est le cœur du sujet. Si le context recall est bas, aucun changement de prompt n'aidera, car la bonne information n'est tout simplement pas dans ce que le modèle a reçu. Si la faithfulness est basse alors que le recall est élevé, le problème se situe dans le prompt ou le modèle plutôt que dans la base de données vectorielle.
Cette seule observation fait gagner le plus de temps. Les équipes commencent généralement par améliorer le prompt, parce que c'est le plus facile, alors que dans la plupart des déploiements c'est l'étape de récupération qui échoue.
L'état du projet
Avant de l'ajouter à vos dépendances, vérifiez le rythme de développement, car il a nettement ralenti ces derniers mois.
La bibliothèque n'a pas été dépréciée ni archivée, la documentation fonctionne et la licence Apache 2.0 n'a pas changé. La dernière version, cependant, est la 0.4.3 de janvier 2026, et la dernière modification du dépôt date de février de la même année, tandis que les tickets et les pull requests de la communauté continuent d'arriver et restent sans réponse. L'entreprise derrière le projet a aussi changé de nom, d'Exploding Gradients à Vibrant Labs, donc l'ancienne adresse du dépôt ne fait que rediriger et les liens des anciens contenus pointent vers un chemin périmé.
La conclusion pratique comporte deux parties. Les métriques elles-mêmes et leur mode de calcul sont stabilisés, donc pour la mesure la bibliothèque sert aujourd'hui aussi bien qu'avant et rien dans les résultats décrits ci-dessous ne change. Ne comptez toutefois pas sur une réponse rapide à un bug ni sur la prise en charge de modèles récemment sortis, et avant de vous engager à long terme sur cette bibliothèque, vérifiez la date de la dernière version, car c'est elle qui décide si c'est encore un choix actuel.
Votre première mesure
pip install ragasfrom ragas import evaluate, EvaluationDataset
from ragas.metrics import (
Faithfulness, AnswerRelevancy, LLMContextPrecisionWithReference, LLMContextRecall
)
data = EvaluationDataset.from_list([
{
"user_input": "How do I download an invoice copy?",
"retrieved_contexts": ["Invoice copies are downloaded in the billing panel...", "..."],
"response": "You download a copy in the billing panel, Payment history section.",
"reference": "An invoice copy is available in the billing panel.",
},
])
result = evaluate(
dataset=data,
metrics=[Faithfulness(), AnswerRelevancy(),
LLMContextPrecisionWithReference(), LLMContextRecall()],
)
print(result)Quatre champs décrivent un cas : la question, les fragments renvoyés par la récupération, la réponse du système et une réponse de référence. Ce dernier champ n'est nécessaire qu'à certaines métriques, et c'est lui qui donne les résultats les plus fiables.
La notation se fait avec un modèle de langage, donc chaque cas représente plusieurs appels. Cent cas sur quatre métriques font plusieurs centaines d'appels, et il faut les chiffrer avant de commencer.
Comment lire les scores
Les scores se situent entre zéro et un et donnent envie de les traiter comme des notes d'école. C'est une erreur, car la valeur absolue compte moins que la différence entre deux exécutions.
Sur la faithfulness, une valeur supérieure à environ quatre-vingt-cinq centièmes signifie que les réponses restent dans le contexte. En dessous de soixante-dix centièmes, cela signale que le modèle ajoute régulièrement des choses que le contexte ne contenait pas, et cela appelle une réaction plutôt qu'un nouveau réglage.
Sur les métriques de contexte, les seuils dépendent de la tâche. Un système qui répond à des questions simples peut montrer une précision élevée et un recall suffisant sur trois fragments. Un système qui répond à des questions exigeant des informations de deux documents montrera un recall plus bas, et c'est souvent naturel plutôt que faux.
La règle pratique : enregistrez la première mesure comme référence et comparez-y les suivantes. « Le changement a-t-il aidé » a une réponse ; « notre système est-il bon » n'en a pas, car il n'existe pas d'échelle commune à tous les domaines.
Générer un jeu de test
Le plus grand obstacle est généralement de ne pas avoir de cas avec des réponses de référence. La bibliothèque peut les générer à partir de vos documents, ce qui accélère le démarrage.
from ragas.testset import TestsetGenerator
generator = TestsetGenerator.from_langchain(llm=model, embedding_model=embeddings)
testset = generator.generate_with_langchain_docs(documents, testset_size=50)Relisez les questions générées plutôt que de les accepter sans vérifier. L'automatisation façonne les questions autour des documents, donc elles sont parfois trop proches du texte et ne ressemblent pas à ce qu'un vrai utilisateur écrit : de façon laconique, avec des fautes de frappe, et parfois sur deux sujets à la fois.
Un montage sensé est un jeu mixte. La moitié générée à partir des documents pour couvrir l'étendue du contenu, et la moitié tirée de vraies requêtes pour couvrir la façon dont les gens demandent. La seconde moitié trouve plus de problèmes.
Incluez aussi des cas auxquels le système ne doit pas répondre. Une question hors du périmètre de la documentation est un bon test, car la bonne réponse est d'admettre que l'information manque plutôt que d'inventer du contenu.
Coûts et échantillonnage
La notation avec un modèle de langage coûte de l'argent, donc un jeu complet à chaque changement de code est financièrement irréaliste.
Trois choses réduisent ce coût. La première est un modèle de notation moins cher, mais il faut vérifier si ses résultats sont corrélés à ceux d'un modèle plus fort sur un échantillon. La deuxième est le choix des métriques : la context precision est peu coûteuse, tandis que la faithfulness exige de décomposer une réponse en affirmations et de vérifier chacune, donc elle coûte le plus. La troisième est de séparer un petit jeu lancé souvent et un jeu complet lancé avant une version.
Rappelez-vous aussi que la notation par un modèle porte son propre bruit. Le même cas noté deux fois peut différer légèrement, donc un écart de deux centièmes entre exécutions ne signifie rien. Seules des différences d'environ cinq centièmes sur des dizaines de cas sont un signal.
Que faire des résultats
Le diagnostic se ramène à un arbre de décision simple, et c'est la plus grande valeur pratique de cet outil.
Un context recall bas signifie que la récupération n'a pas trouvé l'information nécessaire. Vérifiez dans l'ordre : si le fragment est dans l'index, si la règle de découpage l'a coupé en deux, si le modèle d'embeddings gère votre langue et si vous renvoyez assez de fragments.
Une context precision basse avec un bon recall signifie que les résultats portent beaucoup de bruit. Le filtrage par métadonnées aide, tout comme la recherche hybride qui combine vecteurs et correspondance de mots-clés, et le réordonnancement des résultats par un modèle distinct.
Une faithfulness basse avec un bon contexte est un problème côté génération. L'instruction doit dire clairement que la réponse doit reposer uniquement sur les fragments fournis et que l'information manquante doit être admise. Réduire le nombre de fragments aide parfois aussi, car un modèle se perd parmi vingt et se débrouille avec cinq.
Une answer relevancy basse avec une bonne faithfulness signifie généralement que le modèle répond à une autre question que celle posée. Cela vient souvent de la reformulation de la question avant la récupération ou d'une instruction qui encourage des réponses élaborées.
Parcourez cet arbre dans cet ordre plutôt que de commencer par ce qui est le plus facile à changer. Corriger le prompt alors que le context recall est bas ne rapporte rien, prend un après-midi et laisse l'impression que le problème est insoluble.
Comment les métriques sont calculées
Il est utile de savoir ce qui se passe en dessous, car cela explique à la fois le coût et les limites de ces mesures.
La faithfulness se déroule en deux étapes. D'abord le modèle décompose la réponse en affirmations individuelles, puis il vérifie chacune par rapport au contexte fourni. Le score est la part d'affirmations qui ont un appui. C'est de là que vient le coût : une réponse de huit affirmations, ce sont neuf appels et non un.
L'answer relevancy fonctionne à l'envers. Le modèle génère des questions auxquelles cette réponse répondrait bien, puis les compare à la vraie question par similarité d'embeddings. La conséquence pratique est qu'une réponse bavarde qui ajoute des informations au-delà de la question abaisse cette mesure même si elle est correcte.
Le context recall exige une réponse de référence, car il vérifie si chaque phrase de la référence correspond à un fragment récupéré. Sans référence, la mesure n'a pas d'ancrage et il faut utiliser une variante approximative, moins fiable.
La context precision note séparément chaque fragment récupéré selon qu'il aide à répondre, en tenant compte de l'ordre. Un fragment pertinent en première position relève davantage le score que le même fragment en dixième, ce qui correspond à la façon dont un modèle lit réellement le contexte.
Mesurer en production
Un jeu de test montre comment le système gère les cas que vous aviez prévus. La production montre ceux que vous n'aviez pas prévus, et mesurer là vaut la peine.
Une limite compte : la production n'a pas de réponses de référence, donc deux des quatre métriques tombent. Il reste la faithfulness et l'answer relevancy, toutes deux calculées sans référence, et cela suffit pour détecter une baisse.
Le montage pratique utilise l'échantillonnage. Noter dix pour cent du trafic donne une image suffisante pour un dixième du coût, et les cas à faible faithfulness entrent dans une file de revue.
Cette file devient le jeu de test du cycle suivant. Elle boucle la boucle : la production fournit des cas, le jeu empêche un correctif de les casser et la mesure de production suivante vérifie si le correctif a vraiment fonctionné pour les utilisateurs.
Ragas face aux alternatives
| Outil | Point fort | Point faible | À choisir quand |
|---|---|---|---|
| Ragas | Métriques adaptées à la récupération, génération de jeux de test | Centré sur un seul type de système | Diagnostiquer un système qui répond à partir de documents |
| Promptfoo | Comparaison de variantes, red teaming | Pas de métriques propres à la récupération | Tests avant version, sécurité |
| Langfuse | Traces de production, open source | Les évaluations sont à ajouter soi-même | Observabilité d'une application en service |
| LangSmith | Traces et évaluations réunies | Code fermé | Projet dans cet écosystème |
| TruLens | Le même diagnostic en trois mesures, licence MIT | Pas de génération de jeux de test, contenus étroitement liés à Snowflake | La même mesure avec une bibliothèque qui publie encore des versions |
La dernière ligne compte à la lumière de la section sur l'état du projet. La triade de cette bibliothèque décrit les trois mêmes maillons cassés, et son développement est visiblement plus vivant, avec des versions du milieu de 2026. Il y a toutefois une différence à connaître avant de changer : elle n'a pas de mesure de context recall séparée, donc un fragment que la récupération n'a jamais renvoyé n'apparaît qu'indirectement, via un mauvais score de réponse. Le recall est ici la mesure qui demande une réponse de référence, et c'est généralement celle qui tranche entre corriger l'index ou le prompt.
Ces outils répondent à des questions différentes et on en utilise généralement deux ensemble. Celui-ci répond à la question de savoir où se situe le problème dans un système de récupération. Un outil d'observabilité répond à ce qui se passe réellement en production et fournit des cas pour le jeu.
Notez aussi que les métriques décrites ici sont largement répandues, donc vous les retrouverez dans d'autres outils sous les mêmes noms. Le choix de la bibliothèque compte donc moins que la compréhension de ce que dit chaque mesure.
En comparant, séparez deux choses que l'on confond couramment dans les discussions sur la qualité des systèmes de récupération. La première est la précision de la récupération mesurée sans modèle : le bon fragment est-il arrivé dans les trois premiers résultats. Cela se vérifie avec un simple script, gratuitement et de façon déterministe, donc c'est par là qu'il faut commencer.
La seconde est la qualité de la réponse, qui exige un modèle pour juger et coûte de l'argent. Si la première mesure est basse, la seconde n'a rien à mesurer, car le modèle reçoit un mauvais matériau. Le diagnostic doit donc aller de la mesure bon marché de la récupération à la mesure coûteuse de la réponse, et non l'inverse.
Erreurs courantes
La première est de ne mesurer que la qualité de la réponse. Sans les métriques de contexte, vous ne pouvez pas savoir s'il faut corriger le prompt ou la récupération, et ce sont des travaux entièrement différents.
La deuxième est de traiter un score absolu comme une note. Une valeur de quatre-vingts centièmes ne veut rien dire sans comparaison avec une exécution précédente et sans connaissance du domaine.
La troisième est un jeu fait de questions uniquement générées automatiquement. Ces questions sont trop proches des documents et ne ressemblent pas à la façon dont les gens demandent.
La quatrième est de n'avoir aucun cas hors périmètre. Un système qui répond à tout obtient de bons scores à la mesure et de mauvais en pratique, car les questions sans couverture dans les documents méritent un aveu d'ignorance.
La cinquième est de tirer des conclusions de différences plus petites que le bruit de mesure. La notation par un modèle n'est pas déterministe, donc deux centièmes d'écart relèvent du hasard et non d'une amélioration.
La sixième est de mesurer une seule fois au déploiement. Les documents changent, le modèle de l'éditeur change, et la qualité baisse discrètement, donc la mesure mérite d'être répétée de façon cyclique.
FAQ
À quoi sert exactement Ragas ?
À séparer deux causes de mauvaises réponses dans un système qui répond à partir de vos propres documents : une erreur de récupération et une erreur de génération. Quatre métriques montrent à quelle étape se situe le problème, ce qui se traduit directement en ce qu'il faut corriger.
Ragas est-il gratuit ?
Oui, la bibliothèque est open source et vous l'exécutez vous-même. Vous payez en revanche les appels de modèle que la notation utilise, et avec l'ensemble complet des métriques cela représente plusieurs appels par cas de test.
Combien de cas de test faut-il ?
Trente à cinquante suffisent pour détecter une différence entre variantes. La variété compte plus que le nombre : des questions simples, d'autres qui exigent de combiner des informations et d'autres auxquelles le système ne doit pas répondre.
En quoi Ragas diffère-t-il de Promptfoo ?
Ragas porte des métriques adaptées aux systèmes de récupération et dit à quelle étape se situe le problème. Promptfoo compare des variantes de prompts et de modèles et génère des sondes adverses. Ils fonctionnent mieux ensemble, car ils répondent à des questions différentes.
La mesure peut-elle être automatisée ?
Oui, la bibliothèque s'exécute dans un pipeline de build comme un test ordinaire. Vu le coût, une répartition sensée lance un petit jeu à chaque changement et le jeu complet avant une version, avec le seuil de réussite fixé au niveau du jeu plutôt que par cas.
La documentation se trouve sur le site du projet, et le code source dans le dépôt GitHub.