Braintrust est une plateforme hébergée pour mesurer la qualité des applications à base de modèles de langage : jeux de données de test, fonctions de scoring, traces d'appels, comparaisons d'expériences et un playground pour itérer sur les prompts. Le SDK est open source, la plateforme elle-même ne l'est pas, et la facture dépend du nombre de scores enregistrés et de la quantité de données envoyées. Cette asymétrie décide du moment où l'outil vaut le coup.
Ce que Braintrust fait réellement
Quatre choses distinctes se cachent derrière ce nom, et les mélanger est la source de confusion la plus fréquente au premier contact.
La première est une bibliothèque pour lancer des évaluations hors ligne. Tu définis un ensemble de cas, une fonction de tâche et une liste de scorers, et le SDK fait passer les données à travers tout cela et calcule les résultats. La deuxième est un logger de production, c'est-à-dire un enregistrement des vrais appels aux modèles avec spans, coût et latence. La troisième est le service lui-même : le stockage des expériences, le navigateur de traces, les graphiques, la comparaison côte à côte de deux exécutions et un playground où tu changes un prompt et vois immédiatement le résultat sur le même jeu de données. La quatrième est autoevals, une bibliothèque distincte de fonctions de scoring prêtes à l'emploi.
La distinction compte parce que les parties un, deux et quatre sont ouvertes et lisibles, alors que la partie trois est fermée et disponible uniquement comme service. Le SDK peut calculer les résultats en local, mais rien ne remplace le service quand tu veux consulter l'historique des expériences. Sans compte, il te reste ce que la console affiche.
La couche d'intégration est large. Le paquet npm exporte wrapOpenAI, wrapAnthropic, wrapMistral, wrapCohere, wrapGroq, wrapOllama, wrapGoogleGenAI, wrapAISDK et BraintrustMiddleware, plus des passerelles vers LangSmith via wrapLangSmithClient et wrapLangSmithTraceable. Côté Python, les équivalents s'appellent wrap_openai, wrap_anthropic, wrap_litellm, wrap_instructor et setup_pydantic_ai.
Un SDK ouvert et une plateforme fermée
La licence de ce projet paraît différente selon l'endroit où tu la vérifies, donc trois endroits demandent un examen séparé.
Les registres disent MIT. Le paquet npm braintrust en version 3.28.0 porte "license": "MIT" dans son package.json, et la roue PyPI de la version 0.34.0 déclare License-Expression: MIT dans son fichier METADATA. Il en va de même pour le paquet autoevals sur npm.
Les dépôts disent Apache 2.0. Le fichier LICENSE de braintrust-sdk-javascript et de braintrust-sdk-python contient le texte complet de l'Apache License, Version 2.0, January 2004, et non le texte MIT. Aucun des deux dépôts n'a de LICENSE.md. Les deux licences sont permissives et les conséquences pratiques de cet écart sont faibles, mais un scanner de dépendances signalera un conflit et ton service juridique demandera laquelle fait foi. Les fichiers eux-mêmes ne répondent pas à cette question.
Les paquets publiés n'embarquent aucun fichier de licence qui leur soit propre. L'archive npm contient un dossier licenses/ avec des licences tierces, précisément pour les forks de orchestrion-js, import-in-the-middle et require-in-the-middle, plus un fichier NOTICE décrivant ces forks, mais le texte de licence de Braintrust lui-même n'y figure pas. La roue PyPI ne déclare aucun champ License-File, et le dossier braintrust-0.34.0.dist-info ne contient aucun fichier de licence. Le code est pourtant bien réel : l'archive npm pèse environ 4,3 Mo et la roue Python contient 374 fichiers, dont framework.py, logger.py et oai.py.
La situation inverse dans autoevals 0.3.0 est intéressante. La roue PyPI contient bien autoevals-0.3.0.dist-info/licenses/LICENSE avec du texte MIT, mais son METADATA n'a ni champ License-Expression ni classifieur de licence, ce qui fait que l'API de PyPI renvoie license: null pour le paquet. Un scanner qui ne lit que les métadonnées traitera le paquet comme non licencié, bien que le fichier soit à l'intérieur. Le dépôt autoevals a un fichier LICENSE ordinaire avec du texte MIT signé BrainTrust Data, 2023.
La plateforme elle-même n'est pas open source et n'a pas de variante auto-hébergée sur les offres ordinaires. La page de tarifs ne mentionne le déploiement sur site ou hébergé que dans l'offre Enterprise avec un prix sur mesure. Ce n'est pas de l'auto-hébergement au sens où l'entend Langfuse, c'est un contrat.
Deux lignes de versions, deux dépôts
La numérotation est déroutante et ce n'est pas ta faute. Le paquet npm braintrust est en 3.28.0 tandis que le paquet PyPI du même nom est en 0.34.0. Les deux sont sortis le 17 août 2026, npm à 19 h 08 UTC et PyPI à 19 h 29 UTC, à environ une demi-heure d'écart.
Ce ne sont pas deux branches du même code, ni un miroir. Ce sont deux dépôts indépendants avec des cycles de versions séparés. Le champ repository du paquet npm pointe vers braintrustdata/braintrust-sdk-javascript avec le sous-dossier js, et project_urls sur PyPI pointe vers braintrustdata/braintrust-sdk-python. L'adresse historique github.com/braintrustdata/braintrust-sdk, qui circule encore dans la documentation et les articles de blog, répond désormais par une redirection 301 vers la variante JavaScript.
Les flux de versions confirment la séparation. Le flux du dépôt JavaScript liste des entrées au format braintrust@3.28.0, braintrust@3.27.0 du 4 août et braintrust@3.26.0 du 1er août, plus @braintrust/otel@0.3.0 publié séparément. Le flux du dépôt Python utilise un autre format : Python SDK v0.34.0, Python SDK v0.33.0 du 11 août, Python SDK v0.32.0 du 5 août.
La conséquence pratique est qu'un numéro de version dans un exemple de documentation ne te dit rien tant que tu n'as pas vérifié de quel langage il s'agit. J'ai vérifié séparément les plages de dépendances peer et il n'y a pas de piège ici : @braintrust/otel 0.3.0 déclare braintrust dans la plage >=1.0.0-0, donc il s'installe avec le cœur 3.28.0 sans conflit.
npm install braintrust autoevals
pip install "braintrust[cli]" autoevals
export BRAINTRUST_API_KEY=your_key
npx braintrust eval tutorial.eval.ts
braintrust eval eval_hello.pyUne première éval et la journalisation en production
La forme d'une évaluation est la même dans les deux langages et se réduit à trois arguments : data, task et scores. En Python, Eval accepte en plus experiment_name, trial_count, metadata, tags, max_concurrency, timeout, parameters, error_score_handler et no_send_logs, et le code asynchrone dispose d'une fonction distincte, EvalAsync.
from braintrust import Eval
from autoevals import Factuality, Levenshtein
def task(input, hooks):
hooks.metadata["prompt_version"] = "v3"
return "Hi " + input
Eval(
"Say Hi Bot",
data=lambda: [
{"input": "Foo", "expected": "Hi Foo"},
{"input": "Bar", "expected": "Hello Bar"},
],
task=task,
scores=[Levenshtein, Factuality],
trial_count=3,
max_concurrency=8,
tags=["regression"],
)En TypeScript, la signature est Eval(name, evaluator, reporterOrOpts?), et les champs de l'objet évaluateur sont en camelCase : data, task, scores, classifiers, experimentName, trialCount, metadata, tags, isPublic, update, maxConcurrency, timeout. La journalisation en production passe par initLogger avec les champs projectName, projectId, environment, asyncFlush, apiKey et appUrl.
import { initLogger, wrapOpenAI, wrapTraced, flush } from "braintrust";
import OpenAI from "openai";
initLogger({
projectName: "customer-support",
environment: "production",
asyncFlush: true,
});
const client = wrapOpenAI(new OpenAI());
export const answer = wrapTraced(async function answer(question: string) {
const res = await client.chat.completions.create({
model: "gpt-5-mini",
messages: [{ role: "user", content: question }],
});
return res.choices[0].message.content;
});
await flush();La clé est lue depuis la variable BRAINTRUST_API_KEY, et dans Node.js aussi depuis le fichier .env.braintrust le plus proche, dans le dossier courant ou un dossier parent. Le diagnostic s'active avec BRAINTRUST_DEBUG_LOG_LEVEL réglé sur error, warn, info ou debug. Le paquet Python s'enregistre comme plugin pytest via le point d'entrée pytest11, et le côté JavaScript propose wrapVitest et un export vitest-evals-reporter, donc les évaluations peuvent vivre dans ta suite de tests existante plutôt qu'à côté.
Autoevals sans compte Braintrust
C'est le fait le plus important pour quiconque craint le verrouillage chez un fournisseur. La bibliothèque autoevals est un paquet distinct sous licence MIT et fonctionne sans clé Braintrust. Sa fonction init accepte un argument client, qui peut être n'importe quel client compatible avec l'API OpenAI, plus default_model pour choisir le modèle juge. La valeur par défaut est gpt-5-mini.
Les scorers se répartissent en trois groupes. Les déterministes n'appellent aucun modèle et calculent en local : Levenshtein, NumericDiff, JSONDiff, ValidJSON, ExactMatch, ListContains. Les scorers juges appellent un modèle et renvoient un score avec une justification : Factuality, Battle, ClosedQA, Humor, Possible, Security, Sql, Summary, Translation. Le troisième groupe couvre les métriques de systèmes de récupération, reprises directement de la nomenclature familière de Ragas : Faithfulness, AnswerRelevancy, AnswerCorrectness, AnswerSimilarity, ContextPrecision, ContextRecall, ContextRelevancy, ContextEntityRecall.
from openai import OpenAI
from autoevals import init, Factuality, Levenshtein
init(client=OpenAI(base_url="http://localhost:11434/v1", api_key="none"),
default_model="gpt-5-mini")
result = Factuality()(
input="Who wrote The Doll?",
output="Boleslaw Prus",
expected="Boleslaw Prus",
)
print(result.name, result.score, result.metadata)
print(Levenshtein(output="cat", expected="cax").score)L'objet résultat a les champs name, score entre zéro et un ou null, et metadata. Les dépendances valent aussi la peine d'être connues, car elles diffèrent entre les langages. La version Python tire chevron, jsonschema, polyleven et pyyaml, le paquet openai n'étant présent que dans l'extra de développement. La version JavaScript a openai dans la plage ^6.7.0 comme dépendance de production stricte, donc il s'installe même quand tu n'utilises aucun modèle OpenAI. En plus, elle a besoin de zod dans la plage ^3.25.0 || ^4.0.0 comme dépendance peer.
Sur la question de la sortie : les scorers t'accompagnent, l'historique des expériences non.
Tarifs et unité de facturation
La page de tarifs s'affiche sans JavaScript, donc les chiffres ci-dessous viennent du HTML brut récupéré le 22 août 2026. La facturation est hybride et se compose de quatre lignes : des frais de plateforme fixes, des crédits de modèles, les données traitées mesurées en gigaoctets, et les scores comptés individuellement.
| Ligne | Starter | Pro | Enterprise |
|---|---|---|---|
| Frais de plateforme | 0 $/mois | 249 $/mois | sur mesure |
| Crédits de modèles | 10 $ | 249 $ | sur mesure |
| Données traitées | 1 Go, puis 4 $/Go | 5 Go, puis 3 $/Go | sur mesure |
| Scores | 10 k, puis 2,50 $ pour 1 000 | 50 k, puis 1,50 $ pour 1 000 | sur mesure |
| Rétention | 14 jours | 30 jours, puis 0,50 $/Go/mois jusqu'à 180 | sur mesure |
| Export S3 | non | non | oui |
| SAML SSO | non | non | oui |
| Déploiement sur site | non | non | oui |
Les définitions de la section des questions sont précises et elles comptent. Un score est chaque résultat individuel enregistré : « each time you record a score, the total number of scores counted towards your monthly usage increases by one ». Les données traitées désignent les données envoyées à Braintrust, pas l'espace de stockage occupé, et une fois le quota dépassé, supprimer des données ne fait pas baisser le compteur.
Prenons une équipe qui exécute mille scores par jour, soit trente mille par mois sur un mois de trente jours. Sur Starter, dix mille sont inclus et les vingt mille restants coûtent vingt fois 2,50 $, soit 50 $, pour des frais de plateforme nuls. Sur Pro, trente mille tiennent dans l'allocation de cinquante mille, donc les scores ne coûtent rien, mais les frais de plateforme sont de 249 $. À ce volume, Starter est cinq fois moins cher. Le point d'équilibre sur la seule ligne des scores tombe à 199 000 scores par mois, soit environ 6 633 par jour : Starter paie 2,50 $ fois 189, Pro paie 249 $ plus 1,50 $ fois 149, et les deux arrivent à 472,50 $. Dit clairement comme une réserve : ce calcul ne couvre que la ligne des scores. Les données traitées ne peuvent pas être converties sans connaître la taille d'une seule trace, donc je ne les devine volontairement pas.
Ce qui se passe après le dépassement du quota de l'offre gratuite n'est décrit qu'en partie. La section des questions dit que Starter ne demande pas de carte bancaire et que l'usage au-delà du quota s'active avec un interrupteur « on-demand usage » dans les paramètres de facturation, ou en passant à Pro. Ce qui cesse exactement de fonctionner si tu laisses cet interrupteur désactivé n'est pas précisé sur la page de tarifs.
Une divergence sur cette même page. La carte de l'offre et le tableau des fonctionnalités donnent le nombre d'utilisateurs comme illimité sur les trois offres, tandis que la réponse à « Which plan is right for me? » décrit Pro comme le mieux adapté aux équipes allant jusqu'à cinq personnes. Les deux chiffres viennent du même document et ne sont pas réconciliés. Le programme pour startups offre 6 à 12 mois de Pro gratuitement, à condition d'être un nouveau client ayant levé au moins 100 K$. Aucun prix annuel n'est publié, donc il n'y a pas de calcul annuel à vérifier.
Braintrust face à Langfuse, LangSmith, Promptfoo et Ragas
Cette collection couvre déjà quatre outils voisins, et les différences entre eux se ramènent à deux axes : ce qui est ouvert, et où vivent les données.
| Outil | Code de la plateforme | Option auto-hébergée | Facturation | Accent principal |
|---|---|---|---|---|
| Braintrust | fermé, SDK MIT | Enterprise seulement | scores, données, frais fixes | expériences et playground |
| Langfuse | MIT | oui, sans négociation | événements cloud | traçage et prompts |
| LangSmith | fermé | offre pour grandes organisations | traces cloud | écosystème LangChain |
| Promptfoo | MIT | oui, en local sans compte | aucune pour la version ouverte | tests depuis un fichier de config |
| Ragas | Apache 2.0 | oui, une bibliothèque | aucune | métriques de systèmes RAG |
Promptfoo est l'opposé de Braintrust sur le coût d'entrée : tu écris un fichier de config, tu le lances en local et tu ne crées aucun compte. Langfuse est le choix quand les données doivent rester sur ta propre infrastructure sans discussion commerciale. LangSmith a du sens quand tu es de toute façon sur LangChain. Ragas est une bibliothèque de métriques plutôt qu'une plateforme et résout un problème plus étroit.
Braintrust l'emporte dans un scénario : quand plus de personnes que l'auteur du code travaillent sur le prompt. Un playground où un product manager change un prompt et voit le résultat sur le même jeu de données, plus une comparaison côte à côte de deux expériences, ce sont des choses que tu ne construiras pas en une demi-journée. Pour un projet à une seule personne où tu fais tout depuis le terminal de toute façon, c'est excessif.
Erreurs courantes
La première est de chercher le dépôt à l'ancienne adresse. braintrustdata/braintrust-sdk est aujourd'hui une redirection et le code Python vit ailleurs.
La deuxième est de comparer des numéros de version entre langages. Un trois sur npm et un zéro virgule quelque chose sur PyPI décrivent le même produit la même semaine. En lisant un changelog, vérifie toujours de quel flux il s'agit.
La troisième est de supposer que, parce que le paquet est MIT, la plateforme l'est aussi. Le SDK et autoevals sont ouverts. Le stockage des expériences, l'interface et le playground ne le sont pas.
La quatrième est d'oublier flush avec les écritures asynchrones. Avec asyncFlush à true, une fonction dans un environnement serverless peut se terminer avant que la trace n'ait été envoyée.
La cinquième est de chiffrer le service uniquement selon les scores. Les données traitées croissent indépendamment, et une fois le quota dépassé, supprimer des données ne change rien, car le compteur est cumulatif.
La sixième est de se fier à la rétention. Quatorze jours sur l'offre gratuite signifient qu'une comparaison avec une expérience vieille de trois semaines ne sera pas possible, et l'export S3 est une fonctionnalité Enterprise. Si l'historique compte, garde ta propre copie des résultats dans le dépôt à côté.
FAQ
Braintrust est-il open source ?
En partie. Les SDK npm et PyPI et la bibliothèque autoevals sont ouverts, même si les registres déclarent MIT alors que les fichiers LICENSE des dépôts contiennent du texte Apache 2.0. La plateforme, c'est-à-dire le stockage des expériences, l'interface et le playground, est fermée et disponible comme service.
Peut-on utiliser autoevals sans compte Braintrust ?
Oui. Le paquet est indépendant, et sa fonction init accepte n'importe quel client compatible avec l'API OpenAI, y compris un client local. Les scorers déterministes comme Levenshtein ou JSONDiff n'ont besoin d'aucun modèle.
Pourquoi npm est-il en 3.28.0 et PyPI en 0.34.0 ?
Parce que ce sont deux dépôts distincts avec des cycles de versions indépendants, malgré un nom de paquet identique. Les versions du 17 août 2026 sont tombées le même jour à une demi-heure d'écart, mais les numéros n'ont jamais été synchronisés.
Que coûtent mille scores par jour ?
Sur Starter, 50 $ par mois pour les seuls scores, car dix mille des trente mille sont inclus et le reste coûte 2,50 $ pour mille. Sur Pro, les scores tiennent dans l'allocation mais tu paies les 249 $ de frais de plateforme. Les données traitées s'y ajoutent et ne peuvent pas être estimées sans connaître la taille d'une trace.
Peut-on faire tourner Braintrust sur sa propre infrastructure ?
Pas sur Starter ni sur Pro. La page de tarifs ne mentionne le déploiement sur site ou hébergé que dans l'offre Enterprise avec un prix sur mesure, ce qui signifie un contrat plutôt que de tirer une image.
Quand autre chose est-il un meilleur choix ?
Quand tu travailles seul depuis le terminal, Promptfoo est plus simple et moins cher. Quand les données ne peuvent pas quitter ton infrastructure sans négociation, choisis Langfuse. Quand tu n'évalues qu'un système de récupération, Ragas en tant que bibliothèque suffit.