Weave est une couche d'observabilité pour les applications construites sur des modèles de langage, réalisée par Weights & Biases. Elle enregistre le déroulement de chaque appel, exécute des évaluations sur des jeux de tests et compare les résultats entre les versions.
Sa valeur pratique se voit sur une question difficile à trancher sans outillage : le changement de prompt que vous avez fait lundi a-t-il amélioré l'application, ou a-t-il seulement déplacé le problème. Sans jeu de tests conservé et sans résultats avant et après, c'est une affaire d'opinion.
Deux choses sous un même nom
Avant de chercher de la documentation, séparez deux produits de la même entreprise, car les confondre est la source de confusion la plus courante.
Le produit plus ancien suit l'entraînement des modèles : exécutions d'entraînement, courbes de perte, comparaisons d'hyperparamètres, versionnement des jeux de données et des poids. C'est un outil pour les personnes qui entraînent des modèles.
Weave est plus récent et concerne autre chose : les applications qui appellent des modèles. Il trace les appels, les prompts, les réponses, les invocations d'outils et les coûts, et ajoute des évaluations par-dessus. C'est un outil pour les personnes qui construisent des produits sur des modèles existants.
La distinction compte en pratique, car les paquets, la documentation et les concepts sont séparés. Un guide qui décrit des exécutions d'entraînement ne vous aidera pas à tracer un agent, même si les deux portent des noms proches et vivent dans la même console.
Un changement de propriétaire
Weights & Biases n'est plus une entreprise indépendante. CoreWeave, un fournisseur d'infrastructure de calcul pour l'intelligence artificielle, a annoncé le rachat en mars 2025 et l'a finalisé le 5 mai de la même année.
Pour un utilisateur, ce qui change surtout, c'est le contexte dans lequel le produit évolue. Un outil d'observabilité est devenu une partie de l'offre d'un fournisseur de calcul, à côté de crédits pour des environnements d'exécution et d'une inférence facturée au token.
Cela joue dans les deux sens. Une équipe qui utilise déjà cette infrastructure obtient une facturation et des intégrations cohérentes. Une équipe qui ne veut que de l'observabilité, sans intention d'acheter du calcul, se lie à un fournisseur dont l'activité principale est autre chose.
Gardez cela en tête quand vous planifiez sur des années. La direction de l'outil suivra désormais ce qui aide à vendre du calcul, et pas nécessairement ce dont a besoin quelqu'un qui construit une application sur les modèles d'autrui.
L'instrumentation par décorateur
La façon de l'attacher est la plus simple de toute cette catégorie d'outils, et c'est un véritable avantage.
import weave
weave.init("support-assistant")
@weave.op()
def retrieve_documents(question: str) -> list[str]:
return store.search(question, k=5)
@weave.op()
def answer(question: str) -> str:
chunks = retrieve_documents(question)
return model.call(question, chunks)Un décorateur sur une fonction suffit pour que son entrée, sa sortie, sa durée et ses erreurs arrivent dans la console. Les appels imbriqués s'organisent en arbre, donc vous voyez qu'une réponse découle de tels chunks plutôt que d'autres.
Les appels aux fournisseurs de modèles populaires sont capturés automatiquement une fois l'initialisation exécutée, donc la consommation de tokens et le coût apparaissent sans rien ajouter.
Cette simplicité a un coût à connaître. Le format d'enregistrement est propriétaire, donc changer d'outil oblige à repasser sur chaque endroit décoré. Sur un projet court, cela ne signifie rien ; sur un système maintenu pendant des années, cela mérite d'être chiffré.
Il existe pourtant une seconde voie que les anciens articles sautent : Weave accepte aussi les traces au format OpenTelemetry. Sur le cloud multi-tenant, vous les envoyez par POST à https://trace.wandb.ai/otel/v1/traces, vous vous authentifiez avec l'en-tête wandb-api-key, et vous les acheminez avec les attributs de ressource wandb.entity et wandb.project. L'instrumentation peut venir d'OpenInference ou d'OpenLLMetry, et les traces peuvent passer par un collecteur OpenTelemetry. Si la portabilité compte pour vous, instrumentez avec le standard et traitez le décorateur comme un raccourci pratique plutôt que comme la seule entrée.
Évaluations et scorers
La seconde moitié de l'outil concerne le jugement plutôt que l'enregistrement.
import weave
from weave import Evaluation
dataset = [
{"question": "What is the delivery time?", "expected": "3 business days"},
{"question": "Can I return an item?", "expected": "14 days"},
]
@weave.op()
def score_accuracy(expected: str, output: str) -> dict:
return {"correct": expected.lower() in output.lower()}
evaluation = Evaluation(dataset=dataset, scorers=[score_accuracy])
await evaluation.evaluate(answer)Un scorer est une fonction ordinaire qui renvoie un dictionnaire, donc il peut tout faire : comparaison exacte, correspondance approximative, vérification de format, appel à un modèle juge. Cette dernière variante est la plus courante avec des réponses libres et la moins digne de confiance sans vérification.
Voici la question à poser à chaque outil de cette catégorie : si un modèle juge, qui juge le juge. La réponse est toujours la même et toujours sautée. Prenez cent cas, étiquetez-les à la main, comparez avec le scorer et calculez l'accord. Sans ce chiffre, un graphique de qualité trace quelque chose que vous ne connaissez pas.
Les résultats d'évaluation sont versionnés, donc comparer deux exécutions montre non seulement la moyenne mais aussi quels cas précis se sont améliorés et lesquels ont régressé. Cette seconde colonne compte davantage, car une moyenne qui monte alors qu'un cas limite important casse est un changement pour le pire.
Notez que cette même paire, un ensemble de cas et une mesure de qualité, est ce que l'optimiseur de prompts de DSPy prend en entrée. Là, vous n'éditez pas l'instruction à la main : vous décrivez ce qui entre et ce qui sort, et la bibliothèque choisit le texte du prompt selon votre mesure. En allant dans cette direction, l'évaluation cesse d'être un rapport lu après coup et devient une fonction objectif, et l'accord entre le scorer et les étiquettes humaines compte alors double. Une erreur dans la mesure ne se contente plus de fausser un graphique ; elle oriente l'optimisation dans le mauvais sens.
Une facturation fondée sur l'ingestion
Le modèle de tarification distingue cet outil de ses concurrents et mérite d'être compris avant que le trafic de production ne démarre.
Au lieu de compter les traces ou les appels, la facturation suit le volume de données envoyées. La conséquence est directe : le coût dépend de la verbosité de vos traces plutôt que de leur nombre.
Pour une application typique de questions-réponses avec un prompt court, la différence est faible. Pour une application qui recherche dans des documents, elle est fondamentale, car chaque appel traîne derrière lui plusieurs chunks de texte, et ces chunks sont souvent plus longs que la question et la réponse réunies.
La conclusion pratique : dans une telle application, consignez des identifiants et des extraits des chunks récupérés plutôt que leur texte complet, sauf si vous avez besoin du texte complet pour le diagnostic. L'écart de facturation est souvent de plusieurs fois alors que la valeur diagnostique baisse peu, car un chunk peut être récupéré dans le magasin à partir de son identifiant.
La grille tarifaire du fournisseur le dit clairement, et trois chiffres valent d'être connus avant que le trafic de production ne démarre.
| Forfait | Quota mensuel | Au-delà |
|---|---|---|
| Free | 1 Go de données, 5 Go de stockage | Rien n'est mesuré en plus, vous passez à un forfait payant |
| Pro, à partir de 60 USD par mois | 1,5 Go de données, 100 Go de stockage | 0,10 USD par mégaoctet de données, 0,03 USD par gigaoctet de stockage |
| Enterprise | Fixé dans le contrat | Remises de volume avec un engagement annuel |
Le tarif de dépassement paraît inoffensif jusqu'à ce qu'on le convertisse en gigaoctets : cent dollars par gigaoctet au-delà du quota. Une application qui consigne des chunks complets à chaque requête dépasse un gigaoctet et demi plus vite que l'intuition ne le suggère, donc c'est la ligne à estimer avant le déploiement plutôt qu'après la première facture.
Chiffrez séparément la rétention. Les traces qui contiennent le contenu complet grandissent linéairement, et sans politique de suppression, la ligne du stockage après un an peut dépasser celle de la collecte.
Scorers à base de classes et jugements composés
Une fonction simple suffit pour des comparaisons sans ambiguïté ; les jugements qui demandent un état ou une configuration appellent la variante à base de classes.
La différence est pratique. Un scorer qui vérifie une correspondance de motif n'a besoin de rien de plus que l'entrée et la sortie. Un scorer qui appelle un modèle juge a besoin d'un client, d'un prompt de jugement, d'un seuil et en général d'une gestion des nouvelles tentatives pour les erreurs réseau. Garder cela dans une fonction finit en variables globales.
Pour les jugements fondés sur un modèle, trois points demandent du soin. Le prompt de jugement doit imposer une structure de réponse fixe, sinon l'analyse du résultat devient elle-même une source d'erreurs. Le modèle juge doit être moins cher que celui qui est jugé, car vous le lancez sur tout l'ensemble à chaque changement. Et le jugement doit renvoyer une justification plutôt qu'un nombre seul, car sans elle vous ne pouvez pas savoir si c'est le scorer ou l'application qui s'est trompé.
La notation sur plusieurs aspects est une question à part. Un seul nombre qui décrit la qualité d'une réponse cache en général plus qu'il ne montre, car une réponse peut être exacte et trop longue, ou correcte et écrite sur le mauvais ton. Plusieurs scorers séparés, chacun mesurant une chose, produisent un tableau sur lequel on peut décider.
Que faire des résultats
Collecter des données est facile ; les transformer en changements demande une routine que l'outil n'imposera pas.
Un rythme sensé ressemble à ceci. Une évaluation qui s'exécute automatiquement à chaque changement du prompt système ou des paramètres de récupération, avec le résultat visible avant la fusion des changements. C'est le seul moment où l'on peut arrêter une régression à moindre coût qu'après le déploiement.
La deuxième routine concerne les cas qui ont cassé. Comparer deux exécutions les montre directement, et les passer en revue prend quinze minutes et en dit plus qu'une moyenne. Un changement qui améliore quatre-vingt-dix cas et en casse dix est bon ou mauvais selon lesquels sont ces dix.
La troisième concerne le trafic de production. Les traces de production sont une source de cas qu'aucun membre de l'équipe n'aurait imaginés, donc une fois par semaine il vaut la peine de passer en revue les moins bien notées et d'en transférer quelques-unes dans le jeu de tests.
Consignez aussi la note que donnent les utilisateurs, si l'interface en recueille une. Un pouce vers le bas rattaché à une trace donne une étiquette qu'aucun scorer ne remplace, et après quelques centaines de cas, vous pouvez vérifier à quel point les notes automatiques correspondent à ce que les gens ont ressenti.
Weave face aux alternatives
| Option | Instrumentation | Où se trouvent les données | À choisir quand |
|---|---|---|---|
| Weave | Décorateur ou OpenTelemetry | Cloud du fournisseur | L'équipe utilise déjà le reste de cette plateforme |
| Arize Phoenix | OpenTelemetry | Chez vous ou dans le cloud | Les données ne peuvent pas quitter votre infrastructure |
| Langfuse | SDK propre plus OpenTelemetry | Un choix entre les deux | Vous voulez les deux options |
| LangSmith | SDK propre | Cloud du fournisseur | Vous travaillez dans l'écosystème LangChain |
Le principal argument pour la première ligne est organisationnel. Une équipe qui entraîne déjà des modèles sur cette plateforme, avec ses exécutions, ses jeux de données et ses permissions, obtient l'observabilité des applications au même endroit, sous la même facturation et les mêmes comptes.
L'argument contre se résume surtout à une chose : les données se trouvent chez le fournisseur, ce qui, face à des exigences interdisant que le texte des prompts sorte, est décisif et pousse le choix vers des options exécutées en local. Le reproche sur le format d'instrumentation fermé a perdu de son tranchant avec l'arrivée de l'entrée OpenTelemetry, car instrumenter avec le standard fait passer le récepteur de traces dans la configuration plutôt que dans le code.
Le déployer avec bon sens
Quelques points font gagner du temps si l'outil doit rester dans un projet.
Commencez par une seule fonction. Un décorateur sur la route qui traite une requête montre en quelques minutes si les données enregistrées sont celles dont vous avez besoin. Instrumenter toute l'application avant de le vérifier est un travail fait à l'aveugle.
Décidez de ce qui entre dans l'enregistrement. Les prompts et les réponses portent en général des données d'utilisateurs, donc les traces deviennent un jeu de plus régi par les mêmes règles que les données de production. Masquer les données sensibles avant l'envoi coûte moins cher que de les expliquer ensuite.
Séparez les environnements en projets distincts. Des traces de développement mêlées à celles de production ruinent toutes les statistiques et augmentent la facture de données pour une matière que personne ne regarde.
Construisez un jeu de tests à partir de cas réels. La source la moins chère, ce sont les conversations qui se sont mal passées : chaque cas corrigé a sa place dans le jeu. Au bout d'un trimestre, vous détenez un jeu qui reflète la réalité plutôt que les hypothèses de l'équipe.
Le dernier point est le rythme. Une évaluation lancée à chaque changement de prompt, avec le résultat visible dans la revue de code, change davantage la façon de travailler d'une équipe que n'importe quel graphique. Une évaluation lancée une fois par trimestre est un rituel.
Erreurs courantes
La première est de confondre les deux produits de l'entreprise. La documentation des exécutions d'entraînement ne concerne pas le traçage d'applications, même si les deux partagent un nom et une console.
La deuxième est de consigner des chunks complets dans une application de recherche de documents. Avec une facturation fondée sur l'ingestion, c'est la plus grosse ligne, et les identifiants la remplacent en général.
La troisième est de faire confiance à un scorer fondé sur un modèle sans vérifier l'accord avec des étiquettes humaines. Un graphique construit sur un tel scorer montre quelque chose que vous ne connaissez pas.
La quatrième est d'instrumenter le seul appel au modèle. Les plus grands retards et les erreurs les plus fréquentes se trouvent dans la récupération et dans les outils.
La cinquième est de n'avoir aucune politique de rétention. Les traces croissent linéairement et au bout d'un an la ligne du stockage peut dépasser le coût de collecte.
La sixième est d'envoyer des données personnelles non masquées. Les traces atterrissent chez un fournisseur externe, donc le contenu des prompts relève des mêmes exigences que les données d'une base de production.
La septième est de réduire la qualité à un seul nombre. Une moyenne issue d'un seul scorer cache les cas où une réponse est factuellement juste et inacceptable pour une autre raison, et ce sont exactement ceux que les utilisateurs signalent.
La huitième est de lancer les évaluations seulement après le déploiement. Un résultat avant la fusion des changements permet de revenir en arrière d'un seul geste ; un résultat après le déploiement signifie expliquer une régression que quelqu'un a déjà remarquée.
FAQ
En quoi Weave diffère-t-il du produit plus ancien de l'entreprise ?
Par son but. Le plus ancien suit l'entraînement des modèles, c'est-à-dire les exécutions d'entraînement et les comparaisons d'hyperparamètres. Weave concerne les applications qui appellent des modèles existants : il trace les prompts, les réponses, les appels d'outils et les coûts, et exécute des évaluations.
Weights & Biases est-elle encore une entreprise indépendante ?
Non. CoreWeave, un fournisseur d'infrastructure de calcul, a annoncé le rachat en mars 2025 et l'a finalisé le 5 mai de la même année, donc l'outil fait désormais partie de l'offre d'un fournisseur de calcul.
Que paie-t-on exactement ?
La facturation repose sur le volume de données envoyées plutôt que sur le nombre de traces, plus des frais de stockage. Le forfait gratuit couvre un gigaoctet de données par mois, le forfait Pro à partir de soixante dollars en donne un et demi, et le dépassement coûte dix centimes par mégaoctet. Cela signifie que des traces verbeuses coûtent plus cher que des traces nombreuses, et que les applications de recherche de documents sont les plus chères, à condition de consigner le texte complet des chunks.
Weave peut-il tourner sur ma propre infrastructure ?
La configuration de base suppose le cloud du fournisseur, et les options auto-hébergées dépendent du forfait et méritent d'être confirmées directement. Si le traitement local est une exigence stricte, Arize Phoenix tourne sur votre propre serveur sans négociation.
Dois-je utiliser une bibliothèque particulière ?
Non. L'instrumentation repose sur un décorateur appliqué à vos fonctions, donc elle fonctionne quelle que soit la façon dont vous appelez le modèle. Les appels aux fournisseurs populaires sont en plus capturés automatiquement.
La documentation se trouve sur le site du produit, et le code dans le dépôt GitHub.