La plupart des entreprises de ce domaine se disputent la course aux modèles conversationnels. Cohere a pris un autre chemin et a bâti sa position sur trois choses moins spectaculaires : les embeddings, le reranking et les déploiements dans l'infrastructure propre du client.
Cela signifie que ses produits sont rarement ce qu'il vous faut pour construire un assistant conversationnel et souvent ce qu'il vous faut quand un assistant renvoie des fragments à côté de la question sans que personne sache pourquoi.
Le reranking
C'est le produit le plus distinctif de l'entreprise et il mérite son propre traitement, car il résout un problème précis.
La recherche vectorielle renvoie des fragments sémantiquement proches d'une question, mais la similarité vectorielle est une approximation. Un modèle de reranking évalue le couple question et fragment ensemble, donc il voit plus que la distance entre des vecteurs.
import cohere
client = cohere.ClientV2(api_key=os.environ["COHERE_API_KEY"])
results = client.rerank(
model="rerank-v3.5",
query="how do I download an invoice copy",
documents=fragments_from_store,
top_n=5,
)L'agencement est le suivant : la base de données vectorielle renvoie vingt candidats, le reranker note chacun, et les cinq meilleurs arrivent dans le prompt. Cela coûte un appel supplémentaire et améliore généralement la précision de façon sensible.
Mesurez cependant si cela améliore vraiment les choses dans votre cas. Sur trente vraies questions, comparez la précision avant et après. Si la différence est faible, vous économisez un appel et la latence, et cela vaut pour chaque requête.
Une alternative moins chère augmente le nombre de fragments renvoyés tout en resserrant les filtres. Souvent, le problème ne vient pas de l'ordre mais de l'absence du bon fragment dans l'ensemble renvoyé, et alors le reranking n'a rien à corriger.
Embeddings et langues
Les modèles d'embeddings de ce fournisseur se comportent bien en dehors de l'anglais, et c'est leur avantage pratique.
Un modèle entraîné surtout sur des données en anglais renvoie des fragments moins bien appariés dans d'autres langues, et le diagnostic induit en erreur, car cela ressemble à une faute de la base de données vectorielle. Un modèle multilingue supprime cette cause et c'est généralement l'amélioration la moins chère de la qualité de recherche.
embeddings = client.embed(
model="embed-v4.0",
texts=fragments,
input_type="search_document",
)Le paramètre de type d'entrée compte ici et on le saute souvent. Les embeddings pour les documents et pour les requêtes sont calculés différemment, car ils jouent des rôles différents. Utiliser le même type pour les deux baisse la précision et rien ne le signale.
Rappelez-vous aussi que changer de modèle d'embeddings exige de recalculer toute la collection. Les vecteurs de modèles différents ne sont pas comparables, donc testez deux modèles sur un échantillon plutôt qu'après avoir indexé un million de fragments.
Les modèles de nouvelle génération gèrent aussi les images dans le même espace que le texte, ce qui permet de chercher dans des documents contenant des graphiques et des captures d'écran sans traitement séparé.
Modèles génératifs
Au-delà de la recherche, le fournisseur propose des modèles génératifs conçus pour travailler avec des documents et pour appeler des outils.
Leur trait distinctif est les citations intégrées. Un modèle qui répond à partir de fragments fournis renvoie aussi de quel fragment provient chaque phrase. Cela résout un problème que d'autres modèles vous obligent à contourner avec des instructions et de l'analyse de texte.
Dans les applications d'entreprise, cette propriété est parfois décisive, car une réponse sans source est inutile dans de nombreux contextes. Un utilisateur doit pouvoir vérifier d'où vient l'information, et avec des documents internes c'est souvent une exigence formelle.
Pour être juste, les modèles du fournisseur ne mènent pas les benchmarks de qualité générale. Leur intérêt réside dans l'association d'une qualité correcte, de citations, d'un prix inférieur à celui des leaders et de la possibilité d'un déploiement dans votre propre infrastructure.
Déploiement dans votre propre infrastructure
C'est le second pilier de la position de cette entreprise et la raison pour laquelle elle apparaît dans les discussions sur les déploiements dans la banque et l'administration.
Les modèles peuvent tourner dans le cloud privé d'un client ou chez les grands fournisseurs cloud, avec un contrôle des clés conservé. Les données ne quittent alors jamais la région choisie, ce qui, sous des exigences de conformité, est une condition plutôt qu'une préférence.
Il faut distinguer ici deux choses, car elles se facturent différemment. Les instances dédiées exploitées par le fournisseur ont un tarif horaire et mensuel publié : de 4 dollars de l'heure pour le niveau de performance inférieur du modèle d'embeddings à 10 dollars de l'heure pour le niveau supérieur du reranker, soit de 2 500 à 6 500 dollars par mois et par instance. Faire tourner les modèles dans votre propre infrastructure relève d'un accord séparé et d'un devis personnalisé.
Une plateforme d'agents pour les déploiements internes est aussi disponible, qui combine la recherche dans les documents de l'entreprise et l'appel d'outils. Les prix de cette partie ne sont pas publiés, donc la planification budgétaire passe par un échange commercial.
Cette opacité est un vrai inconvénient. Comparer le coût aux alternatives demande alors du temps et plusieurs réunions, alors qu'avec les fournisseurs qui publient leurs prix une estimation prend un quart d'heure.
Le pipeline de recherche complet
Il est utile de voir comment ces trois produits forment un seul chemin, car c'est seulement alors que l'on comprend où chacun s'insère.
vector = client.embed(
model="embed-v4.0",
texts=[question],
input_type="search_query",
).embeddings.float[0]
candidates = store.search(vector, limit=25, filter={"language": "en"})
best = client.rerank(
model="rerank-v3.5",
query=question,
documents=[c.content for c in candidates],
top_n=5,
)
answer = client.chat(
model="command-a-03-2025",
messages=[{"role": "user", "content": question}],
documents=[candidates[r.index].content for r in best.results],
)Quatre étapes, chacune remplaçable séparément. Les embeddings transforment la question en vecteur, une base de données vectorielle comme Qdrant renvoie des candidats, le reranker choisit les meilleurs, et le modèle génératif compose une réponse avec citations.
Le nombre de candidats avant le reranking est un paramètre sur lequel il faut réfléchir. Vingt-cinq donne au reranker de quoi choisir et n'augmente aucun coût, puisque la facturation se fait par recherche. Le porter à cent améliore rarement le résultat et allonge le temps de réponse.
Le filtre sur les métadonnées s'applique avant la recherche, donc il restreint l'ensemble au lieu de tamiser les résultats après coup. Dans une application multi-clients, c'est une question de correction plutôt que de précision, car l'absence d'un filtre sur le propriétaire signifie une fuite de données.
Tarifs
| Produit | Coût indicatif | Remarques |
|---|---|---|
| Embeddings | 0,12 USD par million de tokens de texte | Images facturées séparément à 0,47 USD par million |
| Reranking | 2,00 ou 2,50 USD par millier de recherches, selon la variante du modèle | Une recherche est une requête avec jusqu'à cent documents |
| Modèles génératifs | quelques dollars par million de tokens | Inférieur aux tarifs des leaders |
| Instances dédiées | 4 à 10 USD par heure et par instance | Facturé à l'heure ou au mois |
| Déploiement dans votre infrastructure | devis individuel | Aucun prix publié |
Facturer le reranking par recherche plutôt que par token est inhabituel ici et à retenir pour les estimations. Une recherche, cependant, signifie une requête avec au plus cent documents, et un document de plus de cinq cents tokens est découpé par le fournisseur en morceaux comptés comme des documents séparés. Jusqu'à cent candidats, la facture suit donc le nombre de requêtes, et au-delà de ce seuil elle monte par paliers, car un seul appel compte pour plusieurs recherches.
Quand on construit une recherche de documents, le plus gros coût ponctuel est généralement l'indexation, c'est-à-dire le calcul des embeddings pour toute la base. Un million de fragments à ce tarif représente un coût de quelques dizaines de dollars, et changer de modèle le fait revenir.
Les tarifs sont ajustés, donc vérifiez la grille actuelle à la source avant de budgétiser une année plutôt que de vous fier aux articles.
Les citations en pratique
Les citations intégrées sont une fonctionnalité facile à manquer dans une description et qui change l'allure du produit fini.
Le modèle renvoie une réponse avec l'indication du passage qui s'appuie sur quel document. Dans une interface, cela devient des liens à côté des phrases, ce qui permet à un utilisateur de vérifier une source sans rien demander à personne.
La valeur est double. D'abord, un utilisateur fait davantage confiance à une réponse quand il voit d'où elle vient. Ensuite, et c'est plus important, les citations révèlent le cas où le modèle a répondu correctement à partir de ses propres connaissances plutôt qu'à partir des documents fournis. Une réponse attribuée à aucun fragment est un signal d'alerte.
Rappelez-vous cependant qu'une citation confirme l'origine d'une phrase et non sa vérité. Si le document source est périmé, la réponse sera correctement citée et fausse. Cela plaide pour garder l'index à jour plutôt que pour se relâcher.
Là où les réponses parviennent à des clients, affichez toujours les citations, même si l'interface s'en trouve plus dense. Une réponse sans source et une réponse avec source sont deux produits différents du point de vue de la confiance.
Quand ne pas y recourir
Il faut dire clairement quand ce fournisseur est le mauvais choix, car la liste est précise.
Pour construire un assistant conversationnel sans élément de recherche, d'autres fournisseurs ont des modèles plus solides. Si la tâche est de raisonner, d'écrire du code ou de tenir une longue conversation, l'avantage est ailleurs.
Sur un prototype où le temps jusqu'à un premier résultat compte, ajouter un fournisseur séparé pour les embeddings et le reranking complique la configuration. Il est alors plus simple de tout prendre chez un seul fournisseur et de revenir à l'optimisation quand il y aura quelque chose à optimiser.
Avec un ensemble de quelques milliers de fragments, le reranking fait rarement une différence, car la recherche vectorielle tombe de toute façon juste dans un petit ensemble. Il se justifie à des dizaines de milliers, où les candidats similaires sont nombreux.
Cohere face aux alternatives
| Option | Point fort | Faiblesse | À choisir quand |
|---|---|---|---|
| Cohere | Reranking, embeddings multilingues, déploiement privé | Modèles génératifs hors tête de peloton, prix opaques sur une partie de l'offre | Recherche de documents, exigences de conformité |
| OpenAI | Le plus grand écosystème, bons embeddings | Pas de déploiement dans votre infrastructure | Projet qui s'appuie sur des outils prêts à l'emploi |
| Mistral | Licence permissive, poids disponibles | Moins d'outils de recherche | Exigence d'indépendance totale |
| Modèles locaux | Aucun coût par token, les données restent chez vous | Qualité d'embeddings inférieure, demande du matériel | Gros volume avec votre propre infrastructure |
La conclusion pratique est qu'il n'est pas nécessaire de choisir ces fournisseurs de façon exclusive. Un agencement courant prend les embeddings et le reranking chez l'un et la génération de réponses chez un autre, car ce sont trois étapes indépendantes et chacune peut être pourvue séparément.
Cette répartition a aussi un avantage pratique. Changer de modèle génératif n'exige aucun recalcul d'embeddings, et changer de modèle d'embeddings ne touche pas la couche de génération. Avec un seul fournisseur pour tout, la migration devient plus lourde qu'elle ne devrait l'être.
Déterminez cependant si répartir sur trois fournisseurs coûte plus que cela n'apporte. Trois contrats, trois clés, trois endroits à vérifier pendant une panne et trois grilles de prix à suivre représentent une vraie charge opérationnelle. Sur un petit projet, un seul fournisseur pour tout est souvent moins cher à maintenir, même si chaque élément pris séparément est moins bon.
La ligne passe là où la qualité de la recherche commence à décider de l'utilité du produit. Dans un assistant qui répond à des questions sur de la documentation, de mauvais fragments sont un problème visible de l'utilisateur à chaque question, donc optimiser cette étape rapporte plus vite que le coût de maintenance d'un second fournisseur.
Erreurs courantes
La première est de sauter le type d'entrée en calculant les embeddings. Les documents et les requêtes demandent des types différents, et utiliser le même pour les deux baisse la précision sans aucun message.
La deuxième est d'ajouter du reranking sans mesurer. C'est un appel supplémentaire à chaque requête, donc vérifiez si le gain de précision justifie la latence et le coût.
La troisième est de changer de modèle d'embeddings sans recalculer la collection. Les anciens et les nouveaux vecteurs se trouvent dans des espaces différents, donc les résultats deviennent aléatoires et rien ne le signale.
La quatrième est de comparer les modèles sur les benchmarks d'autrui. En dehors de l'anglais, les différences inversent parfois celles mesurées sur des données en anglais, donc un test sur vos propres fragments est obligatoire.
La cinquième est de budgétiser sans tenir compte de l'indexation. Le coût ponctuel de la première indexation est parfois supérieur à un mois de fonctionnement du système.
La sixième est de supposer que de meilleures réponses découleront d'un changement de modèle génératif. Si le bon fragment est absent du contexte, aucun modèle ne répond correctement, et le diagnostic doit commencer à la récupération.
FAQ
Pour quoi Cohere est-il le mieux adapté ?
Pour construire une recherche sur vos propres documents : des embeddings qui gèrent d'autres langues que l'anglais, un modèle de reranking et des modèles génératifs avec citations intégrées. Pour construire un assistant conversationnel sans élément de recherche, d'autres fournisseurs font mieux.
Qu'est-ce que le reranking ?
La deuxième étape de la recherche. Une base de données vectorielle renvoie des candidats par similarité vectorielle, et un modèle de reranking évalue le couple question et fragment ensemble, en jugeant plus précisément ce qui répond vraiment à la question. Cela coûte un appel supplémentaire et améliore généralement les résultats.
Combien cela coûte-t-il ?
Les embeddings coûtent douze centimes de dollar par million de tokens de texte, le reranking deux dollars par millier de recherches sur la variante la moins chère du modèle, et les modèles génératifs quelques dollars par million de tokens. Les prix du déploiement privé ne sont pas publiés et demandent un échange commercial.
Les modèles gèrent-ils d'autres langues que l'anglais ?
Mieux que les modèles entraînés surtout sur des données en anglais, en particulier pour les embeddings. C'est la raison la plus courante pour laquelle les projets européens se tournent vers ce fournisseur, même s'il reste utile de comparer sur vos propres fragments.
Peut-il être déployé dans ma propre infrastructure ?
Oui, et c'est l'un des piliers de cette offre. Les modèles tournent dans un cloud privé ou chez les grands fournisseurs avec un contrôle des clés conservé, ce qui, sous des exigences de conformité, est parfois une condition nécessaire.
La documentation se trouve sur le site du projet, et une comparaison des tarifs figure dans un récapitulatif des prix.