Guide

Cohere Embed, images et texte dans un même espace

Cohere Embed est une famille de modèles d'embedding où images et texte partagent le même espace vectoriel. Input type, quantification, chunking et pièges.

L'équipe CodeWorlds13 min de lecture ·

Pratique Python dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article9

Embed est la famille de modèles d'embedding de Cohere, et toute la famille fait depuis sa troisième version quelque chose que la plupart des concurrents ne proposent pas : les images et le texte atterrissent dans le même espace vectoriel. La quatrième itération permet en plus de fournir les deux dans une seule entrée.

Cela ressemble à un détail technique et ouvre un usage concret. Une requête écrite en mots peut retrouver un graphique, une capture d'écran ou une facture scannée, sans décrire les images en texte et sans maintenir deux index séparés.

Ce texte traite du modèle d'embedding lui-même : paramètres, compression et pièges. Une présentation plus large de l'offre de l'éditeur, y compris le reranking et le déploiement privé, se trouve dans un article séparé.

Input type, le paramètre qu'il faut fournir

C'est la source la plus fréquente de mauvais résultats à la première utilisation et ce qui distingue cette famille de modèles de la concurrence.

À chaque appel, vous indiquez à quoi sert le vecteur. Un document qui entre dans l'index est marqué différemment d'une requête d'utilisateur, et différemment encore d'un texte destiné à la classification ou au clustering.

Python
import cohere

client = cohere.ClientV2()

documents = client.embed(
    texts=chunks,
    model="embed-v4.0",
    input_type="search_document",
    embedding_types=["float"],
)

question = client.embed(
    texts=["What is the notice period?"],
    model="embed-v4.0",
    input_type="search_query",
    embedding_types=["float"],
)

Le modèle traite les deux cas différemment, car une requête et un document sont de nature différente. Une requête est courte et interrogative, un document long et déclaratif, donc les encoder de la même manière dégrade la correspondance.

L'erreur la plus courante est d'indexer une collection comme des requêtes ou d'interroger avec un vecteur de document. La recherche fonctionne alors, renvoie des résultats, et est simplement nettement moins bonne, donc le problème passe souvent inaperçu pendant des mois.

Images et documents composés

La seconde moitié de l'offre concerne le contenu au-delà du texte, et c'est le principal avantage de cette famille.

Le modèle accepte une image et renvoie un vecteur dans le même espace que les vecteurs de texte. Cela signifie qu'un seul index sert aux deux, et qu'une requête textuelle se compare directement aux images.

Les entrées mixtes sont acceptées aussi, c'est-à-dire du texte entrelacé d'images au sein d'un même fragment. Cela correspond à l'aspect des vrais documents : une page de rapport avec un paragraphe, un graphique et une légende dessous.

L'usage où l'écart est le plus grand concerne les documents dont le contenu réside dans la mise en page visuelle. Une présentation, un formulaire, une facture, un schéma technique. La voie classique exige de reconnaître le texte de l'image, de reconstruire la structure et d'encoder le résultat, et chacune de ces étapes perd de l'information. Encoder la page comme image saute toute cette chaîne.

Une réserve pratique : les images sont facturées séparément, à près de quatre fois le tarif du texte par token, et une page envoyée comme image en consomme plus que son texte seul. Sur une archive où la plupart des documents sont du texte ordinaire, n'envoyez vers la voie image que les pages dont le texte ne rend pas le contenu.

Troncature des dimensions et quantification

Ici le modèle offre plus d'options que la plupart des concurrents, et sur de grandes collections ces réglages décident de la facture de la base vectorielle.

Le premier axe est le nombre de dimensions. Par défaut un vecteur contient mille cinq cent trente-six valeurs, et un vecteur plus court peut être demandé, jusqu'à deux cent cinquante-six. Le modèle a été entraîné pour que l'information la plus importante se trouve au début de la liste, donc la troncature ne détruit pas le résultat.

Le deuxième axe est le format des nombres, et il est souvent ignoré malgré un impact plus grand sur le coût. Au lieu de valeurs à virgule flottante, vous pouvez demander des entiers sur un octet ou une forme binaire où chaque dimension occupe un bit.

Python
response = client.embed(
    texts=chunks,
    model="embed-v4.0",
    input_type="search_document",
    embedding_types=["int8"],
    output_dimension=1024,
)

L'arithmétique est convaincante. Un vecteur de mille dimensions en virgule flottante occupe quatre kilo-octets, le même sur un octet par valeur occupe un kilo-octet, et en forme binaire cent vingt-huit octets. Sur dix millions de fragments, c'est la différence entre quarante gigaoctets et un peu plus de un.

La perte de précision est nettement plus faible que cette proportion ne le laisse penser, tandis que la forme binaire exige généralement une seconde passe : une recherche rapide sur la forme compressée, puis un affinage sur les vecteurs complets. Les bases vectorielles comme Qdrant et Weaviate prennent directement en charge cet arrangement.

Testez vos réglages sur vos propres données plutôt qu'à partir d'un tableau. Cinquante vraies questions avec les réponses attendues, la même collection indexée de trois façons, et une comparaison de la fréquence à laquelle le bon document est arrivé dans les cinq premiers.

Contexte long et découpage

Le modèle accepte des entrées très longues, de l'ordre de cent mille tokens en un appel. Cela donne envie d'encoder des documents entiers plutôt que de les découper, et c'est généralement une mauvaise idée.

La raison est simple : un vecteur fait la moyenne de tout le contenu. Un document couvrant douze sujets produit un vecteur proche d'aucun d'entre eux, donc la recherche ne tombe plus juste.

Les entrées longues aident pour autre chose : encoder des fragments naturellement longs, un chapitre entier de contrat ou une page de rapport avec son graphique. Vous évitez alors de découper ce qui forme un tout simplement parce que le modèle a une limite courte.

La règle pratique reste la même quel que soit l'éditeur. Un fragment doit correspondre à l'unité dans laquelle tient la réponse à une question. Pour une documentation, c'est une section, pour un contrat une clause, pour un rapport une page. La limite du modèle est ici une borne supérieure plutôt qu'une recommandation.

Gardez aussi la facturation en tête. Envoyer un document de cent mille tokens coûte exactement autant qu'envoyer cent fragments de mille tokens, car on paie au token et non à l'appel. Il n'y a donc aucune économie à encoder le tout, seulement une pertinence moindre, ce qui fait de ce choix une perte des deux côtés.

Il existe pourtant un cas où une longue entrée évite du travail : les documents qui ne peuvent raisonnablement pas être découpés automatiquement. Un tableau étalé sur trois pages, ou un formulaire avec des champs liés, perd son sens une fois coupé, donc il vaut mieux l'encoder en entier et accepter une pertinence moindre que de le découper à un endroit qui détruit le sens. Avant de déclarer un document indécoupable, vérifiez cependant les outils qui lisent la mise en page, comme Unstructured : ils reconnaissent un tableau, un titre et une liste comme des éléments distincts et coupent selon leurs frontières plutôt qu'au nombre de caractères, ce qui supprime certains de ces cas.

La recherche d'images en pratique

Puisque c'est le principal avantage du modèle, l'ensemble du pipeline mérite d'être montré, avec les endroits où se cachent les décisions.

La première concerne ce que l'on encode réellement. Pour une présentation l'unité naturelle est une diapositive, pour un rapport une page, pour un catalogue de produits une photo avec sa description. Le choix de l'unité compte plus ici qu'avec du texte, car une image ne se découpe pas aussi facilement qu'un paragraphe.

La deuxième concerne la résolution. Une image à trop basse résolution perd le texte fin d'un graphique, alors qu'une résolution trop élevée coûte plus et ne rapporte rien. Vérifiez sur quelques vraies pages à partir de quelle résolution le modèle commence à répondre correctement aux questions sur le contenu des graphiques, et adoptez-la comme norme.

La troisième concerne ce qu'on fait du résultat. La recherche renvoie une page ou une diapositive, et l'utilisateur veut voir où se trouve exactement la réponse. Conserver le numéro de page, le nom du fichier et une vignette à côté du vecteur permet de montrer la source, et cela décide de la confiance dans le système plus que la précision brute.

La quatrième, la plus souvent omise, concerne les collections mixtes. Une archive de mille documents texte et de cent présentations mérite un traitement à deux voies : le texte par la voie texte bon marché, les présentations par la voie image. Les vecteurs atterrissent dans un seul index, puisqu'ils partagent un espace, et la facture est plusieurs fois plus basse que si tout était traité comme des images.

Mesurer la qualité de la recherche

Sans jeu de cas, chaque changement de réglage relève de la devinette, et ce modèle comporte beaucoup de réglages, donc construire ce jeu tout de suite est rentable.

Commencez par cinquante vraies questions, idéalement des questions que les gens posent réellement plutôt que des questions inventées pour un test. Associez à chacune le document ou le fragment qui contient la réponse. Ce travail prend deux heures et se rentabilise dès le premier changement de paramètre.

Mesurez deux choses. La première est la part des questions où le bon document est arrivé dans les cinq premiers résultats, car c'est généralement le nombre qui atteint le contexte du modèle qui génère la réponse. La seconde est la position moyenne du bon document, car elle montre la direction d'un changement même quand la première mesure ne bouge pas.

Le même jeu répond à quatre questions à la fois : la troncature des dimensions nuit-elle, la quantification nuit-elle, une autre approche de découpage aide-t-elle, et la voie image vaut-elle d'être payée. Sans lui, chacune se termine en discussion fondée sur des impressions.

Enregistrez aussi le résultat de référence avant toute optimisation. Sans point de comparaison, il est difficile d'établir si trois semaines de réglage ont produit autre chose que de la fatigue.

Cohere Embed face aux alternatives

OptionPoint fortFaiblesseÀ choisir quand
Cohere EmbedImages et texte dans un même espace, quantificationPlus cher que les options texte les moins chèresDocuments où la mise en page visuelle compte
OpenAIPrix le plus bas, simplicité, prévisibilitéTexte uniquement, gamme inchangée depuis un momentRecherche sur des documents texte ordinaires
Un modèle localPas de coût au token, les données restent en placeMatériel et maintenance à votre chargeDonnées qui ne peuvent pas quitter l'entreprise
Un modèle d'image séparéContrôle total de chaque modalitéDeux index et deux seuils à réglerExigences inhabituelles pour les images

La décision se ramène à une question : votre collection contient-elle un contenu que le texte ne rend pas. Si l'archive est faite de notes, de documentation et de correspondance, l'option texte moins chère suffit et vous ne remarquerez pas de différence. Si ce sont des présentations, des formulaires et des scans, le traitement des images change assez la qualité de la recherche pour justifier le prix plus élevé.

La dernière ligne mérite une réflexion délibérée, car elle est choisie par inertie. Deux modèles séparés signifient deux index, deux échelles de similarité, et le besoin de fusionner les résultats des deux, une tâche plus difficile qu'il n'y paraît, puisque les valeurs issues d'espaces différents ne sont pas directement comparables.

Erreurs courantes

La première est d'omettre l'input type ou d'utiliser le même pour les documents et les requêtes. La recherche fonctionne, renvoie des résultats, et est nettement moins bonne, donc le problème passe inaperçu longtemps.

La deuxième est d'encoder des documents entiers parce que le modèle accepte de longues entrées. Un vecteur fait la moyenne du contenu, donc un document couvrant de nombreux sujets ne correspond plus à rien.

La troisième est d'envoyer chaque page par la voie image. Les images coûtent près de quatre fois plus par token et n'apportent rien de plus que la version texte sur du texte ordinaire.

La quatrième est de sauter la quantification sur une grande collection. La différence d'empreinte de la base atteint des ordres de grandeur pour une perte de précision mesurée en points de pourcentage.

La cinquième est de mélanger dans un même index des vecteurs de modèles différents ou de réglages différents. Ils ne sont pas comparables, donc les résultats deviennent aléatoires.

La sixième est de choisir les réglages d'après un tableau plutôt que d'après une mesure. Un jeu de cinquante vraies questions avec les réponses attendues règle la question en un après-midi.

La septième est d'indexer une collection sans noter les réglages avec lesquels elle a été construite. Six mois plus tard, personne ne se souvient si les vecteurs ont été calculés à mille dimensions ou à pleine largeur, et sans cela, ajouter de nouveaux documents à un index existant produit des entrées incomparables avec le reste.

FAQ

En quoi Embed v4 diffère-t-il de la version précédente ?

Par les entrées mixtes, la longueur du contexte et le choix du nombre de dimensions. La version précédente acceptait aussi les images, mais chaque entrée devait être d'un seul type, la limite était de cinq cent douze tokens, et le vecteur contenait un nombre fixe de mille vingt-quatre valeurs. La quatrième accepte dans une même entrée du texte, des images et du texte entrelacé d'images, tient cent vingt-huit mille tokens, et permet de choisir la longueur du vecteur.

Quelle valeur donner au paramètre input type ?

Pour les documents qui entrent dans l'index, la valeur prévue pour les documents ; pour les requêtes d'utilisateurs, la valeur prévue pour les requêtes. Des valeurs distinctes existent aussi pour la classification et le clustering. Ce paramètre est obligatoire et l'omettre ou le confondre dégrade nettement la précision.

La quantification ruine-t-elle les résultats ?

Moins que la proportion d'économie ne le laisse penser. La forme sur un octet donne un index quatre fois plus petit pour une perte mesurée en points de pourcentage, et la forme binaire de nombreuses fois plus petit, mais cette dernière demande généralement une passe d'affinage sur les vecteurs complets.

Combien ça coûte face aux options moins chères ?

Le texte coûte ici six fois plus qu'avec les fournisseurs les moins chers, et les images près de quatre fois plus que le texte. Sur une archive de texte ordinaire, la différence est souvent injustifiée ; sur des documents avec mise en page visuelle, la qualité de la recherche la justifie.

Où doivent vivre les vecteurs obtenus ?

Dans n'importe quelle base vectorielle prenant en charge le format de nombres choisi. Avec la quantification, vérifiez cela avant de décider, car toutes les bases ne gèrent pas la forme binaire avec affinage, et l'ajouter plus tard oblige à reconstruire l'index. Sur une petite collection, l'option décrite dans l'article sur pgvector suffit.

Les modèles sont documentés sur le site de l'éditeur, et les détails de la quatrième version dans sa note de publication.

À lire aussi