Guide

Azure OpenAI : les mêmes modèles dans un autre emballage

Azure OpenAI propose les mêmes modèles d'embeddings qu'OpenAI dans le cloud Microsoft. Déploiements, quotas, régions, tarifs, migration et pièges à éviter.

L'équipe CodeWorlds13 min de lecture ·

Pratique Python dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article9

Azure propose les modèles d'embeddings d'OpenAI dans le cloud de Microsoft. Les modèles sont exactement les mêmes, donc la qualité des résultats et le nombre de dimensions ne diffèrent pas de l'accès direct, alors que tout ce qui les entoure est différent.

Cette différence est la raison pour laquelle les entreprises choisissent cette voie. La facturation passe par un contrat Microsoft existant, les données sont traitées dans une région de ton choix, l'accès est contrôlé par le même mécanisme que tes autres ressources, et le trafic peut circuler sur un réseau privé sans atteindre l'internet public.

Ce texte couvre ce qui est propre à cette voie d'accès. La description des modèles eux-mêmes, le choix entre eux et la troncature des dimensions se trouvent dans un texte séparé.

Un déploiement au lieu d'un modèle

C'est la cause la plus courante d'erreurs lors du portage de code, et ce qui déroute pratiquement tout le monde lors d'un premier essai.

Avec l'accès direct, tu fournis un nom de modèle. Ici, tu crées un déploiement, tu lui donnes un nom de ton choix, et tu utilises ce nom dans les appels. Le nom du déploiement peut être n'importe lequel et n'a besoin d'aucun point commun avec le nom du modèle sous-jacent.

Python
from openai import AzureOpenAI

client = AzureOpenAI(
    azure_endpoint="https://resource-name.openai.azure.com",
    api_key=os.environ["AZURE_OPENAI_KEY"],
    api_version="2024-10-21",
)

response = client.embeddings.create(
    model="embeddings-production",
    input=chunks,
)

La valeur passée comme modèle est un nom de déploiement et non un nom de modèle. Un déploiement nommé ainsi peut faire tourner en dessous un modèle plus petit ou plus grand, et le code ne révèle pas lequel.

Cela comporte un avantage et un inconvénient. L'avantage est de changer de modèle sans modifier le code : tu reconfigures le déploiement et l'application utilise le nouveau. L'inconvénient est que le code n'indique pas ce qui calcule réellement les vecteurs, donc le nom et la version du modèle doivent être consignés à côté de l'index, sinon personne ne les reconstituera six mois plus tard.

Une convention pratique : nomme les déploiements d'après le modèle et leur finalité, en combinant par exemple le nom du modèle avec l'environnement. Des noms comme « deployment-1 » paraissent innocents et n'apprennent rien à personne un an plus tard.

Les quotas, ce qu'il faut planifier

La deuxième surprise concerne le débit, car il fonctionne différemment de l'accès direct.

Le quota est attribué à un abonnement séparément pour chaque région, chaque modèle et chaque type de déploiement, exprimé en tokens par minute. Lors de la création d'un déploiement, tu lui alloues une partie de ce réservoir, et la disponibilité restante diminue d'autant.

Une limite de débit de requêtes découle automatiquement du quota de tokens, dans une proportion fixée séparément pour chaque modèle. Cela signifie qu'un déploiement avec une petite allocation de tokens accepte peu de requêtes par minute, même lorsque chacune est courte.

La conséquence pratique concerne l'indexation. Traiter une grosse archive exige d'envoyer les fragments par lots, et la limite du nombre de requêtes est souvent atteinte avant celle des tokens. Une organisation raisonnable : des lots de quelques dizaines de fragments, plusieurs threads en parallèle, et une gestion des réponses de limite de débit avec un backoff exponentiel.

Sépare aussi les déploiements. Un déploiement dédié à l'indexation et un autre au service des requêtes évitent que le traitement nocturne de l'archive ne prenne du débit aux utilisateurs qui posent des questions pendant la journée.

À plus grande échelle, il existe une option de débit réservé, facturée à l'heure plutôt qu'au token. Elle n'est rentable qu'avec une utilisation élevée et stable, donc calcule-la par rapport à ton propre trafic plutôt que de supposer qu'une réservation est toujours moins chère.

Régions et conformité

C'est généralement la vraie raison de choisir cette voie, donc savoir exactement ce que tu obtiens est payant.

Tu crées la ressource dans une région précise et le traitement a lieu là. Avec des exigences de résidence des données personnelles, c'est parfois une condition d'entrée que l'accès direct ne satisfait pas.

Une réserve mérite d'être énoncée : tous les modèles ne sont pas disponibles dans toutes les régions. Vérifie-le avant de choisir une région, car déplacer une ressource plus tard revient à en créer une nouvelle et à recalculer l'index.

L'accès est contrôlé par le mécanisme de permissions commun à tout le cloud, donc une clé dans le code peut être remplacée par une identité attribuée au service. Cela résout le problème des clés qui circulent dans les dépôts et les fichiers de configuration, et cela vaut la peine d'être utilisé plutôt que de copier le schéma de l'accès direct.

Le trafic peut être confiné à un réseau privé, via un endpoint accessible uniquement depuis ton réseau virtuel. Les requêtes n'atteignent alors à aucun moment l'internet public, ce que certaines politiques de sécurité exigent explicitement.

Avec cette configuration, pense tout de suite à l'environnement de développement. Une ressource accessible uniquement depuis le réseau virtuel ne répondra pas depuis la machine d'un développeur, donc le travail local exige soit une connexion à ce réseau, soit une ressource séparée accessible publiquement, destinée uniquement au développement. La seconde est plus pratique et demande de veiller à ce que les données de production n'y arrivent jamais.

Différences de facturation

Le tarif par token dépend ici du type de déploiement, et c'est la première chose à vérifier. Un déploiement global, c'est-à-dire qui ne limite pas l'endroit où le traitement a lieu, coûte exactement le prix de l'accès direct. Un déploiement confiné à une zone de données coûte environ dix pour cent de plus, et un déploiement fixé à une seule région de dix à plus de trente pour cent de plus selon la région choisie. Cela compte, car limiter l'endroit du traitement est la raison habituelle de venir ici. Une seconde différence est souvent oubliée lors de la planification.

Le mode batch, qui divise le prix par deux en échange de résultats livrés avec délai, est disponible avec l'accès direct et pas sur cette voie. Cela signifie qu'une indexation ponctuelle d'une grosse archive coûte au moins deux fois plus cher ici, et davantage sur un déploiement fixé à une région.

La conclusion pratique est parfois surprenante et mérite d'être considérée honnêtement. Sur une archive qui se mesure en milliards de tokens, la différence sur le plus grand modèle d'embeddings se chiffre en centaines de dollars, et en milliers à des dizaines de milliards, donc l'indexation ponctuelle peut se faire moins cher par l'accès direct tout en laissant ici le service continu des requêtes, si l'exigence de conformité concerne le trafic de production plutôt que le traitement de l'archive elle-même.

Cet arrangement doit évidemment être vérifié auprès du responsable de la conformité, car dans certaines organisations l'exigence couvre toutes les données quel que soit le moment du traitement. Il vaut tout de même la peine de savoir que l'option existe, plutôt que de supposer que le prix est identique.

Ajoute aussi à la facture les coûts environnants : la base de données vectorielle, le trafic réseau entre les services, et d'éventuels endpoints de réseau privé, qui ont leur propre tarif horaire.

Ce dernier poste surprend souvent, car il s'accumule quel que soit le trafic. Un endpoint de réseau privé coûte autant à une requête par jour qu'à un million, donc sur un petit projet il peut dépasser le coût des embeddings eux-mêmes. Avec trois environnements, chacun avec son propre endpoint, ce poste triple, même si deux d'entre eux restent inactifs la plupart de la journée.

Porter une application existante

Si tu as du code fonctionnel qui utilise l'accès direct, le passage prend un après-midi à condition de connaître quatre différences.

La première est l'adresse. Au lieu de l'endpoint partagé du fournisseur, tu fournis l'adresse de ta propre ressource, unique pour ton organisation et ta région.

La deuxième est la version de l'interface, indiquée explicitement à la création du client. Cela a un avantage : une nouvelle version ne change pas le comportement de ton application tant que tu ne l'as pas relevée toi-même. Cela a aussi un inconvénient : rester bloqué sur une version d'il y a deux ans est facile, puisque rien ne te le rappelle.

La troisième est un nom de déploiement à la place d'un nom de modèle, décrit plus haut et responsable de la plupart des erreurs au premier lancement.

La quatrième est l'authentification. Une clé fonctionne et c'est le plus simple, tandis que la bonne réponse côté cloud est une identité attribuée au service, ce qui évite de stocker un secret où que ce soit.

Profites-en pour vérifier si ta bibliothèque cliente prend directement en charge cette voie. Les bibliothèques officielles ont une classe cliente séparée et le changement revient à la remplacer. Les bibliothèques intermédiaires sont parfois moins abouties ici, et certaines confondent le nom du modèle avec le nom du déploiement, ce qui produit des erreurs difficiles à diagnostiquer depuis ton propre code.

Versions des modèles et retraits

Cette partie est propre à cette voie d'accès et, sur un projet de longue durée, compte plus que tout ce qui précède.

Un déploiement pointe vers une version précise du modèle, et les versions sont retirées selon un calendrier annoncé. Tu reçois un préavis, mais c'est à toi d'agir, car un déploiement sur une version retirée cesse de fonctionner.

Une option de mise à jour automatique vers la version la plus récente existe, et ce choix mérite d'être fait délibérément. La mise à jour automatique protège contre une panne soudaine et introduit un autre risque : les vecteurs calculés avec une nouvelle version du modèle peuvent ne pas être pleinement comparables aux anciens, et le changement se fait sans ton intervention.

Une organisation raisonnable ressemble à ceci. Garde le déploiement qui sert les requêtes des utilisateurs sur une version figée et mets-le à jour délibérément, en même temps que le recalcul de l'index ou après avoir confirmé que la différence est négligeable. Configure un déploiement de test en mise à jour automatique, pour voir à l'avance ce qu'apporte une nouvelle version.

Consigne aussi la date et la version du modèle à chaque recalcul de l'index. C'est une ligne dans la documentation du projet qui, quand quelqu'un demande pourquoi la recherche fonctionne moins bien qu'en mars, fait gagner une journée d'enquête.

Azure face aux alternatives

OptionPoint fortFaiblesseÀ choisir quand
Azure OpenAIRégion, réseau privé, permissions et facturation partagéesPas de mode batch, surcoût pour figer la région, quotas à planifierUne entreprise avec des exigences de conformité
OpenAI en directSimplicité, mode batch à moitié prixPas de choix de région, pas de réseau privéUn prototype et des projets sans exigences
Un modèle localLes données ne sortent jamais, aucun coût par tokenMatériel et maintenance à ta chargeDes données qui ne peuvent pas quitter l'entreprise
Un autre fournisseur cloudIntégration avec le cloud que tu utilisesModèles différents, résultats différentsUne équipe qui travaille dans un autre cloud

La première ligne l'emporte quand une organisation travaille déjà dans ce cloud et a des exigences de région ou de réseau. Ajouter des modèles à un contrat existant est alors nettement plus simple que de faire passer un nouveau fournisseur par les achats et le service juridique.

La troisième ligne mérite une considération honnête, car elle est souvent ignorée. Si l'exigence est « les données ne quittent pas notre infrastructure », un modèle exécuté en interne la satisfait d'une manière qu'aucun cloud ne peut égaler, quels que soient les contrats.

Erreurs courantes

La première est de passer un nom de modèle au lieu d'un nom de déploiement. Un code porté directement depuis l'accès direct renvoie une erreur dont le texte ne nomme pas la cause.

La deuxième est un seul déploiement pour tout. L'indexation nocturne de l'archive prend alors du débit aux utilisateurs qui posent des questions pendant la journée.

La troisième est de supposer qu'un modèle est disponible dans la région choisie. Tous les modèles ne sont pas disponibles partout, et déplacer une ressource plus tard revient à recalculer l'index.

La quatrième est de planifier en comptant sur le mode batch. Il n'est pas disponible sur cette voie, donc l'indexation ponctuelle coûte au moins deux fois ce que suggère la grille tarifaire de l'accès direct.

La cinquième est de garder une clé dans le code alors qu'une identité attribuée au service est disponible. Le mécanisme de permissions du cloud résout cela mieux que n'importe quelle rotation de clés.

La sixième est de ne pas consigner quel déploiement et quel modèle ont produit les vecteurs. Un nom de déploiement ne le dit pas à lui seul, et six mois plus tard personne ne le reconstituera.

FAQ

En quoi est-ce différent de l'accès direct ?

Les modèles sont les mêmes, donc les résultats ne diffèrent pas. Ce qui diffère, c'est tout ce qui les entoure : le choix de la région de traitement, le contrôle d'accès via le mécanisme de permissions du cloud, la possibilité de confiner le trafic à un réseau privé, et la facturation dans le cadre d'un contrat fournisseur existant. Le tarif diffère aussi : un déploiement global coûte ce que coûte l'accès direct, alors qu'un déploiement confiné à une zone de données ou à une seule région coûte nettement plus.

Pourquoi le code de l'accès direct ne fonctionne-t-il pas ?

Le plus souvent parce que l'appel doit fournir un nom de déploiement plutôt qu'un nom de modèle. Tu crées toi-même le déploiement et tu lui donnes le nom que tu veux, donc la même application basculée sur cette voie doit voir cette valeur changer, ainsi que l'adresse de la ressource et la version de l'interface.

Le mode batch est-il disponible ?

Non, et c'est une différence importante pour planifier les coûts. La remise de moitié prix pour des résultats différés couvre l'accès direct, donc une indexation ponctuelle d'une grosse archive revient au moins deux fois plus cher ici.

Comment planifier les quotas pour l'indexation ?

Le quota est attribué en tokens par minute séparément par région, modèle et type de déploiement, et une limite de débit de requêtes en découle dans une proportion qui dépend du modèle. Sur une grosse archive, crée un déploiement séparé pour l'indexation, envoie les fragments par lots et gère les réponses de limite de débit avec un backoff exponentiel.

Où stocker les vecteurs calculés ?

Dans une base de données vectorielle, en vérifiant qu'elle respecte aussi tes exigences de région. Un service de recherche existe dans le même cloud, et pour les petites collections les options présentées dans les textes sur pgvector ou Qdrant exécutées dans ta propre infrastructure suffiront.

La documentation se trouve sur le site de Microsoft, et la gestion des quotas sur une page séparée.

À lire aussi