Guide

Azure AI Content Safety : filtres, seuils et limites

Azure AI Content Safety modère texte et images en quatre catégories, détecte les injections de prompt et vérifie l'ancrage. Seuils, tarifs et pièges à connaître.

L'équipe CodeWorlds14 min de lecture ·

Pratique Python dans des leçons interactives avec un éditeur de code.

Crée un compte gratuit→
Dans cet article12

Azure AI Content Safety est un service de modération auquel vous transmettez du texte et des images pour recevoir une note de nocivité dans quatre catégories, ainsi qu'une détection des tentatives d'injection d'instructions. Des interfaces distinctes vérifient si la réponse d'un modèle est ancrée dans les sources que vous avez fournies et si elle reproduit du contenu protégé appartenant à des tiers.

Les catégories et les seuils sont fixés par le fournisseur, donc vous obtenez un système de classification prêt à l'emploi au lieu d'écrire vos propres règles. C'est utile au début, et ça vous contraint dès que votre définition du contenu indésirable s'écarte de la définition standard.

Quatre catégories et l'échelle de gravité

L'analyse de base répartit le contenu en quatre catégories : haine, sexuel, violence et automutilation. C'est tout, donc des choses comme le hameçonnage d'identifiants, le discours manipulateur ou une infraction à vos propres conditions d'utilisation ne relèvent d'aucune d'elles.

Chaque catégorie reçoit une note de gravité, et c'est là qu'un décalage entre la documentation et ce que vous voyez dans une réponse mérite l'attention. Le modèle de texte travaille sur une échelle de zéro à sept. Le modèle d'image ne renvoie que zéro, deux, quatre et six. Au-dessus, il y a une répartition simplifiée en quatre niveaux : sûr, faible, moyen et élevé.

La conséquence pratique est qu'un seuil réglé sur une valeur impaire ne se comportera jamais comme prévu sur les images, puisque de telles notes n'existent tout simplement pas. Vérifiez-le sur vos propres données avant que le seuil n'arrive dans la configuration de production.

L'appel d'analyse lui-même paraît simple :

Bash
curl -X POST "https://<resource>.cognitiveservices.azure.com/contentsafety/text:analyze?api-version=2024-09-01" \
  -H "Ocp-Apim-Subscription-Key: $KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Content to check", "outputType": "FourSeverityLevels"}'

La réponse contient une liste de catégories avec une gravité attribuée. Que faire de ce résultat, c'est à vous de décider, puisque le service ne bloque rien de lui-même.

Prompt Shields, ou détection d'injection

C'est une interface distincte, et la raison la plus fréquente pour laquelle les équipes se tournent vers le service.

Elle détecte deux types d'attaque. L'attaque directe est une tentative de contourner les contraintes saisie par l'utilisateur. L'attaque indirecte est une instruction cachée dans un document, une page web ou une image qui entre dans le contexte du modèle.

Le second type compte davantage et il est plus souvent ignoré. Dans une application qui lit des fichiers d'utilisateurs ou récupère du contenu sur le web, une instruction à l'intérieur d'un tel matériau fonctionne exactement comme celle tapée dans une zone de chat, sauf que personne ne l'a saisie délibérément. Ne vérifier que ce qu'un humain a écrit laisse cette voie ouverte.

L'interface accepte séparément le prompt de l'utilisateur et une liste de documents, donc la réponse indique où la tentative a été trouvée. C'est utile pour journaliser les événements, car cela distingue un utilisateur qui essaie de contourner les protections d'un utilisateur qui a simplement téléversé un fichier empoisonné.

Vérifier l'ancrage dans les sources

La détection d'ancrage (groundedness) répond à une question différente de celle de la modération : la réponse d'un modèle découle-t-elle du matériau que vous avez fourni, ou a-t-elle été inventée ?

Pour les applications construites sur une recherche de documents, c'est la vérification la plus importante de tout l'ensemble, car la plainte la plus fréquente des utilisateurs n'est pas « le système a écrit quelque chose d'offensant » mais « le système a affirmé avec assurance quelque chose de faux ».

La fonctionnalité s'accompagne d'une capacité de correction qui peut réparer un passage non ancré à partir des sources fournies et renvoyer la version corrigée dans un champ de réponse séparé. C'est pratique, mais rappelez-vous que certaines capacités de ce domaine restent en préversion publique, donc vérifiez leur statut actuel et les conditions de support avant de bâtir un processus de production dessus.

Le coût est ici bien réel et doit être calculé. Vérifier l'ancrage impose d'envoyer la réponse avec les sources, donc le nombre de caractères d'un appel augmente de la taille du contexte entier, et la facturation suit les caractères.

Matériel protégé et piège de la date

Deux interfaces détectent du contenu qui pourrait avoir été reproduit à partir des données d'entraînement : une pour le texte, une pour le code.

La version texte est en disponibilité générale et repère des passages connus, par exemple des paroles de chansons ou des articles. La version code compare la sortie au contenu de dépôts connus.

Il y a ici un détail à connaître, car il change entièrement l'appréciation de l'utilité. L'index de code couvre le matériel jusqu'au 6 avril 2023, donc le code ajouté aux dépôts après cette date ne sera pas détecté. Pour un langage dont l'écosystème a évolué pendant trois ans, cela signifie que l'outil ne voit qu'une couche plus ancienne et ne peut fonder aucune affirmation juridique.

Gardez cela en tête quand vous parlez à un service juridique qui a entendu « nous avons une détection de matériel protégé ». La détection existe ; son horizon temporel doit être indiqué à côté.

Catégories personnalisées et respect de la tâche

Quatre catégories standard couvrent rarement ce que votre service juge indésirable, et deux mécanismes y répondent.

Les catégories rapides servent à définir un motif apparu soudainement, par exemple un contenu lié à un événement précis, et fonctionnent à partir de quelques exemples. Les catégories standard exigent un jeu d'entraînement et donnent une meilleure qualité sur des phénomènes stables.

Un élément distinct, plus récent, est la vérification du respect de la tâche (task adherence), ajoutée en préversion publique fin 2025. Elle détecte l'écart entre ce que le modèle devait faire et ce qu'il fait : un appel d'outil qui ne correspond pas à la demande de l'utilisateur, des arguments incohérents avec l'intention, une réponse qui s'éloigne de la question.

Cette vérification est conçue pour les agents et comble une lacune que ni la modération ni la détection d'injection ne ferment. Un agent qui, au lieu de répondre à une question sur l'état d'une commande, se met à appeler un outil qui renvoie les données d'un autre client ne viole aucune des quatre catégories tout en faisant quelque chose qu'il ne devrait pas faire.

Tarifs et limites

Il existe un niveau gratuit et un niveau payant, et la différence entre les deux est plus nette que d'habitude dans ce cloud.

Le niveau gratuit donne cinq mille enregistrements de texte et cinq mille images par mois. Une fois la limite atteinte, le service cesse de répondre, sans facturation de dépassement. C'est adapté aux expériences et inadapté à la production, car le premier jour inhabituel désactive le filtre et l'application doit savoir quoi faire alors.

Le niveau payant compte le texte en enregistrements de mille caractères et les images par appel. La facturation par enregistrement a une conséquence facile à manquer : un long prompt avec des sources pour une vérification d'ancrage peut représenter une douzaine d'enregistrements au lieu d'un.

Un niveau d'engagement à tarif réduit existe aussi, mais la grille tarifaire ne le propose que pour les conteneurs déconnectés : la facturation est annuelle, payée en totalité à l'avance, et l'accès nécessite une demande séparée. Pour des appels via le réseau, le choix reste entre le niveau gratuit et le niveau payant, sans variante avec remise sur volume.

Avant d'inscrire ce service dans un budget, chiffrez un appel sur vos propres données. Prenez dix interactions réelles, comptez les caractères qui entrent dans chaque vérification et multipliez par le volume quotidien. Avec trois vérifications par interaction, le chiffre croît plus vite que ne le suggère le nombre de conversations.

Que faire du résultat

Le service renvoie une note et son rôle s'arrête là. La réponse vous appartient, et c'est elle qui décide si l'ensemble a du sens, car trois réactions différentes à une même détection produisent trois produits différents.

Le rejet ferme convient aux notes élevées, où une erreur est peu probable. L'utilisateur reçoit un message, le contenu ne va pas plus loin.

Une réponse de substitution fonctionne mieux pour les notes moyennes. Au lieu de bloquer, le modèle répond de façon générale, sans recourir aux outils ni aux données. L'utilisateur obtient quelque chose pendant que vous limitez les conséquences d'une éventuelle erreur.

Le signalement pour revue convient là où arrêter un vrai utilisateur coûte plus cher que de laisser passer un cas limite. L'événement atterrit dans un journal et quelqu'un le revoit plus tard.

Prévoyez séparément ce qui se passe lors d'une détection dans la sortie du modèle. Là, une détection signifie que quelque chose s'est mal passé plus tôt, donc en plus de retenir la réponse, enregistrez tout le contexte : le prompt système, les documents fournis au modèle et la réponse complète. Sans cela, vous ne pouvez pas reconstituer la séquence.

Le dernier point est le texte du message. Dire à un utilisateur quelle catégorie il a déclenchée et avec quelle note transforme le filtre en outil d'expérimentation et facilite la recherche d'une formulation qui passe. Un message générique plus un identifiant d'événement dans le journal donne au support tout ce qu'il lui faut et ne donne rien à celui qui sonde la protection.

Langues et contextes limites

La qualité de la classification n'est pas égale selon les langues, et cela mérite d'être vérifié vous-même, car la documentation parle de prise en charge plutôt que de précision.

Dans un texte non anglais, le problème apparaît le plus souvent avec l'ironie, la citation et le vocabulaire familier qui est neutre dans un autre contexte. Une phrase qui cite les propos de quelqu'un pour les critiquer peut être notée exactement comme ces propos.

Le deuxième domaine est le champ d'activité. Un service médical, juridique ou orienté sécurité aborde par nature des choses qui semblent alarmantes selon une classification générale. Une description de symptômes, une citation de pièces de dossier ou une analyse de vulnérabilité sont du contenu de fond et non du contenu nuisible, et avec les seuils standard elles seront bloquées.

Le troisième est la longueur. La note s'applique à tout le fragment soumis, donc une seule phrase dans un long document peut faire monter la note de l'ensemble. Pour les textes plus longs, il vaut la peine de les découper en parties et de les noter séparément, ce qui donne à la fois un résultat plus précis et l'indication de l'endroit en cause.

La conclusion rejoint celle sur les seuils : sans mesure sur vos propres données, vous travaillez sur des hypothèses. Quelques centaines de cas réels passés dans le service en mode observation vous en apprendront davantage que n'importe quelle comparaison de précision.

Azure AI Content Safety face aux alternatives

OptionPérimètreFonctionnementÀ choisir quand
Azure AI Content SafetyModération, injections, ancrageService cloudVous êtes déjà dans ce cloud
Bedrock GuardrailsModération, sujets interdits, vérification de règlesService cloudL'application est dans le cloud d'Amazon
Lakera GuardSurtout injections et fuitesService externeVous voulez un filtre indépendant du fournisseur cloud
Guardrails AIValidateurs écrits en codeBibliothèque localeLes données ne peuvent pas quitter votre infrastructure
Outils ouvertsFiltrage et analyse de modèlesBibliothèque localeZéro coût de licence, maintenance à votre charge
Modération du fournisseur du modèleCatégories de baseIntégrée à l'APIUne modération simple suffit

Le principal argument en faveur de la première ligne est organisationnel plutôt que technique. Si l'application se trouve déjà dans ce cloud et utilise des modèles servis là-bas, avec par exemple des embeddings, alors la facturation, les permissions et le contrat sont communs, et cela compte souvent plus qu'une différence de qualité de détection.

L'argument contre est tout aussi simple : s'attacher à un seul fournisseur dans une couche qu'il est facile de garder indépendante. Un filtre appelé via votre propre interface peut être remplacé plus tard ; un filtre câblé profondément dans la configuration du service ne le peut pas.

Déploiement et choix des seuils

Les seuils par défaut sont un compromis pour un usage général, donc sur vos données ils devront presque certainement être déplacés.

Commencez en mode observation : enregistrez les notes, ne bloquez rien. Collectez quelques milliers d'interactions réelles, puis examinez celles qui auraient été bloquées à différents seuils. C'est le seul moyen de voir le coût des fausses alertes avant que les utilisateurs ne le paient.

Réglez les seuils par catégorie. Un service médical doit laisser passer du contenu d'automutilation dans un contexte d'aide, et un service pour enfants doit être plus strict sur le contenu sexuel que sur la violence. Une seule valeur pour tout est toujours fausse quelque part.

Décidez aussi du comportement en cas de panne. Un service externe finira par répondre lentement ou pas du tout, et le délai d'expiration ainsi que la décision de laisser passer ou de bloquer le trafic doivent être pris délibérément. Avec un niveau gratuit épuisé, ce scénario est certain et non hypothétique.

Le dernier point est la version de l'interface. Les anciennes versions ont été retirées, et un code qui fige une version vieille de plusieurs années cesse de fonctionner sans prévenir à l'intérieur de l'application. Gardez le numéro de version dans la configuration plutôt que dans le code, et vérifiez la liste des versions prises en charge lors des revues de dépendances.

Erreurs courantes

La première, c'est de compter sur le niveau gratuit en production. Une fois la limite atteinte, le service cesse de répondre, donc le filtre disparaît exactement au moment où le trafic atteint son pic.

La deuxième, c'est de ne vérifier que le texte de l'utilisateur. L'injection indirecte arrive par les documents et le contenu récupéré, donc sans vérification de ces sources, la protection a un trou en plein milieu.

La troisième, c'est un seul seuil pour toutes les catégories. Chacune a un coût d'erreur différent dans votre service, et les traiter pareil donne soit du sur-blocage, soit des fuites.

La quatrième, c'est de considérer la détection de matériel protégé pour le code comme complète. L'index s'arrête en avril 2023, donc le code plus récent n'est pas reconnu.

La cinquième, c'est d'ignorer le coût des vérifications d'ancrage. Vous envoyez la réponse avec tout le contexte, donc la facturation au caractère peut surprendre sur les documents plus longs.

La sixième, c'est de ne pas journaliser les événements. Sans journaux, vous ne savez pas combien vous bloquez ni si vous bloquez les bonnes choses, donc vous n'avez aucune base pour changer les seuils.

FAQ

Quelles catégories Azure AI Content Safety détecte-t-il ?

Quatre : haine, sexuel, violence et automutilation. Tout ce qui sort de ces catégories, comme le hameçonnage d'identifiants ou une infraction à vos propres conditions d'utilisation, demande des catégories personnalisées ou une solution distincte.

Le même appel détecte-t-il les injections de prompt ?

Une interface distincte s'en charge, qui couvre les attaques directes de l'utilisateur et les attaques indirectes cachées dans des documents ou des images. Vérifier uniquement le texte du prompt, sans les documents, laisse la voie indirecte ouverte.

Combien coûte le service ?

Le niveau gratuit donne cinq mille enregistrements de texte et cinq mille images par mois et cesse de répondre une fois épuisé. Le niveau payant compte le texte en enregistrements de mille caractères et les images par appel, donc les longs appels qui portent des sources coûtent un multiple d'un enregistrement.

La détection de matériel protégé couvre-t-elle le code récent ?

Non. L'index de code couvre le matériel jusqu'au 6 avril 2023, donc le code ajouté aux dépôts après cette date n'est pas détecté. Dans toute affirmation adressée à un service juridique, cette date doit accompagner la mention de la fonctionnalité.

Peut-il fonctionner sans le cloud ?

Non, c'est un service qui tourne chez le fournisseur et le contenu vérifié quitte votre infrastructure. Là où un traitement local est exigé, les bibliothèques qui s'exécutent dans votre processus sont le bon choix, par exemple Guardrails AI, ou Presidio pour les seules données personnelles.

Les catégories et l'échelle de gravité sont décrites dans la documentation du service, et la liste des changements se trouve sur la page des nouveautés.

À lire aussi