Qu’est-ce qu’Azure AI Content Safety ?

  • Article

Azure AI Content Safety détecte le contenu nuisible généré par l’utilisateur et généré par l’IA dans les applications et les services. Azure AI Sécurité du Contenu comprend des API de texte et d’image qui vous permettent de détecter le contenu nuisible. Nous avons également un Content Safety Studio interactif qui vous permet d’afficher, d’explorer et de tester des exemples de code pour la détection de contenu nuisible selon différentes modalités.

Un logiciel de filtrage de contenu peut aider votre application à se conformer aux réglementations ou à maintenir l’environnement souhaité pour vos utilisateurs.

Cette documentation contient les types d’articles suivants :

  • Les Démarrages rapides sont des instructions de prise en main qui vous guident dans la formulation de vos requêtes au service.
  • Les Guides pratiques contiennent des instructions sur l’utilisation du service de manière plus spécifique ou personnalisée.
  • Les Concepts fournissent des explications approfondies sur les fonctions et fonctionnalités du service.

Utilisation

Voici quelques scénarios dans lesquels un développeur de logiciels ou une équipe requiert un service de modération de contenu :

  • Modération des catalogues de produits et du contenu généré par l’utilisateur sur les marketplaces en ligne
  • Modération des artefacts créés par les utilisateurs et des messageries instantanées par les sociétés de jeu
  • Modération des images et du texte ajoutés par les utilisateurs sur les plateformes de messagerie sociale
  • Mise en place par les sociétés de contenu d’entreprise d’un système de modération centralisé du contenu
  • Filtrage du contenu inapproprié pour les élèves et les enseignants par les fournisseurs de solutions éducatives (maternelle-terminale)

Important

Vous ne pouvez pas utiliser Azure AI Sécurité du Contenu pour détecter des images illégales d’exploitation d’enfants.

Types de produit

Il existe différents types d’analyse disponibles dans ce service. Le tableau suivant décrit les API actuellement disponibles.

Type Fonctionnalités
API Analyser le texte Analyse le texte à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité.
API Analyser l’image Analyse les images à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité.
Boucliers de prompt (préversion) Analyse le texte pour détecter le risque d’une attaque par entrée utilisateur sur un grand modèle de langage. Démarrage rapide
Détection de fondement (préversion) Détecte si les réponses textuelles des grands modèles de langage (LLM) sont fondées sur les documents sources fournis par les utilisateurs. Démarrage rapide
Détection de texte dans le matériel protégé (préversion) Analyse le texte généré par l’IA pour rechercher le contenu de texte connu (par exemple, paroles de chanson, articles, recettes, contenu web sélectionné). Démarrage rapide

Content Safety Studio

Azure AI Content Safety Studio est un outil en ligne conçu pour gérer le contenu potentiellement choquant, à risque ou indésirable en utilisant des modèles ML de modération de contenu de pointe. Il fournit des modèles et des workflows personnalisés, ce qui permet aux utilisateurs de choisir et de créer leur propre système de modération de contenu. Les utilisateurs peuvent charger leur propre contenu ou tester avec l’exemple de contenu fourni.

Content Safety Studio contient non seulement des modèles d’IA prêts à l’emploi, mais également des listes de blocage de termes intégrées Microsoft pour signaler des grossièretés et se tenir informé sur les nouvelles tendances. Vous pouvez également charger vos propres listes de blocage pour mieux englober le contenu nuisible spécifique à votre cas d’usage.

Studio vous permet également de configurer un workflow de modération, où vous pouvez surveiller et améliorer en continu les performances de modération du contenu. Il peut vous aider à répondre aux critères de contenu de tous types de secteur d’activité comme les jeux, les médias, l’enseignement, le commerce électronique et plus encore. Les entreprises peuvent facilement connecter leurs services au Studio et procéder à la modération de leur contenu en temps réel, qu’il soit généré par l’utilisateur ou par l’IA.

Toutes ces fonctionnalités sont gérées par le Studio et son back-end. Les clients n’ont pas besoin de se soucier du développement de modèles. Vous pouvez intégrer vos données pour effectuer une validation rapide et surveiller vos indicateurs de performance clés en conséquence, comme les métriques techniques (latence, justesse, rappel) ou les métriques métier (taux de blocage, volume de blocage, proportions de catégorie, proportions de langue, etc.). Avec des opérations et des configurations simples, les clients peuvent tester rapidement différentes solutions et trouver la meilleure, au lieu de passer du temps à expérimenter avec des modèles personnalisés ou à procéder manuellement à une modération.

Content Safety Studio

Fonctionnalités de Content Safety Studio

Dans le Studio Sécurité du Contenu, les fonctionnalités suivantes du service Azure AI Sécurité du Contenu sont disponibles :

  • Modérer le contenu de texte : Avec l’outil de modération de texte, vous pouvez facilement exécuter des tests sur le contenu de texte. Que vous souhaitiez tester une seule phrase ou un jeu de données entier, notre outil offre une interface conviviale qui vous permet d’évaluer les résultats des tests directement dans le portail. Vous pouvez tester différents niveaux de sensibilité pour configurer vos filtres de contenu et la gestion des listes de blocage, en vous assurant que votre contenu est toujours modéré exactement selon vos spécifications. De plus, avec la possibilité d’exporter le code, vous pouvez implémenter l’outil directement dans votre application et ainsi simplifier votre workflow et gagner du temps.

  • Modérer le contenu d’image : Avec l’outil de modération d’image, vous pouvez facilement exécuter des tests sur des images pour vous assurer qu’elles répondent à vos standards. Notre interface conviviale vous permet d’évaluer les résultats des tests directement dans le portail, et vous pouvez expérimenter différents niveaux de sensibilité pour configurer vos filtres de contenu. Une fois que vous avez personnalisé vos paramètres, vous pouvez facilement exporter le code pour implémenter l’outil dans votre application.

  • Surveiller l’activité en ligne : La puissante page de surveillance vous permet de suivre facilement l’utilisation et les tendances de vos API de modération selon différentes modalités. Avec cette fonctionnalité, vous pouvez accéder à des informations de réponse détaillées, notamment la répartition des catégories et des gravités, la latence, les erreurs et la détection de liste de blocage. Ces informations vous fournissent une vue d’ensemble complète des performances de modération de votre contenu, ce qui vous permet d’optimiser votre workflow et de vous assurer que votre contenu est toujours modéré exactement selon vos spécifications. Avec notre interface conviviale, vous pouvez parcourir rapidement et facilement la page de surveillance pour accéder aux informations dont vous avez besoin afin de prendre des décisions éclairées sur votre stratégie de modération de contenu. Vous avez les outils dont vous avez besoin pour rester au top de vos performances de modération de contenu et atteindre vos objectifs de contenu.

Critères des entrées

La longueur maximale par défaut pour les envois de texte est de 10 000 caractères. Si vous avez besoin d’analyser des blocs de texte plus longs, vous pouvez diviser le texte (par exemple, en utilisant la ponctuation ou des espaces) en plusieurs soumissions associées.

La taille maximale pour les envois d’images est de 4 Mo, et les dimensions de l’image doivent être comprises entre 50 x 50 pixels et 2 048 x 2 048 pixels. Les images peuvent être aux formats JPEG, PNG, GIF, BMP, TIFF ou WEBP.

Sécurité

Utiliser Microsoft Entra ID ou une identité managée pour gérer l’accès

Pour bénéficier d’une sécurité renforcée, vous pouvez utiliser Microsoft Entra ID ou Identité managée (MI) pour gérer l’accès à vos ressources.

  • Managed Identity est automatiquement activé quand vous créez une ressource Content Safety.
  • Le service Microsoft Entra ID est pris en charge dans des scénarios d’API et de Kit de développement logiciel (SDK). Consultez les recommandations générales sur les services d’IA de l’Authentification avec Microsoft Entra ID. Vous pouvez également accorder l’accès à d’autres utilisateurs de votre organisation en leur attribuant les rôles Utilisateurs Cognitive Services et Lecteur. Pour en savoir plus sur l’octroi d’un accès utilisateur aux ressources Azure à l’aide du portail Azure, consultez le guide du contrôle d’accès en fonction du rôle.

Chiffrement des données au repos

Découvrez comment Azure AI Sécurité du Contenu gère le chiffrement et le déchiffrement de vos données. Les clés gérées par le client (CMK), également appelées BYOK (Bring Your Own Key), offrent plus de flexibilité pour créer, faire pivoter, désactiver et révoquer des contrôles d’accès. Vous pouvez également effectuer un audit sur les clés de chiffrement utilisées pour protéger vos données.

Tarification

Actuellement, Azure AI Sécurité du Contenu a des niveaux tarifaires F0 et S0.

Limites du service

Support multilingue

Les modèles Sécurité du Contenu ont été spécifiquement entraînés et testés dans les langues suivantes : anglais, allemand, japonais, espagnol, français, italien, portugais et chinois. Le service peut toutefois fonctionner dans de nombreuses autres langues, mais il est possible que la qualité varie. Dans tous les cas, vous devez effectuer vos propres tests pour vous assurer qu’il fonctionne pour votre application.

Pour plus d’informations, consultez Prise en charge linguistique.

Région/emplacement

Pour utiliser des API Sécurité du Contenu, devez créer votre ressource Azure AI Sécurité du contenu dans les régions prises en charge. Il est actuellement disponible dans les régions Azure suivantes :

  • Australie Est
  • Est du Canada
  • USA Centre
  • USA Est
  • USA Est 2
  • France Centre
  • Japon Est
  • Centre-Nord des États-Unis
  • États-Unis - partie centrale méridionale
  • Suisse Nord
  • Sud du Royaume-Uni
  • Europe Ouest
  • USA Ouest 2
  • Suède Centre

Les fonctionnalités en préversion publique, comme les boucliers de prompt et la détection de matériel protégé, sont disponibles dans les régions Azure suivantes :

  • USA Est
  • Europe Ouest

N’hésitez pas à nous contacter si vous avez besoin d’autres régions pour votre entreprise.

Taux de requêtes

Niveau tarifaire Demandes par 10 secondes (RPS)
F0 1000
S0 1000

Si vous avez besoin d’un débit plus rapide, contactez-nous pour en faire la demande.

Nous contacter

Si vous êtes bloqué, envoyez-nous un e-mail ou utilisez le widget de commentaires en haut à droite de n’importe quelle page de documentation.

Étapes suivantes

Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.

Démarrage rapide de Content Safety