Qu’est-ce qu’Azure Content Moderator ?What is Azure Content Moderator?

L’API Azure Content Moderator est un service cognitif qui vérifie le texte, les images et le contenu vidéo à la recherche d’éléments potentiellement dangereux, offensants ou indésirables.The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. Lorsque des éléments de ce type sont détectés, le service applique les étiquettes appropriées (indicateurs) au contenu.When such material is found, the service applies appropriate labels (flags) to the content. L’application peut ensuite gérer le contenu marqué afin de se conformer aux réglementations ou pour maintenir l’environnement souhaité pour les utilisateurs.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Consultez la section API de modération pour en savoir plus sur les différents indicateurs de contenu.See the Moderation APIs section to learn more about what the different content flags indicate.

UtilisationWhere it is used

Voici quelques scénarios dans lesquels un développeur de logiciels ou une équipe utilise Content Moderator :The following are a few scenarios in which a software developer or team would use Content Moderator:

  • Modération des catalogues de produits et du contenu généré par l’utilisateur sur les marketplaces en ligneOnline marketplaces that moderate product catalogs and other user-generated content.
  • Modération des artefacts créés par les utilisateurs et des messageries instantanées par les sociétés de jeuGaming companies that moderate user-generated game artifacts and chat rooms.
  • Modération des images, du texte et des vidéos ajoutés par les utilisateurs sur les plateformes de messagerie socialeSocial messaging platforms that moderate images, text, and videos added by their users.
  • Mise en place par les sociétés de contenu d’entreprise d’un système de modération centralisé du contenuEnterprise media companies that implement centralized moderation for their content.
  • Filtrage du contenu inapproprié pour les élèves et les enseignants par les fournisseurs de solutions éducatives (maternelle-terminale)K-12 education solution providers filtering out content that is inappropriate for students and educators.

Notes

Vous ne pouvez pas utiliser Content Moderator pour détecter des images illégales d’exploitation d’enfants.You cannot use Content Moderator to detect illegal child exploitation images. Toutefois, les organisations qualifiées peuvent utiliser le service cloud PhotoDNA pour détecter ce type de contenu.However, qualified organizations can use the PhotoDNA Cloud Service to screen for this type of content.

ContenuWhat it includes

Le service Content Moderator se compose de plusieurs API de service web disponibles via les appels REST et un SDK .NET.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. Il inclut également l’outil de vérification humaine, qui permet aux réviseurs humains d’aider le service et d’améliorer ou d’ajuster sa fonction de modération.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

API de modérationModeration APIs

Le service Content Moderator inclut des API de modération qui vérifient le contenu afin d'y détecter des éléments potentiellement inappropriés ou répréhensibles.The Content Moderator service includes Moderation APIs, which check content for material that is potentially inappropriate or objectionable.

Schéma fonctionnel des API de modération Content Moderator

Le tableau suivant décrit les différents types d’API de modération.The following table describes the different types of moderation APIs.

Groupe d’APIAPI group DescriptionDescription
Modération de texteText moderation Analyse du texte à la recherche de contenu offensant, de contenu sexuellement explicite ou suggestif, de blasphèmes et de données personnelles.Scans text for offensive content, sexually explicit or suggestive content, profanity, and personal data.
Listes de termes personnaliséesCustom term lists Analyse du texte par rapport à une liste personnalisée de termes, en plus des termes prédéfinis.Scans text against a custom list of terms in addition to the built-in terms. Utilisez les listes personnalisées pour bloquer ou autoriser du contenu en fonction de vos propres stratégies de contenu.Use custom lists to block or allow content according to your own content policies.
Modération d’imagesImage moderation Analyse des images à la recherche de contenu pour adultes et osé, détection de texte dans les images grâce à la reconnaissance optique des caractères (OCR) et détection des visages.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Listes d’images personnaliséesCustom image lists Analyse des images par rapport à une liste d’images personnalisée.Scans images against a custom list of images. Utilisez les listes d’images personnalisées pour filtrer les instances de contenu récurrent que vous ne souhaitez pas classifier à nouveau.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
Modération de vidéosVideo moderation Analyse des vidéos à la recherche de contenu pour adultes ou osé, en renvoyant des marqueurs de temps pour ce contenu.Scans videos for adult or racy content and returns time markers for said content.

Consultation des APIReview APIs

Les API de révision vous permettent d’intégrer votre pipeline de modération avec les réviseurs humains.The Review APIs let you integrate your moderation pipeline with human reviewers. Utilisez les opérations Travaux, Révisions et Flux de travail pour créer et automatiser les workflows impliquant une intervention humaine avec l'outil de révision (ci-dessous).Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the Review tool (below).

Notes

L’API de workflow n’est pas encore disponible dans le kit de développement logiciel (SDK) .NET, mais peut être utilisée avec le point de terminaison REST.The Workflow API is not yet available in the .NET SDK but can be used with the REST endpoint.

Schéma fonctionnel des API de révision Content Moderator

L’outil de révisionThe Review tool

Le service Content Moderator inclut également l’Outil de révision basé sur le web, qui héberge les révisions de contenu en vue de leur traitement par des modérateurs humains.The Content Moderator service also includes the web-based Review tool, which hosts the content reviews for human moderators to process. Le service n’apprend pas de l’entrée humaine, mais le travail combiné du service et des équipes de vérification humaine permet aux développeurs de trouver le bon équilibre entre efficacité et précision.The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy. L’outil de révision fournit également un front-end convivial pour toute une variété de ressources Content Moderator.The Review tool also provides a user-friendly front end for a variety of Content Moderator resources.

Page d'accueil de l’outil de vérification humaine de Content Moderator

Sécurité et confidentialité des donnéesData privacy and security

Comme avec tous les services Cognitive Services, les développeurs utilisant le service Content Moderator doivent connaître les politiques de Microsoft relatives aux données client.As with all of the Cognitive Services, developers using the Content Moderator service should be aware of Microsoft's policies on customer data. Pour en savoir plus, consultez la page Cognitive Services dans le Centre de gestion de la confidentialité Microsoft.See the Cognitive Services page on the Microsoft Trust Center to learn more.

Étapes suivantesNext steps

Commencez à utiliser le service Content Moderator en suivant les instructions fournies dans Essayer Content Moderator sur le web.Get started using the Content Moderator service by following the instructions in Try Content Moderator on the web.