Partage via


Catégories de préjudices dans Azure AI Content Safety

Ce guide décrit toutes les catégories de préjudices et toutes les évaluations que Azure AI Content Safety utilise pour marquer le contenu. Le contenu texte et le contenu d’image utilisent le même ensemble d’indicateurs.

Catégories préjudiciables

Content Safety reconnaît quatre catégories distinctes de contenu répréhensible.

Category Description
Haine et impartialité Les préjudices liés à la haine et à l’impartialité décrit des attaques ou des utilisations de langage des termes péjoratifs ou discriminatoires faisant référence à une personne ou à un groupe identitaire basés sur certains attributs de différenciation de ces groupes, notamment la race, l’origine ethnique, la nationalité, l’identité et l’expression de genre, l’orientation sexuelle, la religion, le statut d’immigration, les aptitudes, l’apparence personnelle et la taille du corps.

L’impartialité consiste à veiller à ce que les systèmes d’IA traitent tous les groupes de personnes de manière équitable sans contribuer aux inégalités sociales existantes. À l’instar du discours haineux, les préjudices liés à l’impartialité dépendent du traitement disparate des groupes d’identité.
Contenu sexuel La sexualité le langage relatif aux organes anatomiques et génitaux, aux relations amoureuses, aux actes présentés en termes érotiques ou affectueux, à la grossesse, aux actes sexuels physiques, y compris les actes présentés comme une agression ou un acte violent sexuel forcé contre sa volonté, la prostitution, la pornographie et les abus.
Violence La violence décrit le langage lié aux actions physiques destinées à blesser, nuire, endommager ou tuer quelqu’un ou quelque chose ; cela décrit les armes, les fusils et les entités connexes, telles que les fabrications, les associations, la législation, etc.
Automutilation L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer.

La classification peut avoir plusieurs intitulés. Par exemple, lorsqu’un exemple de texte est exécuté via le modèle de modération de texte, il peut être classé à la fois comme du contenu à caractère sexuel et de la violence.

Niveaux de gravité

Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur.

Texte: la version actuelle du modèle de texte prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur détecte parmi toutes les gravités le long de cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Image: la version actuelle du modèle d’image prend en charge la version réduite de l’échelle de gravité complète de 0 à 7. Le classifieur retourne uniquement les gravités 0, 2, 4 et 6 ; chacun des deux niveaux adjacents est mappé à un seul niveau.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Contenu textuel

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Contenu du fichier image

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Étapes suivantes

Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.