Catégories de préjudices dans Azure AI Content Safety
- Article
Ce guide décrit toutes les catégories de préjudices et toutes les évaluations que Azure AI Content Safety utilise pour marquer le contenu. Le contenu texte et le contenu d’image utilisent le même ensemble d’indicateurs.
Catégories préjudiciables
Content Safety reconnaît quatre catégories distinctes de contenu répréhensible.
Category | Description |
---|---|
Haine et impartialité | Les préjudices liés à la haine et à l’impartialité décrit des attaques ou des utilisations de langage des termes péjoratifs ou discriminatoires faisant référence à une personne ou à un groupe identitaire basés sur certains attributs de différenciation de ces groupes, notamment la race, l’origine ethnique, la nationalité, l’identité et l’expression de genre, l’orientation sexuelle, la religion, le statut d’immigration, les aptitudes, l’apparence personnelle et la taille du corps. L’impartialité consiste à veiller à ce que les systèmes d’IA traitent tous les groupes de personnes de manière équitable sans contribuer aux inégalités sociales existantes. À l’instar du discours haineux, les préjudices liés à l’impartialité dépendent du traitement disparate des groupes d’identité. |
Contenu sexuel | La sexualité le langage relatif aux organes anatomiques et génitaux, aux relations amoureuses, aux actes présentés en termes érotiques ou affectueux, à la grossesse, aux actes sexuels physiques, y compris les actes présentés comme une agression ou un acte violent sexuel forcé contre sa volonté, la prostitution, la pornographie et les abus. |
Violence | La violence décrit le langage lié aux actions physiques destinées à blesser, nuire, endommager ou tuer quelqu’un ou quelque chose ; cela décrit les armes, les fusils et les entités connexes, telles que les fabrications, les associations, la législation, etc. |
Automutilation | L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer. |
La classification peut avoir plusieurs intitulés. Par exemple, lorsqu’un exemple de texte est exécuté via le modèle de modération de texte, il peut être classé à la fois comme du contenu à caractère sexuel et de la violence.
Niveaux de gravité
Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur.
Texte: la version actuelle du modèle de texte prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur détecte parmi toutes les gravités le long de cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Image: la version actuelle du modèle d’image prend en charge la version réduite de l’échelle de gravité complète de 0 à 7. Le classifieur retourne uniquement les gravités 0, 2, 4 et 6 ; chacun des deux niveaux adjacents est mappé à un seul niveau.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Contenu textuel
Avertissement
L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.
Niveaux de gravité de haine et d’équité
Niveau de gravité | Description | Exemple de texte |
---|---|---|
Niveau 0 | Du contenu qui contient des termes liés à la haine et à l’équité utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
"I hate cats." |
Niveau 1 | Du contenu qui contient des termes liés à la haine et à l’équité utilisés dans le sens général, mais qui peut acquérir une signification différente en fonction du contexte et qui ne fait pas la distinction entre les groupes d’identités et d’autres de manière biaisée ou négative. notamment :
|
"Black people should not be killed by police or mistreated just because of their skin color." |
Niveau 2 | Du contenu qui contient une caractérisation positive ou une protection des groupes d’identités qui déclenchent une réponse émotionnelle favorable. notamment :
|
"I hate you." |
Niveau 3 | Du contenu qui contient des préjugés, des jugements, une caractérisation stéréotypée ou un sentiment négatif. notamment :
|
"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all." |
Niveau 4 | Du contenu qui contient des insultes directes motivées par des sentiments, des commentaires négatifs et des insultes raciales utilisées comme descriptions ciblant des groupes d’identités avec l’intention de blesser des individus selon leurs attributs. notamment :
|
"All [identity group] are ugly." |
Niveau 5 | Du contenu qui contient la déshumanisation ou la dérogation des individus ou des groupes qui renforcent le sentiment négatif par le biais de la déshumanisation, de la violence, du déni d’événements, de l’intimidation ou des comportements d’intimidation. notamment :
|
"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof." |
Niveau 6 | Du contenu basé sur des sentiments négatifs et des discours haineux envers les groupes d’identités. En faisant référence à des caractéristiques de groupe qui différencient le groupe d’identités et d’autres personnes et qui appellent à prendre des mesures envers les groupes d’identités en fonction de leurs attributs. Cela peut inclure :
|
"Send [identity group] back to the gas chambers." |
Niveau 7 | Du contenu basé sur des sentiments négatifs, affichant l’intention de crime haineux et de harcèlement, déclenchant une réponse émotionnelle hostile et différenciant les groupes d’identités, entraînant des crimes. notamment :
|
"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…" |
Niveaux de gravité sexuelle
Niveau de gravité | Description | Exemple de texte |
---|---|---|
Niveau 0 | Du contenu qui contient des termes sexuels utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants.
|
"The sports bra and yoga pants were too tight for comfort." |
Niveau 1 | Du contenu qui contient des termes liés au sexe utilisés en général, mais qui peuvent acquérir une signification différente en fonction du contexte. notamment :
|
"Fewer young adults are having sex than in previous generations." |
Niveau 2 | Du contenu qui contient des termes liés au sexe dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment :
|
"The first time I had sex, I found it painful." |
Niveau 3 | Du contenu avec des termes sexuels dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées au sexe. notamment :
|
"We made out for a while, and he started to feel me up. I felt a bulge in his pants." |
Niveau 4 | Du contenu décrivant les fantasmes sexuels, l’industrie du sexe professionnel et les publicités, et la reproduction d’animaux sexualisée. notamment :
|
"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…" |
Niveau 5 | Du contenu décrivant des spectacles ou des expériences érotiques en tant qu’expérience personnelle, du BDSM avec consentement clair, et histoires et sites web érotiques. notamment :
|
"We both climaxed at the same time." |
Niveau 6 | Du contenu décrivant la sollicitation de services commerciaux sexuels, contenant des descriptions détaillées d’activités sexuelles, de violences sexuelles et de viols, ainsi que d’échanges de pouvoir non consensuels, d’abus et de voyeurisme. notamment :
|
"I love forced sex, it's so much hotter." |
Niveau 7 | Du contenu utilisé pour promouvoir, approuver ou glorifier des formes extrêmes d’esclavage sexuel. Du contenu extrême ou illégal. notamment :
|
"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son." |
Niveaux de gravité de violence
Niveau de gravité | Description | Exemple de texte |
---|---|---|
Niveau 0 | Du contenu qui contient des termes d’actions non-violentes, ou des termes liés à la violence utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles." |
Niveau 1 | Du contenu qui contient des termes ou des actions liés à la violence utilisés dans le sens général, mais qui peuvent acquérir une signification différente en fonction du contexte. notamment :
|
"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights." |
Niveau 2 | Du contenu qui contient des termes ou actes liés à la violence dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques et sans glorification ou approbation d’intentions malveillantes. notamment :
|
"She wishes she could have killed her whole family." |
Niveau 3 | Du contenu avec des actions ou termes violents dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées à la violence. notamment :
|
"Some people just need to be slapped." |
Niveau 4 | Du contenu décrivant une justification non fondée pour la raison pour laquelle les victimes sont victimes d’abus physique, l’attribution infondée de qualités positives des agresseurs, des menaces d’actes violents et des fantasmes liés à la façon de nuire à une autre personne, et le niveau de gore moyen. notamment :
|
"Victims of abuse deserve to be hit. They push and push until they get what they deserve." |
Niveau 5 | Du contenu visant à poursuivre la violence, fournissant des instructions directes sur la façon de nuire à des individus ou groupes spécifiques. notamment :
|
"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught." |
Niveau 6 | Du contenu décrivant des groupes extrémistes et des organisations terroristes, des meurtres de masse et des dommages physiques explicites avec un niveau de gore élevé, et la promotion du terrorisme et de sa propagande. notamment :
|
"We must kill them all. God wills it, and society will be better for it." |
Niveau 7 | Du contenu utilisé pour décrire, féliciter, soutenir, promouvoir, approuver, glorifier des formes extrêmes de violence. Du contenu qui soutient les organisations terroristes et radicalise, donne des instructions ou de l’entraînement. notamment :
|
"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight." |
Niveaux de gravités d’automutilation
Niveau de gravité | Description | Exemple de texte |
---|---|---|
Niveau 0 – Sûr | Du contenu qui contient des termes d’automutilation utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
"I appreciate your hard work, but you don't need to keep killing yourself over this project." |
Niveau 1 | Du contenu qui contient des termes liés à l’automutilation utilisés en général, mais qui peut acquérir une signification différente en fonction du contexte. notamment :
|
"Binging and purging may be a warning sign for people with a history of extreme weight loss." |
Niveau 2 | Du contenu qui contient des termes liés à l’automutilation dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment :
|
"Oedipus stabbed his eyes in despair." |
Niveau 3 | Du contenu avec des actions ou termes d’automutilation dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées à l’automutilation. notamment :
|
"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?" |
Niveau 4 | Du contenu qui se moque des victimes ou des survivants d’un suicide ou d’automutilation, l’attribution infondée de qualités positives à l’automutilation, les fantasmes ou les souhaits d’automutilation, et qui contient un contenu graphique explicite impliquant la mort, une autopsie, un crime ou une scène de mort. notamment :
|
"It's hilarious when [identity group] kill themselves." |
Niveau 5 | Du contenu visant à promouvoir davantage l’automutilation, en fournissant des instructions directes sur la façon d’effectuer de l’automutilation ou d’intimider une victime. notamment :
|
"Go kill yourself, you are worthless." |
Niveau 6 | Du contenu décrivant des instructions détaillées et explicites sur la façon de commettre un suicide. notamment :
|
"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag." |
Niveau 7 | Du contenu utilisé pour approuver et glorifier le suicide ou d’autres actes graves d’automutilation. notamment :
|
"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble." |
Contenu du fichier image
Avertissement
L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.
Niveaux de gravité de haine et d’équité
Niveau de gravité | Description | Exemple d’image |
---|---|---|
Safe | Le contenu est sûr, mais peut contenir des images liées à la haine et à l’équité sans sentiment ou un sentiment neutre de manière non discriminatoire dans les contextes suivants ou ceux similaires à :
|
Les drapeaux non confédérés, par exemple des drapeaux de pays ou d’États qui contiennent des croix
|
Bas | Du contenu qui contient des sentiments positifs, des faux sentiments positifs ou des sentiments négatifs et biaisés différenciant les groupes d’identités. Ce contenu est destiné à déclencher une réponse émotionnelle. notamment :
|
Les représentations du mouvement « No Hate Speech » Les représentations des candidats d’emploi dépriorisés tels que les candidats handicapés dans les milieux d’entretien |
Moyenne | Du contenu qui contient un sentiment négatif sur les groupes d’identités et d’autres personnes qui mènent à la promotion d’une action contre des groupes d’identité et des sentiments de supériorité. notamment :
|
Des images promouvant l’évitement social de [groupes d’identité] Des images représentant la théorie de l’amélioration raciale et l’eugénique |
Forte | Du contenu qui contient des sentiments négatifs et des discours haineux envers les groupes d’identité menant à la génération de discours haineux ou à des crimes haineux. notamment :
|
De l’imagerie antisémite De l’imagerie représentant la « Croix sud » qui présente une saltire bleue (croix diagonale) avec l’affiliation d’une violence évidente (par exemple, l’affichage ou l’utilisation d’armes à feu) |
Niveaux de gravité sexuelle
Niveau de gravité | Description | Exemple d’image |
---|---|---|
Safe | Le contenu est sûr, mais contient des images liées au sexe utilisées dans un sens général. notamment :
|
Des représentations de câlins ou de contact physique non-sexuel Des représentations de marques physiques d’affections comme des baisers sans la langue et sans nudité |
Bas | Du contenu qui contient des comportements ou des actes sexuellement suggestifs. notamment :
|
Des représentations de personnes |
Moyenne | Du contenu qui contient des contenus érotiques et/ou pornographiques commerciaux et/ou amateurs sans pénétration photographique visuelle et des participants nus ou semi-nus impliqués dans des scènes sexuelles destinées à l’excitation sexuelle. notamment :
|
Des représentations de rapports qui peuvent être partiellement obstrués mais toujours clairement présents dans l’image |
Forte | Du contenu qui contient des représentations détaillées explicites des organes sexuels et des actes sexuels, y compris des actes illégaux. notamment :
|
Des représentations d’activités sexuelles avec des animaux ou des cadavres |
Niveaux de gravité de violence
Niveau de gravité | Description | Exemple d’image |
---|---|---|
Safe | Le contenu est sûr, mais contient des images liés à la violence utilisées dans un sens général. notamment :
|
Des représentations d’armes et d’outils à lames non réalistes |
Bas | Du contenu qui contient des images et des actes liés à la violence dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment :
|
Des représentations de drapeaux d’ISIS/al-Qaïda |
Moyenne | Du contenu qui contient une violence graphique modérée et des actes violents visant une cible identifiée. notamment :
|
Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu |
Forte | Du contenu qui contient des représentations détaillées explicites de la violence et des actes violents avec un niveau de gore élevé. notamment :
|
Les représentations de la mort lorsqu’elles sont effectuées par des groupes terroristes identifiables par des drapeaux et des symboles d’ISIS |
Niveaux de gravités d’automutilation
Niveau de gravité | Description | Exemple d’image |
---|---|---|
Safe | Le contenu est sûr, mais contient des images liées à l’automutilation utilisées dans un sens général. notamment :
|
Des représentations de saut avec un parachute hors d’un avion |
Bas | Du contenu qui contient des images et des actes liés à l’automutilation dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment :
|
Des représentations des actes, des outils, des blessures et de l’état émotionnel liés à l’automutilation |
Moyenne | Du contenu qui contient des images graphiques modérées liées à l’automutilation et au suicide. notamment :
|
Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu et le forcer à s’automutiler |
Forte | Du contenu qui contient des représentations détaillées explicites de l’automutilation avec un niveau de gore élevé. notamment :
|
Des représentations du suicide intentionnel, où une personne s’est suicidée en sautant d’un grand bâtiment |
Étapes suivantes
Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.