Категории вреда в содержимом ИИ Azure Сейф ty

В этом руководстве описаны все категории вреда и оценки, которые Сейф содержимого ИИ Azure использует для флага содержимого. Содержимое текста и изображения используют один и тот же набор флагов.

Категории вреда

Содержимое Сейф ty распознает четыре отдельные категории нежелательного содержимого.

Категория Description
Ненависть и справедливость Ненависть и справедливость, связанные с вредом, относятся к любому содержимому, которое нападает или использует педжеративный или дискриминационный язык со ссылкой на человека или группу личности на основе определенных различных атрибутов этих групп, включая, но не ограничивается расой, этнической принадлежности, национальностью, гендерной идентификацией и выражением, сексуальной ориентацией, религией, иммиграционным статусом, статусом способности, личным появлением и размером тела.

Справедливость связана с обеспечением того, чтобы системы искусственного интеллекта относились ко всем группам людей справедливо, не внося вклад в существующие социальные неравенства. Как и в случае с ненавистной речью, вред, связанный с справедливостью, зависит от разрозненного обращения с группами удостоверений.
Сексуальной Сексуальный описывает язык, связанный с анатомическими органами и гениталиями, романтические отношения, действия, изображаемые в эротических или ласковых терминах, беременности, физических сексуальных актах, включая те, которые изображаются как нападение или принудительный сексуальный насильственный акт против воли, проституции, порнографии и злоупотреблений.
Насилие Насилие описывает язык, связанный с физическими действиями, предназначенными для того, чтобы повредить, ранить, повредить или убить кого-то или что-то; описывает оружие, оружие и связанные с ними сущности, такие как производство, ассоциации, законодательство и т. д.
Самоповредение Самоповреждение описывает язык, связанный с физическими действиями, предназначенными для намеренного повреждения, травмы, повреждения тела или убийства себя.

Классификация может быть многометкой. Например, когда пример текста проходит через модель модерации текста, его можно классифицировать как сексуальное содержимое и насилие.

Уровни серьезности

Каждая категория вреда, применяемая служба, также поставляется с оценкой уровня серьезности. Уровень серьезности предназначен для указания серьезности последствий отображения помеченного содержимого.

Текст: текущая версия текстовой модели поддерживает полный масштаб серьезности 0-7. Классификатор обнаруживает среди всех серьезности по этому масштабу. Если пользователь указывает, он может возвращать серьезность в усеченном масштабе от 0, 2, 4 и 6; каждый из двух смежных уровней сопоставляется с одним уровнем.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Изображение. Текущая версия модели образа поддерживает обрезную версию полного масштаба серьезности 0-7. Классификатор возвращает только значения серьезности 0, 2, 4 и 6; каждый из двух смежных уровней сопоставляется с одним уровнем.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Текстовое содержимое

Предупреждение

Вкладка "Определения серьезности" в этом документе содержит примеры вредного содержимого, которое может беспокоить некоторых читателей.

Содержимое изображения

Предупреждение

Вкладка "Определения серьезности" в этом документе содержит примеры вредного содержимого, которое может беспокоить некоторых читателей.

Следующие шаги

Следуйте краткому руководству, чтобы приступить к работе с содержимым ИИ Azure Сейф ty в приложении.