Что такое Azure Content Moderator?
Важно!
Azure Content Moderator устарел в феврале 2024 г. и будет прекращен к февралю 2027 г. Он заменен Сейф содержимого ИИ Azure, который предлагает расширенные функции ИИ и улучшенную производительность.
Содержимое ИИ Azure Сейф ty — это комплексное решение, предназначенное для обнаружения вредоносного пользовательского содержимого и содержимого, созданного ИИ в приложениях и службах. Контент ИИ Azure Сейф ty подходит для многих сценариев, таких как онлайн-marketplaces, игровые компании, платформы социальных сообщений, корпоративные медиа-компании и поставщики решений для образования K-12. Ниже приведен обзор ее функций и возможностей.
- API обнаружения текста и изображений: сканировать текст и изображения для сексуального содержимого, насилия, ненависти и самоповредения с несколькими уровнями серьезности.
- Содержимое Сейф ty Studio: онлайн-инструмент, предназначенный для обработки потенциально оскорбительных, рискованных или нежелательных содержимого с помощью наших последних моделей машинного обучения режим палатки ration ML. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяющие пользователям создавать собственные системы con режим палатки ration.
- Поддержка языка: содержимое ИИ Azure Сейф ty поддерживает более 100 языков и специально обучается на английском, немецком, японском, испанском, французском, итальянском, португальском и китайском языках.
Содержимое ИИ Azure Сейф ty предоставляет надежное и гибкое решение для ваших потребностей в режим палатки. Переключившись с Content Moderator на содержимое ИИ Azure Сейф ty, вы можете воспользоваться новейшими инструментами и технологиями, чтобы гарантировать, что содержимое всегда модерируется в соответствии с вашими точными спецификациями.
Узнайте больше о Сейф содержимого ИИ Azure и узнайте, как он может повысить уровень стратегии кон режим палатки терации.
Azure Content Moderator — это служба ИИ, позволяющая управлять контентом, который может носить оскорбительный характер или представлять опасность либо нежелательным контентом иного рода. Она включает службу модерации контента на основе ИИ, которая позволяет проверять текст, изображения и видео, а также автоматически применять флаги содержимого.
Возможно, вам потребуется встроить в свое приложение программное обеспечение для фильтрации контента, чтобы поддерживать соответствие нормативным требованиям или организовать надлежащую среду для пользователей.
Эта документация включает статьи следующих типов:
- Краткие руководства — инструкции по началу работы и отправке запросов в службу.
- Руководства — содержат инструкции для более специфического или специализированного использования службы.
- Статьи с основными понятиями — здесь подробно описываются функциональность и возможности службы.
Для более структурированного подхода следуйте модулю Обучения для Content Moderator.
- Общие сведения о Content Moderator
- Классификация и умеренный текст с помощью Azure Content Moderator
Где используется
Ниже приведены несколько сценариев, в которых разработчику программного обеспечения или команде требуется служба модерации контента:
- интернет-магазины с модерацией каталогов продукции и создаваемого пользователями содержимого;
- компании-разработчики игр, которые модерируют создаваемые пользователями игровые артефакты и чаты;
- социальные платформы для обмена сообщениями с модерацией изображений, текста и видео, добавляемых пользователями;
- корпоративные медиакомпании, внедряющие централизованную модерацию своего содержимого;
- поставщики образовательных решений K-12, фильтрующие неуместное содержимое для учащихся и преподавателей.
Важно!
Вы не можете использовать Content Moderator для проверки изображений на наличие сцен противозаконной эксплуатации детей. При этом уполномоченные организации могут использовать для этих целей облачную службу PhotoDNA.
Компоненты
Служба Content Moderator состоит из нескольких API веб-службы, доступных через вызовы REST и пакет SDK для .NET.
API модерации
В службу Content Moderator входят API модерации, которые проверяют содержимое на наличие потенциально неприемлемых или нежелательных материалов.
Различные типы API модерации описаны в следующей таблице.
| Группа API | Description |
|---|---|
| Модерация текста | Просматривает текст на наличие оскорбительного содержимого, содержимого сексуального или непристойного характера, содержимого с ненормативной лексикой и персональными данными. |
| Пользовательские списки терминов | Проверяет текст с использованием настраиваемого списка терминов наряду со встроенным списком. Используйте пользовательские списки для блокировки или разрешения содержимого в соответствии с собственными политиками содержимого. |
| Модерация изображений | Проверяет изображения на наличие непристойного содержимого или содержимого для взрослых, выявляет в изображениях текст с помощью функции распознавания текста, а также распознает лица. |
| Пользовательские списки изображений | Проверяет изображения с использованием пользовательского списка изображений. Используйте пользовательский список изображений для фильтрации экземпляров часто встречающегося содержимого, которое вы не хотите классифицировать еще раз. |
| Модерация видео | Проверяет видео на наличие непристойного содержимого или содержимого для взрослых и возвращает метки времени для указанного содержимого. |
Конфиденциальность и безопасность данных
Как и во всех службах ИИ Azure, разработчики, использующие службу Content Moderator, должны учитывать политики Майкрософт по данным клиентов. Дополнительные сведения см. на странице служб ИИ Azure в Центре управления безопасностью Майкрософт.
Следующие шаги
- Выполните краткое руководство по клиентской библиотеке или REST API, чтобы реализовать основные сценарии в коде.