Что такое Azure Content Moderator?What is Azure Content Moderator?

Azure Content Moderator — это когнитивная служба, которая проверяет текст, изображения и видео на наличие потенциально оскорбительных, представляющих риск или нежелательных по иным причинам материалов.Azure Content Moderator is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. При обнаружении таких материалов служба применяет к содержимому соответствующие метки (флаги).When this material is found, the service applies appropriate labels (flags) to the content. Затем приложение может обрабатывать помеченное содержимое для обеспечения соответствия нормативным требованиям или оставлять его как предполагаемую среду для пользователей.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Сведения о том, что означают различные флаги содержимого, см. в разделе об API модерации.See the Moderation APIs section to learn more about what the different content flags indicate.

Сценарии использованииWhere it's used

Ниже приведены несколько сценариев, в которых разработчик программного обеспечения или команда используют Content Moderator:The following are a few scenarios in which a software developer or team would use Content Moderator:

  • интернет-магазины с модерацией каталогов продукции и создаваемого пользователями содержимого;Online marketplaces that moderate product catalogs and other user-generated content.
  • компании-разработчики игр, которые модерируют создаваемые пользователями игровые артефакты и чаты;Gaming companies that moderate user-generated game artifacts and chat rooms.
  • социальные платформы для обмена сообщениями с модерацией изображений, текста и видео, добавляемых пользователями;Social messaging platforms that moderate images, text, and videos added by their users.
  • корпоративные медиакомпании, внедряющие централизованную модерацию своего содержимого;Enterprise media companies that implement centralized moderation for their content.
  • поставщики образовательных решений K-12, фильтрующие неуместное содержимое для учащихся и преподавателей.K-12 education solution providers filtering out content that is inappropriate for students and educators.

Примечание

Вы не можете использовать Content Moderator для проверки изображений на наличие сцен противозаконной эксплуатации детей.You cannot use Content Moderator to detect illegal child exploitation images. При этом уполномоченные организации могут использовать для этих целей облачную службу PhotoDNA.However, qualified organizations can use the PhotoDNA Cloud Service to screen for this type of content.

КомпонентыWhat it includes

Служба Content Moderator состоит из нескольких API веб-службы, доступных через вызовы REST и пакет SDK для .NET.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. Она также содержит средство пользовательской проверки, с помощью которого человек может помочь службе и улучшить или оптимизировать ее функцию модерации.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

API модерацииModeration APIs

В службу Content Moderator входят API модерации, которые проверяют содержимое на наличие потенциально неприемлемых или нежелательных материалов.The Content Moderator service includes Moderation APIs, which check content for material that is potentially inappropriate or objectionable.

Блок-схема API модерации в Content Moderator

Различные типы API модерации описаны в следующей таблице.The following table describes the different types of moderation APIs.

Группа APIAPI group ОПИСАНИЕDescription
Модерация текстаText moderation Просматривает текст на наличие оскорбительного содержимого, содержимого сексуального или непристойного характера, содержимого с ненормативной лексикой и персональными данными.Scans text for offensive content, sexually explicit or suggestive content, profanity, and personal data.
Пользовательские списки терминовCustom term lists Проверяет текст с использованием настраиваемого списка терминов наряду со встроенным списком.Scans text against a custom list of terms along with the built-in terms. Используйте пользовательские списки для блокировки или разрешения содержимого в соответствии с собственными политиками содержимого.Use custom lists to block or allow content according to your own content policies.
Модерация изображенийImage moderation Проверяет изображения на наличие непристойного содержимого или содержимого для взрослых, выявляет в изображениях текст с помощью функции распознавания текста, а также распознает лица.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Пользовательские списки изображенийCustom image lists Проверяет изображения с использованием пользовательского списка изображений.Scans images against a custom list of images. Используйте пользовательский список изображений для фильтрации экземпляров часто встречающегося содержимого, которое вы не хотите классифицировать еще раз.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
Модерация видеоVideo moderation Проверяет видео на наличие непристойного содержимого или содержимого для взрослых и возвращает метки времени для указанного содержимого.Scans videos for adult or racy content and returns time markers for said content.

Просмотр API-интерфейсовReview APIs

API проверки позволяют интегрировать работу конвейера модерации и модераторов-людей.The Review APIs let you integrate your moderation pipeline with human reviewers. Используйте операции Задания, Проверки и Рабочий процесс для создания и автоматизации рабочих процессов с участием человека при помощи средства проверки (см. ниже).Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the Review tool (below).

Примечание

API рабочих процессов еще недоступен в пакете SDK для .NET, но его уже можно использовать с конечной точкой REST.The Workflow API is not yet available in the .NET SDK but can be used with the REST endpoint.

Блок-схема API проверки в Content Moderator

Инструмент проверкиThe Review tool

Служба Content Moderator также имеет средство проверки, в котором находятся результаты проверки для обработки людьми.The Content Moderator service also includes the web-based Review tool, which hosts the content reviews for human moderators to process. Вводимые людьми данные не обучают службу, но совместное использование службы и команд настраиваемой проверки позволяет разработчикам найти баланс между эффективностью и точностью.The human input doesn't train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy. Средство проверки также имеет удобный интерфейс, в котором доступны разные ресурсы Content Moderator.The Review tool also provides a user-friendly front end for several Content Moderator resources.

Домашняя страница средства пользовательской проверки Content Moderator

Конфиденциальность и безопасность данныхData privacy and security

Как и в случае со всеми другими Cognitive Services, разработчикам, использующим службу Content Moderator, следует учитывать политику корпорации Майкрософт касательно клиентских данных.As with all of the Cognitive Services, developers using the Content Moderator service should be aware of Microsoft's policies on customer data. Дополнительные сведения см. на странице о Cognitive Services Центра управления безопасностью Майкрософт.See the Cognitive Services page on the Microsoft Trust Center to learn more.

Дополнительная информацияNext steps

Инструкции по началу работы со службой Content Moderator см. в статье Краткое руководство. Знакомство с Content Moderator.Get started using the Content Moderator service by following the instructions in Try Content Moderator on the web.