Изучение концепций модерации изображенийLearn image moderation concepts

Модерация изображений Content Moderator с применением машинных алгоритмов и средства проверки с участием человека позволяют определять изображения с содержимым только для взрослых и непристойного характера.Use Content Moderator’s machine-assisted image moderation and human-in-the-loop Review tool to moderate images for adult and racy content. Вы можете проверить наличие текста на изображениях, извлечь этот текст и (или) распознать лица.Scan images for text content and extract that text, and detect faces. Вы можете сопоставить изображения с настраиваемым списком и предпринять соответствующие действия.You can match images against custom lists, and take further action.

Оценка на наличие содержимого для взрослых и (или) непристойного характераEvaluating for adult and racy content

Операция Evaluate возвращает показатель достоверности в диапазоне от 0 до 1.The Evaluate operation returns a confidence score between 0 and 1. Она также возвращает двоичное значение (True или False).It also returns boolean data equal to true or false. Эти значения предсказывают, есть ли на изображении содержимое для взрослых или непристойного характера.These values predict whether the image contains potential adult or racy content. Передав на API проверяемое изображение (файл или URL-адрес), вы получите ответ со следующими сведениями.When you call the API with your image (file or URL), the returned response includes the following information:

"ImageModeration": {
  .............
  "adultClassificationScore": 0.019196987152099609,
  "isImageAdultClassified": false,
  "racyClassificationScore": 0.032390203326940536,
  "isImageRacyClassified": false,
  ............
  ],

Примечание

  • isImageAdultClassified обозначает потенциальное наличие изображений, которые в некоторых обстоятельствах могут считаться сексуально откровенными или предназначенными только для взрослых.isImageAdultClassified represents the potential presence of images that may be considered sexually explicit or adult in certain situations.
  • isImageRacyClassified обозначает потенциальное наличие изображений, которые в некоторых обстоятельствах могут считаться сексуально окрашенными или не предназначенными для детей.isImageRacyClassified represents the potential presence of images that may be considered sexually suggestive or mature in certain situations.
  • Оценка выражается числом в диапазоне от 0 до 1.The scores are between 0 and 1. Чем выше оценка, тем более подходящей модель считает соответствующую категорию.The higher the score, the higher the model is predicting that the category may be applicable. Эта предварительная версия использует статистическую модель прогнозирования, а не оценки, кодированные вручную.This preview relies on a statistical model rather than manually coded outcomes. Корпорация Майкрософт рекомендует протестировать ее на своих данных, чтобы проверить применимость анализа по каждой категории.We recommend testing with your own content to determine how each category aligns to your requirements.
  • Логические параметры принимают значения True или False в зависимости от внутренних пороговых значений оценки.The boolean values are either true or false depending on the internal score thresholds. Клиенты могут выбрать, будут ли они использовать значения по умолчанию или настраивать собственные пороги в соответствии с действующими политиками содержимого.Customers should assess whether to use this value or decide on custom thresholds based on their content policies.

Поиск текста через оптическое распознавание символов (OCR)Detecting text with Optical Character Recognition (OCR)

Операция оптического распознавания символов (OCR) , помимо прочего, умеет прогнозировать наличие текстового содержимого на изображении и извлекать этот текст для модерации.The Optical Character Recognition (OCR) operation predicts the presence of text content in an image and extracts it for text moderation, among other uses. Вы можете указать язык для анализа.You can specify the language. Если язык не указан, обнаружение по умолчанию использует английский.If you do not specify a language, the detection defaults to English.

Ответ содержит следующие данные:The response includes the following information:

  • Исходный текст.The original text.
  • Обнаруженные текстовые элементы с оценками достоверности.The detected text elements with their confidence scores.

Пример извлечения:Example extract:

"TextDetection": {
  "status": {
    "code": 3000.0,
    "description": "OK",
    "exception": null
  },
  .........
  "language": "eng",
  "text": "IF WE DID \r\nALL \r\nTHE THINGS \r\nWE ARE \r\nCAPABLE \r\nOF DOING, \r\nWE WOULD \r\nLITERALLY \r\nASTOUND \r\nOURSELVE \r\n",
  "candidates": []
},

Распознавание лицDetecting faces

Обнаружение лиц помогает обнаруживать персональные данные, такие как лица в образах.Detecting faces helps to detect personal data such as faces in the images. Для каждого изображения возвращаются потенциальные лица и их количество на этом изображении.You detect potential faces and the number of potential faces in each image.

Ответ включает такие сведения.A response includes this information:

  • Количество лиц.Faces count
  • Список расположений, в которых обнаружены лица.List of locations of faces detected

Пример извлечения:Example extract:

"FaceDetection": {
   ......
  "result": true,
  "count": 2,
  "advancedInfo": [
  .....
  ],
  "faces": [
    {
      "bottom": 598,
      "left": 44,
      "right": 268,
      "top": 374
    },
    {
      "bottom": 620,
      "left": 308,
      "right": 532,
      "top": 396
    }
  ]
}

Создание пользовательских списков и управление имиCreating and managing custom lists

В многих Интернет-сообществах загруженные изображения и другое содержимое оскорбительного характера могут многократно дублироваться другими пользователями в течение нескольких дней, недель или месяцев.In many online communities, after users upload images or other type of content, offensive items may get shared multiple times over the following days, weeks, and months. Постоянное сканирование и удаление одного изображения или слегка измененных его версий из многих мест влечет большие затраты и может стать источником ошибок.The costs of repeatedly scanning and filtering out the same image or even slightly modified versions of the image from multiple places can be expensive and error-prone.

Вместо того, чтобы многократно удалять одно и то же изображение, вам достаточно лишь добавить оскорбительное изображение в пользовательский список блокируемого содержимого.Instead of moderating the same image multiple times, you add the offensive images to your custom list of blocked content. После этого система модерации контента будет сравнивать все поступающие изображения с примерами в этом списке, эффективно прекращая любое распространение таких изображений.That way, your content moderation system compares incoming images against your custom lists and stops any further processing.

Примечание

Существует максимальное ограничение в 5 списков изображений, каждый из которых может содержать не более 10 000 изображений.There is a maximum limit of 5 image lists with each list to not exceed 10,000 images.

Content Moderator предоставляет полнофункциональный API управления списками изображений с операциями для управления списками пользовательских изображений.The Content Moderator provides a complete Image List Management API with operations for managing lists of custom images. Начните работу с изучения консоли API для списков изображений и примеров кода для REST API.Start with the Image Lists API Console and use the REST API code samples. Также изучите краткое руководство по спискам изображений для .NET, если вы уже знакомы с C# и Visual Studio.Also check out the Image List .NET quickstart if you are familiar with Visual Studio and C#.

Проверка по настраиваемым спискамMatching against your custom lists

Операция Match позволяет обнаруживать нечеткие соответствия входящих изображений по любому из настраиваемых списков, созданных и управляемых с помощью операций интерфейса List.The Match operation allows fuzzy matching of incoming images against any of your custom lists, created and managed using the List operations.

Если найдено соответствие, операция возвращает идентификатор и теги модерации для найденного изображения.If a match is found, the operation returns the identifier and the moderation tags of the matched image. Ответ включает такие сведения.The response includes this information:

  • Оценка совпадения (в диапазоне от 0 до 1).Match score (between 0 and 1)
  • Изображение, для которого найдено совпадение.Matched image
  • Теги изображения (присвоенные при предыдущих операциях модерации).Image tags (assigned during previous moderation)
  • Метки изображения.Image labels

Пример извлечения:Example extract:

{
..............,
"IsMatch": true,
"Matches": [
    {
        "Score": 1.0,
        "MatchId": 169490,
        "Source": "169642",
        "Tags": [],
        "Label": "Sports"
    }
],
....
}

Средство пользовательской проверкиHuman review tool

В более сложных случаях вы можете применить инструмент проверки Content Moderator и предоставляемые им API-интерфейсы для изучения результатов модерации и подозрительного содержимого силами модераторов.For more nuanced cases, use the Content Moderator review tool and its API to surface the moderation results and content in the review for your human moderators. Они смогут проверить теги, присвоенные системой и принять окончательное решение.They review the machine-assigned tags and confirm their final decisions.

Проверка изображений модераторами-пользователями

Дальнейшие действияNext steps

Проверьте в работе консоль API для списков изображений и примеры кода для REST API.Test drive the Image Moderation API console and use the REST API code samples. Кроме того, ознакомьтесь с разделом "контроль изображений" в кратком руководстве по пакету SDK для C#.NET, если вы знакомы с Visual Studio и.Also check out the Image moderation section of the .NET SDK quickstart if you are familiar with Visual Studio and C#.