Изучение концепций модерации изображений

  • Статья

Модерация изображений с помощью Content Moderator на базе машинных алгоритмов для определения изображения с содержимым только для взрослых и непристойного характера. Вы можете проверить наличие текста на изображениях, извлечь этот текст и (или) распознать лица. Вы можете сопоставить изображения с настраиваемым списком и предпринять соответствующие действия.

Оценка на наличие содержимого для взрослых и (или) непристойного характера

Операция Evaluate возвращает показатель достоверности в диапазоне от 0 до 1. Она также возвращает двоичное значение (True или False). Эти значения предсказывают, есть ли на изображении содержимое для взрослых или непристойного характера. Передав на API проверяемое изображение (файл или URL-адрес), вы получите ответ со следующими сведениями.

"ImageModeration": {
    .............
    "adultClassificationScore": 0.019196987152099609,
    "isImageAdultClassified": false,
    "racyClassificationScore": 0.032390203326940536,
    "isImageRacyClassified": false,
    ............
    ],

Примечание

  • isImageAdultClassified обозначает потенциальное наличие изображений, которые в некоторых обстоятельствах могут считаться сексуально откровенными или предназначенными только для взрослых.
  • isImageRacyClassified обозначает потенциальное наличие изображений, которые в некоторых обстоятельствах могут считаться сексуальными или не предназначенными для детей.
  • Оценка выражается числом в диапазоне от 0 до 1. Чем выше оценка, тем более подходящей модель считает соответствующую категорию. Эта предварительная версия использует статистическую модель прогнозирования, а не оценки, кодированные вручную. Корпорация Майкрософт рекомендует протестировать ее на своих данных, чтобы проверить применимость анализа по каждой категории.
  • Логические параметры принимают значения True или False в зависимости от внутренних пороговых значений оценки. Клиенты могут на выбор использовать значения по умолчанию или настраивать собственные пороги в соответствии с действующими политиками.

Поиск текста через оптическое распознавание символов (OCR)

Операция оптического распознавания символов (OCR), помимо прочего, умеет прогнозировать наличие текстового содержимого на изображении и извлекать этот текст для модерации. Вы можете указать язык для анализа. Если язык не указан, обнаружение по умолчанию использует английский.

Ответ содержит следующие данные:

  • Исходный текст.
  • Обнаруженные текстовые элементы с оценками достоверности.

Пример извлечения:

"TextDetection": {
    "status": {
        "code": 3000.0,
        "description": "OK",
        "exception": null
    },
    .........
    "language": "eng",
    "text": "IF WE DID \r\nALL \r\nTHE THINGS \r\nWE ARE \r\nCAPABLE \r\nOF DOING, \r\nWE WOULD \r\nLITERALLY \r\nASTOUND \r\nOURSELVE \r\n",
    "candidates": []
},

Обнаружение лиц

Обнаружение лиц помогает обнаруживать персональные данные, например лица на изображениях. Для каждого изображения возвращаются потенциальные лица и их количество на этом изображении.

Ответ включает такие сведения.

  • Количество лиц.
  • Список расположений, в которых обнаружены лица.

Пример извлечения:

"FaceDetection": {
    ......
    "result": true,
    "count": 2,
    "advancedInfo": [
        .....
    ],
    "faces": [
        {
            "bottom": 598,
            "left": 44,
            "right": 268,
            "top": 374
        },
        {
            "bottom": 620,
            "left": 308,
            "right": 532,
            "top": 396
        }
    ]
}

Создание пользовательских списков и управление ими

В многих Интернет-сообществах загруженные изображения и другое содержимое оскорбительного характера могут многократно дублироваться другими пользователями в течение нескольких дней, недель или месяцев. Постоянное сканирование и удаление одного изображения или слегка измененных его версий из многих мест влечет большие затраты и может стать источником ошибок.

Вместо того, чтобы многократно удалять одно и то же изображение, вам достаточно лишь добавить оскорбительное изображение в пользовательский список блокируемого содержимого. После этого система модерации контента будет сравнивать все поступающие изображения с примерами в этом списке, эффективно прекращая любое распространение таких изображений.

Примечание

Существует максимальное ограничение в 5 списков изображений, каждый из которых может содержать не более 10 000 изображений.

Content Moderator предоставляет полнофункциональный API управления списками изображений с операциями для управления списками пользовательских изображений. Начните работу с изучения консоли API для списков изображений и примеров кода для REST API. Также изучите краткое руководство по спискам изображений для .NET, если вы уже знакомы с C# и Visual Studio.

Проверка по настраиваемым спискам

Операция Match позволяет обнаруживать нечеткие соответствия входящих изображений по любому из настраиваемых списков, созданных и управляемых с помощью операций интерфейса List.

Если найдено соответствие, операция возвращает идентификатор и теги модерации для найденного изображения. Ответ включает такие сведения.

  • Оценка совпадения (в диапазоне от 0 до 1).
  • Изображение, для которого найдено совпадение.
  • Теги изображения (присвоенные при предыдущих операциях модерации).
  • Метки изображения.

Пример извлечения:

{
    ..............,
    "IsMatch": true,
    "Matches": [
        {
            "Score": 1.0,
            "MatchId": 169490,
            "Source": "169642",
            "Tags": [],
            "Label": "Sports"
        }
    ],
    ....
}

Дальнейшие действия

Проверьте в работе консоль API для списков изображений и примеры кода для REST API.