Como funciona o Content Moderator

  • 10 minutos

Usar o serviço Content Moderator requer uma assinatura do Azure e um recurso Content Moderator. O recurso é necessário para acessar o serviço e fornece o ponto de extremidade e a chave de acesso para o serviço.

A Microsoft fornece uma camada de preço gratuita que você pode usar para testar o serviço. Usando o nível gratuito, você pode determinar se o serviço Moderador de Conteúdo é a escolha certa para sua organização.

O serviço Content Moderator pode ser acessado através do REST ou usando o kit de desenvolvimento de software (SDK) apropriado. Os idiomas atualmente suportados no SDK são:

  • .NET
  • Java
  • Node.js
  • Python
  • Go

Moderar texto

Você pode chamar um único método na API, ModerateText, para digitalizar texto em um arquivo. Você especifica o arquivo de entrada e um arquivo de saída na chamada de método. O serviço verifica o texto no arquivo e retorna os resultados no arquivo de saída. A API retorna um resultado formatado em JSON de volta para o aplicativo de chamada. Usando uma entrada de texto de exemplo de:

"Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052"

O serviço identifica alguns dados pessoais (e-mail, telefone, IP e endereço) e, em seguida, classifica o texto com uma recomendação de revisão.

{
  "OriginalText": "Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "NormalizedText": "   janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "Misrepresentation": null,
  "PII": {
    "Email": [{
      "Detected": "abcdef@abcd.com",
      "SubType": "Regular",
      "Text": "abcdef@abcd.com",
      "Index": 21
    }],
    "IPA": [{
      "SubType": "IPV4",
      "Text": "255.255.255.255",
      "Index": 61
    }],
    "Phone": [{
      "CountryCode": "US",
      "Text": "6657789887",
      "Index": 45
    }],
    "Address": [{
      "Text": "1 Microsoft Way, Redmond, WA 98052",
      "Index": 78
    }],
    "SSN": []
  },
  "Classification": {
    "ReviewRecommended": true,
    "Category1": {
      "Score": 0.00040505084325559437
    },
    "Category2": {
      "Score": 0.22345089912414551
    },
    "Category3": {
      "Score": 0.98799997568130493
    }
  },
  "Language": "eng",
  "Terms": [{
    "Index": 3,
    "OriginalIndex": 10,
    "ListId": 0,
    "Term": "janky"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "7a6e3717-1382-4b63-a8f4-24922e041f82"
}

Moderagem de imagens

Usar o serviço para moderação de imagens requer que as imagens sejam acessíveis através de um URL. Se você tiver várias imagens, coloque as URLs de cada imagem como um item de linha separado em um arquivo de texto e envie isso para o serviço. O serviço avalia cada imagem separadamente.

Quando a imagem é avaliada, um resultado JSON é retornado indicando uma pontuação e classificação para as categorias adulto e racy.

{
  "AdultClassificationScore": 0.02518901415169239,
  "IsImageAdultClassified": false,
  "RacyClassificationScore": 0.052860850468277931,
  "IsImageRacyClassified": false,
  "Result": false,
  "AdvancedInfo": [{
    "Key": "ImageDownloadTimeInMs",
    "Value": "499"
  }, {
    "Key": "ImageSizeInBytes",
    "Value": "273405"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "d993e832-1bf5-48b2-b2b3-73e57b2bd6a2"
}

A API de imagem também oferece a capacidade de executar a deteção de rosto, executar OCR para digitalizar texto na imagem ou executar a correspondência de imagem em relação a uma lista de imagens personalizada. Cada chamada de API é uma função separada.