Aprender conceitos de moderação de texto

Utilize os modelos de moderação de texto do Content Moderator para analisar conteúdos de texto, tais como salas de chat, painéis de debate, chatbots, catálogos de comércio eletrónico e documentos.

A resposta do serviço inclui as seguintes informações:

• Profanidade: correspondência baseada em termos com uma lista incorporada de termos profanos em vários idiomas
• Classificação: classificação assistida por máquinas em três categorias
• Dados pessoais
• Texto corrigido automaticamente
• Texto original
• Linguagem

Palavras ofensivas

Se a API detetar termos profanos em qualquer um dos idiomas suportados, esses termos serão incluídos na resposta. A resposta também contém a respetiva localização (Index) no texto original. O ListId no seguinte JSON de exemplo refere-se aos termos encontrados nas listas de termos personalizados , se disponíveis.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Para o parâmetro de idioma , atribua eng ou deixe-o vazio para ver a resposta de classificação assistida pelo computador (funcionalidade de pré-visualização). Esta funcionalidade só suporta inglês.

Para deteção de termos de profanidade , utilize o código ISO 639-3 dos idiomas suportados listados neste artigo ou deixe-o vazio.

Classificação

A funcionalidade de classificação de texto assistido por computador do Content Moderator suporta apenas o inglês e ajuda a detetar conteúdo potencialmente indesejável. O conteúdo sinalizado pode ser avaliado como inadequado consoante o contexto. Transmite a probabilidade de cada categoria. A funcionalidade utiliza um modelo preparado para identificar possíveis linguagens abusivas, depreciativas ou discriminatórias. Isto inclui gíria, palavras abreviadas, palavras ofensivas e intencionalmente mal escritas.

O seguinte extrato no extrato JSON mostra um resultado de exemplo:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicação

• Category1 refere-se à potencial presença de linguagem que pode ser considerada sexualmente explícita ou adulta em determinadas situações.
• Category2 refere-se à potencial presença de linguagem que pode ser considerada sexualmente sugestiva ou madura em determinadas situações.
• Category3 refere-se à potencial presença de linguagem que pode ser considerada ofensiva em determinadas situações.
• Score está entre 0 e 1. Quanto maior for a classificação, maior será o modelo a prever que a categoria pode ser aplicável. Esta funcionalidade baseia-se num modelo estatístico em vez de resultados codificados manualmente. Recomendamos que teste com o seu próprio conteúdo para determinar como cada categoria se alinha com os seus requisitos.
• ReviewRecommended é verdadeiro ou falso consoante os limiares de classificação internos. Os clientes devem avaliar se devem utilizar este valor ou decidir sobre limiares personalizados com base nas respetivas políticas de conteúdo.

Dados pessoais

A funcionalidade de dados pessoais deteta a potencial presença destas informações:

• Endereço de e-mail
• Endereço de correio dos EUA
• Endereço IP
• Número de telefone dos EUA

O exemplo seguinte mostra uma resposta de exemplo:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Correção automática

Opcionalmente, a resposta de moderação de texto pode devolver o texto com a correção automática básica aplicada.

Por exemplo, o seguinte texto de entrada tem um erro ortográfico.

A raposa castanha rápida salta por cima do cão lazzy.

Se especificar a correção automática, a resposta contém a versão corrigida do texto:

A raposa castanha rápida salta por cima do cão preguiçoso.

Criar e gerir as suas listas personalizadas de termos

Embora a lista de termos predefinida e global funcione perfeitamente para a maioria dos casos, poderá querer analisar os termos específicos das suas necessidades empresariais. Por exemplo, poderá querer filtrar quaisquer nomes de marcas competitivas de publicações por parte dos utilizadores.

Nota

Existe um limite máximo de 5 listas de termos, sendo que cada lista não pode exceder 10 000 termos.

O exemplo seguinte mostra o ID da Lista correspondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

O Content Moderator fornece uma API de Lista de Termos com operações para gerir listas de termos personalizados. Comece com a Consola da API Listas de Termos e utilize os exemplos de código da API REST. Consulte também o guia de início rápido .NET das Listas de Termos se estiver familiarizado com o Visual Studio e c#.

Passos seguintes

Teste as APIs com a consola da API de moderação de texto.