Información sobre los conceptos de moderación de texto

Use los modelos de moderación de texto de Content Moderator para analizar el contenido de texto.

Puede bloquear, aprobar o revisar el contenido en función de las directivas y los umbrales (consulte Revisiones, flujos de trabajo y trabajos para aprender a configurar revisiones humanas). Use los modelos de moderación de texto para aumentar la moderación humana de los entornos donde asociados, empleados y consumidores generan contenido de texto. Puede tratarse de salas de chat, paneles de discusión, bots de chat, catálogos de comercio electrónico y documentos.

La respuesta del servicio incluye la siguiente información:

• Palabras soeces: coincidencias basadas en términos con la lista integrada de términos soeces en varios idiomas
• Clasificación: clasificación asistida por máquina en tres categorías
• Datos personales
• Texto corregido automáticamente
• Texto original
• Idioma

Palabras soeces

Si la API detecta un término soez en cualquiera de los idiomas admitidos, estos términos se incluyen en la respuesta. La respuesta contiene también su ubicación (Index) en el texto original. El ListId en el siguiente ejemplo de JSON hace referencia a los términos encontrados en las listas de términos personalizadas, si hubiera alguna.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "crap"
    }

clasificación

La característica de clasificación de texto asistida por máquina de Content Moderator admite únicamente el idioma inglés y ayuda a detectar contenido potencialmente no deseado. El contenido marcado puede considerarse como inapropiado según el contexto. Transmite la probabilidad de cada categoría y puede recomendar una revisión humana. La característica utiliza un modelo entrenado para identificar posible lenguaje ofensivo, despectivo o discriminatorio. Esto incluye jerga, palabras abreviadas, palabras ofensivas y palabras mal escritas intencionadamente.

El siguiente extracto de JSON muestra una salida de ejemplo:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicación

• Category1 se refiere a la posible presencia de lenguaje que se puede considerar sexualmente explícito o para adultos en ciertas situaciones.
• Category2 se refiere a la posible presencia de lenguaje que se puede considerar sexualmente insinuante o para adultos en ciertas situaciones.
• Category3 se refiere a la posible presencia de lenguaje que se puede considerar ofensivo en ciertas situaciones.
• Score se encuentra entre 0 y 1. Cuanto más alta sea la puntuación, mayor será la predicción del modelo sobre la aplicabilidad de la categoría. Esta característica usa un modelo estadístico, en lugar de resultados codificados manualmente. Se recomienda realizar pruebas con contenido propio para determinar cómo se alinea cada categoría en función de sus propios requisitos.
• ReviewRecommended es true o false según los umbrales de puntuación internos. Los clientes deben evaluar si quieren usar este valor o decidir si desean umbrales personalizados basados en sus directivas de contenido.

Datos personales

La característica de datos personales detecta la posible presencia de esta información:

• Dirección de correo electrónico
• Dirección de correo postal en EE. UU.
• Dirección IP
• Número de teléfono en EE. UU.

El siguiente es un ejemplo de respuesta:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Corrección automática

Imagine que el texto de entrada es (los valores "qu!ck", "f0x" e "lzay" son intencionados):

The qu!ck brown f0x jumps over the lzay dog.

Si solicita corrección automática, la respuesta contiene la versión corregida del texto:

The quick brown fox jumps over the lazy dog.

Creación y administración de las listas personalizadas de términos

Si bien la lista global y predeterminada de términos funciona muy bien para la mayoría de los casos, puede que desee analizar términos específicos para sus necesidades empresariales. Por ejemplo, quizá desee filtrar nombres de marcas de la competencia presentes en las publicaciones de los usuarios.

En el ejemplo siguiente se muestra el identificador de la lista de coincidencias:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "crap"
    }

Content Moderator proporciona una API de lista de términos con operaciones para administrar listas de términos personalizadas. Comience con la consola de API de listas de términos y use los ejemplos de código de la API REST. Consulte también el inicio rápido de .NET de listas de términos si está familiarizado con C# y Visual Studio.

Pasos siguientes

Pruebe las API con la consola de API de moderación de texto. Consulte también Revisiones, flujos de trabajo y trabajos para aprender a configurar revisiones humanas.