¿Qué es Azure Content Moderator?What is Azure Content Moderator?

Azure Content Moderator API es un servicio Cognitive que comprueba el contenido de texto, imágenes y vídeo de material que es potencialmente ofensivo, arriesgado o no deseable por algún otro motivo.The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. Cuando se encuentra dicho material, el servicio aplica las etiquetas adecuadas (marcas) al contenido.When such material is found, the service applies appropriate labels (flags) to the content. Luego, la aplicación puede controlar el contenido marcado para cumplir las normativas o mantener el entorno adecuado para los usuarios.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Consulte la sección API de moderación para más información sobre lo que indican las diferentes marcas de contenido.See the Moderation APIs section to learn more about what the different content flags indicate.

Dónde se usaWhere it is used

Los siguientes son algunos escenarios en los que un desarrollador de software o un equipo de desarrolladores usaría Content Moderator:The following are a few scenarios in which a software developer or team would use Content Moderator:

  • Mercados en línea que moderan catálogos de productos y otro contenido generado por el usuario.Online marketplaces that moderate product catalogs and other user-generated content.
  • Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.Gaming companies that moderate user-generated game artifacts and chat rooms.
  • Plataformas de mensajería de las redes sociales que moderan las imágenes, el texto y los vídeos que agregan los usuarios.Social messaging platforms that moderate images, text, and videos added by their users.
  • Empresas multimedia que implementan la moderación de centralizada de su contenido.Enterprise media companies that implement centralized moderation for their content.
  • Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.K-12 education solution providers filtering out content that is inappropriate for students and educators.

Nota

No puede usar Content Moderator para detectar imágenes ilegales de explotación infantil.You cannot use Content Moderator to detect illegal child exploitation images. Sin embargo, las organizaciones cualificadas pueden usar PhotoDNA Cloud Service para filtrar este tipo de contenido.However, qualified organizations can use the PhotoDNA Cloud Service to screen for this type of content.

Qué incluyeWhat it includes

El servicio Content Moderator consta de varias API de servicio de web disponibles mediante llamadas REST y un SDK de .NET.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. También incluye la herramienta de revisión humana, que permite a los revisores humanos ayudar el servicio y mejorar o ajustar su función de moderación.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

API de moderaciónModeration APIs

El servicio Content Moderator incluye las API de moderación, que comprueban el contenido en busca de material que sea potencialmente inadecuado o inapropiado.The Content Moderator service includes Moderation APIs, which check content for material that is potentially inappropriate or objectionable.

Diagrama de bloques de las API de moderación de Content Moderator

En la tabla siguiente se describen los distintos tipos de API de moderación.The following table describes the different types of moderation APIs.

Grupo de APIAPI group DESCRIPCIÓNDescription
Moderación de textoText moderation Examina si el texto contiene contenido ofensivo, sexualmente explícito o sugerente, blasfemias y datos personales.Scans text for offensive content, sexually explicit or suggestive content, profanity, and personal data.
Listas de términos personalizadaCustom term lists Analiza el texto con respecto a una lista personalizada de términos, además de los términos integrados.Scans text against a custom list of terms in addition to the built-in terms. Use listas personalizadas para bloquear o permitir el contenido en función de sus propias directivas de contenido.Use custom lists to block or allow content according to your own content policies.
Moderación de imágenesImage moderation Analiza imágenes en busca de contenido para adultos o inapropiado, detecta texto en imágenes con la funcionalidad de reconocimiento óptico de caracteres (OCR) y detecta rostros.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Listas de imágenes personalizadasCustom image lists Analiza imágenes con una lista personalizada de imágenes.Scans images against a custom list of images. Use las listas de imágenes personalizadas para filtrar el contenido comúnmente recurrente que no desea volver a clasificar.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
Moderación en vídeosVideo moderation Examina si los vídeos tienen contenido para adultos o inapropiado y devuelve los marcadores de tiempo de dicho contenido.Scans videos for adult or racy content and returns time markers for said content.

Revisión de las APIReview APIs

Las API de revisión le permiten integrar la canalización de moderación con revisores humanos.The Review APIs let you integrate your moderation pipeline with human reviewers. Use las operaciones Jobs (Trabajos), Reviews (Revisiones) y Workflow (Flujo de trabajo) para crear y automatizar los flujos de trabajo de revisión humana en bucle con la herramienta de revisión (a continuación).Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the Review tool (below).

Nota

La API de flujo de trabajo aún no está disponible en .NET SDK pero se puede usar con el punto de conexión REST.The Workflow API is not yet available in the .NET SDK but can be used with the REST endpoint.

Diagrama de bloques de las API de revisión de Content Moderator

Herramienta de revisiónThe Review tool

El servicio Content Moderator también incluye la herramienta de revisión basada en web, que hospeda las revisiones del contenido para su procesamiento por parte de moderadores humanos.The Content Moderator service also includes the web-based Review tool, which hosts the content reviews for human moderators to process. La entrada humana no entrena el servicio, pero el trabajo combinado del servicio y los equipos de revisión humana permite a los desarrolladores lograr un equilibrio adecuado entre eficacia y precisión.The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy. La herramienta de revisión también proporciona un servidor front-end sencillo para diversos recursos de Content Moderator.The Review tool also provides a user-friendly front end for a variety of Content Moderator resources.

Página principal de la herramienta de revisión humana de Content Moderator

Seguridad y privacidad de los datosData privacy and security

Al igual que sucede con todas las instancias de Cognitive Services, los desarrolladores que usan el servicio Content Moderator deben estar al tanto de las directivas de Microsoft sobre los datos de los clientes.As with all of the Cognitive Services, developers using the Content Moderator service should be aware of Microsoft's policies on customer data. Para más información, consulte la página de Cognitive Services en Microsoft Trust Center.See the Cognitive Services page on the Microsoft Trust Center to learn more.

Pasos siguientesNext steps

Comience a usar el servicio Content Moderator siguiendo las instrucciones de Try Content Moderator on the web (Probar Content Moderator en la web).Get started using the Content Moderator service by following the instructions in Try Content Moderator on the web.