¿Qué es Azure Content Moderator?What is Azure Content Moderator?

Azure Content Moderator API es un servicio Cognitive que comprueba el contenido de texto, imágenes y vídeo de material que es potencialmente ofensivo, arriesgado o no deseable por algún otro motivo.The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. Cuando se encuentra dicho material, el servicio aplica las etiquetas adecuadas (marcas) al contenido.When such material is found, the service applies appropriate labels (flags) to the content. Luego, la aplicación puede controlar el contenido marcado para cumplir las normativas o mantener el entorno adecuado para los usuarios.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Consulte la sección API de Content Moderator para más información acerca de lo que indican las diferentes marcas de contenido.See the Content Moderator APIs section to learn more about what the different content flags indicate.

Dónde se usaWhere it is used

Los siguientes son algunos escenarios en los que un desarrollador de software o un equipo de desarrolladores usaría Content Moderator:The following are a few scenarios in which a software developer or team would use Content Moderator:

  • Instancias de Marketplace en línea que moderan catálogos de productos y otro contenido generado por el usuario.Online marketplaces that moderate product catalogs and other user-generated content
  • Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.Gaming companies that moderate user-generated game artifacts and chat rooms
  • Plataformas de mensajería de las redes sociales que moderan las imágenes, el texto y los vídeos que agregan los usuarios.Social messaging platforms that moderate images, text, and videos added by their users
  • Empresas multimedia que implementan la moderación de centralizada de su contenido.Enterprise media companies that implement centralized moderation for their content
  • Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.K-12 education solution providers filtering out content that is inappropriate for students and educators

Qué incluyeWhat it includes

El servicio Content Moderator consta de varias API de servicio de web disponibles mediante llamadas REST y un SDK de .NET.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. También incluye la herramienta de revisión humana, que permite a los revisores humanos ayudar el servicio y mejorar o ajustar su función de moderación.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

diagrama de bloques de Content Moderator que muestra las API de moderación, las API de revisión y la herramienta de revisión humana

API de Content ModeratorContent Moderator APIs

El servicio Content Moderator incluye API para los escenarios siguientes.The Content Moderator service includes APIs for the following scenarios.

.Action DescripciónDescription
Moderación de textoText moderation Analiza si el texto contiene contenido ofensivo, sexualmente explícito o sugerente, blasfemias e información personal identificable (PII).Scans text for offensive content, sexually explicit or suggestive content, profanity, and personally identifiable information (PII).
Listas de términos personalizadaCustom term lists Analiza el texto con respecto a una lista personalizada de términos, además de los términos integrados.Scans text against a custom list of terms in addition to the built-in terms. Use listas personalizadas para bloquear o permitir el contenido en función de sus propias directivas de contenido.Use custom lists to block or allow content according to your own content policies.
Moderación de imágenesImage moderation Analiza imágenes en busca de contenido para adultos o inapropiado, detecta texto en imágenes con la funcionalidad de reconocimiento óptico de caracteres (OCR) y detecta rostros.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Listas de imágenes personalizadasCustom image lists Analiza imágenes con una lista personalizada de imágenes.Scans images against a custom list of images. Use las listas de imágenes personalizadas para filtrar el contenido comúnmente recurrente que no desea volver a clasificar.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
Moderación en vídeosVideo moderation Examina si los vídeos tienen contenido para adultos o inapropiado y devuelve los marcadores de tiempo de dicho contenido.Scans videos for adult or racy content and returns time markers for said content.
RevisiónReview Use las operaciones de Jobs, Reviews y Workflow para crear y automatizar los flujos de trabajo administrados por personas con la herramienta de revisión humana.Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the human review tool. La API de flujo de trabajo aún no está disponible mediante el SDK de .NET.The Workflow API is not yet available through the .NET SDK.

Herramienta de revisión humanaHuman review tool

El servicio Content Moderator también incluye herramienta de revisión humana basada en web.The Content Moderator service also includes the web-based human review tool.

Página principal de la herramienta de revisión humana de Content Moderator

Las API de revisión se pueden usar para configurar las revisiones por parte del equipo del contenido de texto, imagen y vídeo, según los filtros que especifique.You can use the Review APIs to set up team reviews of text, image, and video content, according to filters that you specify. A continuación, los moderadores humanos pueden tomar las decisiones finales con respecto a la moderación.Then, human moderators can make the final moderation decisions. La entrada humana no entrena el servicio, pero el trabajo combinado del servicio y los equipos de revisión humana permite a los desarrolladores lograr un equilibrio adecuado entre eficacia y precisión.The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy.

Pasos siguientesNext steps

Para empezar a usar Content Moderator, siga la guía de inicio rápido.Follow the Quickstart to get started using Content Moderator.