Was ist Azure Content Moderator?What is Azure Content Moderator?

Die Azure Content Moderator-API gehört zu Cognitive Services und überprüft Text-, Bild- und Videoinhalte auf potenziell anstößiges, riskantes oder anderweitig unerwünschtes Material.The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. Gefundenes Material dieser Art wird mithilfe von Flags entsprechend gekennzeichnet.When such material is found, the service applies appropriate labels (flags) to the content. Mit Flags versehene Inhalte können dann von Ihrer App angemessen behandelt werden, um Vorgaben zu erfüllen oder den Benutzern die vorgesehene Umgebung zu bieten.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Weitere Informationen zur Bedeutung der verschiedenen Inhaltsflags finden Sie im Abschnitt Moderations-APIs.See the Moderation APIs section to learn more about what the different content flags indicate.

EinsatzgebieteWhere it is used

Im Anschluss finden Sie einige Szenarien, in denen ein Softwareentwickler oder Team Content Moderator verwenden kann:The following are a few scenarios in which a software developer or team would use Content Moderator:

  • Onlinemarktplätze, die Produktkataloge und andere benutzergenerierte Inhalte moderierenOnline marketplaces that moderate product catalogs and other user-generated content.
  • Gamingunternehmen, die benutzergenerierte Spielartefakte und Chatrooms moderierenGaming companies that moderate user-generated game artifacts and chat rooms.
  • Messagingplattformen sozialer Medien, die von Benutzern hinzugefügte Bilder, Texte und Videos moderierenSocial messaging platforms that moderate images, text, and videos added by their users.
  • Medienunternehmen, die eine zentrale Moderation für ihre Inhalte implementierenEnterprise media companies that implement centralized moderation for their content.
  • Anbieter im Bildungswesen, die unangemessene Inhalte für Schüler und Lehrer herausfilternK-12 education solution providers filtering out content that is inappropriate for students and educators.

Hinweis

Sie können Content Moderator nicht verwenden, um nach Bildern zu suchen, auf denen Kinder in nicht zulässiger Weise dargestellt sind.You cannot use Content Moderator to detect illegal child exploitation images. Qualifizierte Organisationen können jedoch den PhotoDNA Cloud Service verwenden, um nach derartigen Inhalten zu suchen.However, qualified organizations can use the PhotoDNA Cloud Service to screen for this type of content.

LieferumfangWhat it includes

Der Content Moderator-Dienst umfasst mehrere Webdienst-APIs, die sowohl über REST-Aufrufe als auch über ein .NET SDK verfügbar sind.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. Darüber hinaus steht ein Tool für die Überprüfung durch Personen zur Verfügung, mit dem Personen den Dienst unterstützen und seine Moderationsfunktion verbessern oder optimieren können.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

Moderations-APIsModeration APIs

Der Content Moderator-Dienst umfasst Moderations-APIs, die Inhalte auf potenziell ungeeignetes oder anstößiges Material überprüfen.The Content Moderator service includes Moderation APIs, which check content for material that is potentially inappropriate or objectionable.

Blockdiagramm für Moderations-APIs von Content Moderator

Die folgende Tabelle beschreibt die verschiedenen Typen von Moderations-APIs.The following table describes the different types of moderation APIs.

API-GruppeAPI group BESCHREIBUNGDescription
TextmoderationText moderation Durchsucht Text nach anstößigen Inhalten, explizit sexuellen oder anzüglichen Inhalten, Obszönitäten und personenbezogenen Daten.Scans text for offensive content, sexually explicit or suggestive content, profanity, and personal data.
Benutzerdefinierte BegriffslistenCustom term lists Überprüft Text auf Begriffe aus einer benutzerdefinierten Begriffsliste (zusätzlich zu den integrierten Begriffen).Scans text against a custom list of terms in addition to the built-in terms. Mithilfe von benutzerdefinierten Listen können Sie Inhalte im Einklang mit Ihren eigenen Inhaltsrichtlinien blockieren oder zulassen.Use custom lists to block or allow content according to your own content policies.
BildmoderationImage moderation Überprüft Bilder auf nicht jugendfreie oder freizügige Inhalte, erkennt Text in Bildern mithilfe der optischen Zeichenerkennung (Optical Character Recognition, OCR) und erkennt Gesichter.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Benutzerdefinierte BildlistenCustom image lists Überprüft Bilder anhand einer benutzerdefinierten Liste von Bildern.Scans images against a custom list of images. Mithilfe benutzerdefinierter Bildlisten können Sie Instanzen häufig wiederkehrender Inhalte herausfiltern, die Sie nicht erneut klassifizieren möchten.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
VideomoderationVideo moderation Überprüft Videos auf nicht jugendfreie oder freizügige Inhalte und gibt Zeitmarkierungen für entsprechende Inhalte zurück.Scans videos for adult or racy content and returns time markers for said content.

Überprüfen von APIsReview APIs

Mithilfe der Review-APIs können Sie Ihre Moderationspipeline für menschliche Reviewer integrieren.The Review APIs let you integrate your moderation pipeline with human reviewers. Verwenden Sie die Vorgänge Jobs, Reviews und Workflow, um mit dem Review-Tool (unten) Workflows für die Überprüfung durch Personen zu erstellen und zu automatisieren.Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the Review tool (below).

Hinweis

Die Workflow-API ist noch nicht im .NET SDK verfügbar, sie kann jedoch mit dem REST-Endpunkt verwendet werden.The Workflow API is not yet available in the .NET SDK but can be used with the REST endpoint.

Blockdiagramm für Review-APIs von Content Moderator

Das PrüfungstoolThe Review tool

Der Content Moderator-Dienst enthält auch das webbasierte Überprüfungstool, das die Inhaltsüberprüfungen für menschliche Moderatoren hostet.The Content Moderator service also includes the web-based Review tool, which hosts the content reviews for human moderators to process. Der Dienst wird durch die menschlichen Eingaben nicht trainiert. Die Zusammenarbeit zwischen Dienst und menschlichen Überprüfungsteams ermöglicht es Entwicklern jedoch, ein ausgewogenes Verhältnis zwischen Effizienz und Genauigkeit zu erzielen.The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy. Das Überprüfungstool bietet auch ein benutzerfreundliches Front-End für eine Vielzahl von Content Moderator-Ressourcen.The Review tool also provides a user-friendly front end for a variety of Content Moderator resources.

Startseite des Content Moderator-Tools für die Überprüfung durch Personen

Datenschutz und SicherheitData privacy and security

Wie bei allen Cognitive Services-Diensten müssen Entwickler, die den Content Moderator-Dienst nutzen, die Microsoft-Richtlinien zu Kundendaten beachten.As with all of the Cognitive Services, developers using the Content Moderator service should be aware of Microsoft's policies on customer data. Weitere Informationen finden Sie im Microsoft Trust Center auf der Seite zu Cognitive Services.See the Cognitive Services page on the Microsoft Trust Center to learn more.

Nächste SchritteNext steps

Anweisungen zu den ersten Schritten mit dem Content Moderator-Dienst finden Sie unter Schnellstart: Erste Schritte mit Content Moderator.Get started using the Content Moderator service by following the instructions in Try Content Moderator on the web.