Co je Azure Content Moderator?What is Azure Content Moderator?

Rozhraní API Azure Content Moderatoru je služba Cognitive Services, která kontroluje potenciálně urážlivý, rizikový nebo jinak nežádoucí materiál v textu, obrázcích a videích.The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. Pokud se takový materiál najde, použije služba pro obsah odpovídající popisky (příznaky).When such material is found, the service applies appropriate labels (flags) to the content. Vaše aplikace pak může obsah označený příznakem zpracovat a zajistit tak dodržování předpisů nebo zachování zamýšleného prostředí pro uživatele.Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. Další informace o tom, co značí různé příznaky obsahu, najdete v části Rozhraní API Content Moderatoru.See the Content Moderator APIs section to learn more about what the different content flags indicate.

Kde se používáWhere it is used

Následuje několik scénářů, ve kterých by vývojář nebo tým vývojářů softwaru mohli službu Content Moderator využít:The following are a few scenarios in which a software developer or team would use Content Moderator:

  • Online tržiště moderující katalogy produktů a další uživatelem generovaný obsahOnline marketplaces that moderate product catalogs and other user-generated content
  • Herní společnosti moderující uživatelem generované herní artefakty a chatovací místnostiGaming companies that moderate user-generated game artifacts and chat rooms
  • Sociální platforma zasílání zpráv moderující obrázky, texty a videa přidaná uživateliSocial messaging platforms that moderate images, text, and videos added by their users
  • Podnikové mediální společnosti implementující centralizované moderování obsahuEnterprise media companies that implement centralized moderation for their content
  • Poskytovatelé řešení vzdělávání K-12 filtrující nevhodný obsah pro studenty a vyučujícíK-12 education solution providers filtering out content that is inappropriate for students and educators

Co zahrnujeWhat it includes

Služba Content Moderator se skládá z několika rozhraní API webových služeb, která jsou k dispozici prostřednictvím volání REST i sady .NET SDK.The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. Zahrnuje také nástroj pro kontrolu prováděnou lidmi, který lidským kontrolorům umožňuje ve službě vylepšovat nebo ladit funkci moderování.It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

Blokový diagram pro Content Moderator znázorňující rozhraní API pro moderování, rozhraní API pro kontrolu a nástroj pro kontrolu prováděnou lidmi

Rozhraní API Content ModeratoruContent Moderator APIs

Služba Content Moderator zahrnuje rozhraní API pro následující scénáře.The Content Moderator service includes APIs for the following scenarios.

AkceAction PopisDescription
Moderování textuText moderation Vyhledává v textu urážlivý obsah, sexuálně explicitní nebo sugestivní obsah, vulgární výrazy a identifikovatelné osobní údaje (PII).Scans text for offensive content, sexually explicit or suggestive content, profanity, and personally identifiable information (PII).
Seznamy vlastních výrazůCustom term lists Vyhledává v textu kromě předdefinovaných výrazů i výrazy z vlastního seznamu.Scans text against a custom list of terms in addition to the built-in terms. Pomocí vlastních seznamů můžete blokovat nebo povolovat obsah podle vlastních zásad obsahu.Use custom lists to block or allow content according to your own content policies.
Moderování obrázkůImage moderation Vyhledává na obrázcích obsah pro dospělé nebo nevhodný obsah, rozpoznává text na obrázcích pomocí funkce optického rozpoznávání znaků (OCR) a rozpoznává tváře.Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
Seznamy vlastních obrázkůCustom image lists Vyhledává na obrázcích obrázky z vlastního seznamu.Scans images against a custom list of images. Pomocí seznamů vlastních obrázků můžete vyfiltrovat instance běžně se opakujícího obsahu, který nechcete znovu klasifikovat.Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
Moderování videaVideo moderation Vyhledává ve videích nevhodný obsah nebo obsah pro dospělé a vrací pro uvedený obsah časové značky.Scans videos for adult or racy content and returns time markers for said content.
KontrolaReview Pomocí operací úloh, kontrol a pracovních postupů můžete v nástroji pro kontrolu prováděnou lidmi vytvořit a automatizovat pracovní postupy prováděné lidmi.Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the human review tool. Rozhraní API pro pracovní postupy ještě není v sadě .NET SDK dostupné.The Workflow API is not yet available through the .NET SDK.

Nástroj pro kontrolu prováděnou lidmiHuman review tool

Služba Content Moderator zahrnuje také webový nástroj pro kontrolu prováděnou lidmi.The Content Moderator service also includes the web-based human review tool.

Úvodní stránka nástroje pro kontrolu prováděnou lidmi v Content Moderatoru

Pomocí rozhraní API pro kontrolu můžete nastavit týmové kontroly textu, obrázků a videí v závislosti na zadaných filtrech.You can use the Review APIs to set up team reviews of text, image, and video content, according to filters that you specify. Konečné rozhodnutí o moderování pak můžou provést lidští moderátoři.Then, human moderators can make the final moderation decisions. Lidský přínos neslouží k trénování služby, ale kombinace práce služby a lidského posuzovacího týmu umožní vývojářům dosáhnout správné rovnováhy mezi efektivitou a přesností.The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy.

Ochrany osobních údajů a zabezpečeníData privacy and security

Jako se všemi služeb Cognitive Services, vývojáře, kteří používají službu Content Moderator měli vědět zásady společnosti Microsoft na zákaznická data.As with all of the Cognitive Services, developers using the Content Moderator service should be aware of Microsoft's policies on customer data. Zobrazit stránku služeb Cognitive Services na webu Microsoft Trust Center další informace.See the Cognitive Services page on the Microsoft Trust Center to learn more.

Další postupNext steps

Začínáme používat službu Content Moderator podle pokynů v zkuste Content Moderator na webu.Get started using the Content Moderator service by following the instructions in Try Content Moderator on the web.