Co je Azure Content Moderator?
Upozornění
Nástroj pro kontrolu Content Moderator je nyní zastaralý a bude vyřazení 12/31/2021.
Azure Content Moderator je služba AI, která umožňuje zpracovávat obsah, který je potenciálně urážlivý, rizikové nebo jinak nežádoucí. Obsahuje službu pro moderování obsahu s podporou AI, která prohledává text, obrázky a videa a automaticky používá příznaky obsahu a také nástroj pro kontrolu online prostředí moderátora pro tým lidských kontrolorů.
Do své aplikace můžete chtít sestavit software pro filtrování obsahu, aby bylo možné dodržovat předpisy nebo zachovat zamýšlené prostředí pro vaše uživatele.
Tato dokumentace obsahuje následující typy článků:
- Rychlé starty jsou pokyny Začínáme, které vám pomohou při provádění požadavků na službu.
- Návody obsahují pokyny k používání služby v konkrétnějším nebo přizpůsobeném způsobu.
- Koncepty poskytují podrobné vysvětlení funkcí a funkcí služby.
- Kurzy jsou delší než příručky, které ukazují, jak používat službu jako součást v širších obchodních řešeních.
Kde se používá
Následuje několik scénářů, ve kterých může vývojář softwaru nebo tým vyžadovat službu pro moderování obsahu:
- Online tržiště, které jsou moderované katalogy produktů a další uživatelem generovaný obsah.
- Herní společnosti, které středně vytvářené herní artefakty a konverzační místnosti.
- Systémy zasílání zpráv pro sociální sítě, které přidávají jejich uživatelé jako střední obrázky, text a videa.
- Enterprise mediální společnosti, které implementují centralizované moderování pro svůj obsah.
- K-12 poskytovatelé řešení pro vzdělávání odfiltrují obsah, který je nevhodný pro studenty a pedagogy.
Důležité
Content Moderator nelze použít k detekci neplatných imagí pro zneužití. Kvalifikovaní organizace ale můžou použít cloudovou službu PhotoDNA na obrazovku pro tento typ obsahu.
Co zahrnuje
Služba Content Moderator se skládá z několika rozhraní API webových služeb, která jsou k dispozici prostřednictvím volání REST i sady .NET SDK. Zahrnuje také nástroj pro revize, který umožňuje lidským kontrolorům pomoci služby a zdokonalit nebo vyladit funkci moderování.
Rozhraní API pro moderování
Služba Content Moderator zahrnuje rozhraní API pro moderování, které kontroluje obsah pro materiál, který je potenciálně nevhodný nebo nevhodný.
Následující tabulka popisuje různé typy rozhraní API pro moderování.
| Skupina rozhraní API | Description |
|---|---|
| Moderování textu | Kontroluje text pro urážlivý obsah, sexuální explicitní nebo sugestivní obsah, vulgární výrazy a osobní údaje. |
| Seznamy vlastních výrazů | Vyhledá text na základě vlastního seznamu podmínek spolu s vestavěnými podmínkami. Pomocí vlastních seznamů můžete blokovat nebo povolovat obsah podle vlastních zásad obsahu. |
| Moderování obrázků | Vyhledává na obrázcích obsah pro dospělé nebo nevhodný obsah, rozpoznává text na obrázcích pomocí funkce optického rozpoznávání znaků (OCR) a rozpoznává tváře. |
| Seznamy vlastních obrázků | Vyhledává na obrázcích obrázky z vlastního seznamu. Pomocí seznamů vlastních obrázků můžete vyfiltrovat instance běžně se opakujícího obsahu, který nechcete znovu klasifikovat. |
| Moderování videa | Vyhledává ve videích nevhodný obsah nebo obsah pro dospělé a vrací pro uvedený obsah časové značky. |
Recenze rozhraní API
Rozhraní API pro kontrolu vám umožňují integrovat kanál moderování s lidmi revidujícími. K vytváření a automatizaci pracovních postupů pomocí Nástroje pro kontrolu (níže) použijte úlohy, recenzea operace pracovního postupu .
Poznámka
Rozhraní API pracovního postupu ještě není dostupné v sadě .NET SDK, ale dá se použít s koncovým bodem REST.
Nástroj pro revize
Služba Content Moderator také zahrnuje webový Nástroj pro revizi, který hostuje revize obsahu pro lidské moderování ke zpracování. Lidské vstupy tuto službu nevlakují, ale kombinovaná práce týmů služby a lidských revizí umožňuje vývojářům přeškrtnout správné rovnováhu mezi efektivitou a přesností. Nástroj pro kontrolu také poskytuje uživatelsky přívětivý front-end pro několik Content Moderatorch prostředků.
Ochrana osobních údajů a zabezpečení dat
Stejně jako u všech Cognitive Services by měli vývojáři, kteří používají Content Moderator službu, znát zásady Microsoftu pro zákaznická data. Další informace najdete na stránce Cognitive Services v centru zabezpečení Microsoftu.
Další kroky
Pokud chcete začít používat Content Moderator na webovém portálu, postupujte podle Content moderator vyzkoušet na webu. Nebo dokončete knihovnu klienta nebo REST API rychlý Start pro implementaci základních scénářů v kódu.