Vad är Azure Content Moderator?
Varning
Granskningsverktyget Content Moderator är nu inaktuellt och dras tillbaka den 31 maj 2021.
Azure Content Moderator är en AI-tjänst som gör att du kan hantera innehåll som är potentiellt stötande, riskabelt eller på annat sätt oönskat. Den innehåller den AI-baserade innehållsmodereringstjänsten som söker igenom text, bilder och videor och tillämpar innehållsflaggor automatiskt, samt granskningsverktyget, en moderatormiljö online för ett team med mänskliga granskare.
Du kanske vill skapa programvara för innehållsfiltrering i din app för att uppfylla kraven eller upprätthålla den avsedda miljön för dina användare.
Den här dokumentationen innehåller följande artikeltyper:
- Snabbstarter är komma igång-instruktioner som vägleder dig genom att göra begäranden till tjänsten.
- Instruktionsguider innehåller instruktioner för att använda tjänsten på mer specifika eller anpassade sätt.
- Begrepp ger djupgående förklaringar av tjänstens funktioner och funktioner.
- Självstudier är längre guider som visar hur du använder tjänsten som en komponent i bredare affärslösningar.
Var används det
Här följer några scenarier där en programutvecklare eller ett team behöver en innehållsmodereringstjänst:
- Marknadsplatser online som modererar produktkataloger och annat användargenererat innehåll.
- Spelföretag som modererar användargenererade spelartefakter och chattrum.
- Plattformar för sociala meddelanden som modererar bilder, text och videor som läggs till av användarna.
- Medieföretag som implementerar centraliserad moderering för sitt innehåll.
- K-12-utbildningslösningsleverantörer filtrerar bort innehåll som är olämpligt för elever och lärare.
Viktigt
Du kan inte använda Content Moderator för att identifiera avbildningar av otillåtet utnyttjande av barn. Kvalificerade organisationer kan dock använda PhotoDNA-molntjänsten för att skärma för den här typen av innehåll.
Vad verktyget innehåller
Content Moderator-tjänsten består av flera webbtjänst-API:er som är tillgängliga via både REST-anrop och en .NET-SDK. Den innehåller även granskningsverktyget, som gör att mänskliga granskare kan hjälpa tjänsten och förbättra eller finjustera dess modereringsfunktion.
API:er för moderering
Tjänsten Content Moderator innehåller API:er för moderering, som söker efter material som kan vara olämpligt eller stötande.
I följande tabell beskrivs de olika typerna av modererings-API:er.
| API-grupp | Description |
|---|---|
| Textmoderering | Söker igenom text efter stötande innehåll, sexuellt explicit eller suggestivt innehåll, svordomar och personliga data. |
| Anpassade termlistor | Söker igenom text mot en anpassad lista med termer tillsammans med de inbyggda termerna. Använd anpassade listor för att blockera eller tillåta innehåll baserat på dina egna innehållsprinciper. |
| Bildmoderering | Söker igenom bilder efter vuxet eller olämpligt innehåll, identifierar text i bilder med funktionen för optisk teckenläsning (OCR) och identifierar ansikten. |
| Anpassade bildlistor | Söker igenom bilder mot en anpassad lista med bilder. Använd anpassade bildlistor för att filtrera bort instanser av ofta återkommande innehåll som du inte vill klassificera igen. |
| Videomoderering | Söker igenom videor efter vuxet eller olämpligt innehåll och returnerar tidsmarkörer för sådant innehåll. |
Omdömes-API:er
Med gransknings-API:erna kan du integrera din modereringspipeline med mänskliga granskare. Använd åtgärderna Jobb, Granskningaroch Arbetsflöde för att skapa och automatisera human-in-the-loop-arbetsflöden med granskningsverktyget (nedan).
Anteckning
Arbetsflödes-API:et är ännu inte tillgängligt i .NET SDK men kan användas med REST-slutpunkten.
Granskningsverktyg
Tjänsten Content Moderator även det webbaserade granskningsverktyget ,som är värd för innehållsgranskningar som mänskliga moderatorer kan bearbeta. Mänskliga indata tränar inte tjänsten, men det kombinerade arbetet i tjänsten och mänskliga granskningsteam gör det möjligt för utvecklare att skapa rätt balans mellan effektivitet och noggrannhet. Granskningsverktyget tillhandahåller också en användarvänlig frontend för flera Content Moderator resurser.
Datasekretess och säkerhet
Som med alla Cognitive Services bör utvecklare som använder Content Moderator-tjänsten känna till Microsofts policyer gällande kunddata. Läs mer på Cognitive Services-sidan på Microsoft Trust Center.
Nästa steg
Kom igång med Content Moderator på webbportalen genom att följa Prova Content Moderator på webben. Du kan också slutföra ett klientbibliotek eller REST API snabbstart för att implementera de grundläggande scenarierna i kod.