Översikt över textmoderering

  • 4 minuter

När du använder maskinassisterad innehållsmoderering så kan du blockera, godkänna eller granska innehåll utifrån egna principer och tröskelvärden. Du kan använda den här funktionen som stöd till den mänskliga modereringen av miljöer där partners, medarbetare och konsumenter genererar textinnehåll. Sådana platser kan vara:

  • Chattrum
  • Diskussionsforum
  • Chattrobotar
  • E-handelskataloger
  • Dokument

Svaren från API:et Text Moderation innehåller följande information:

  • En lista med potentiellt oönskade ord i texten.
  • Vilken typ av potentiellt oönskade ord som hittades.
  • Möjliga personuppgifter som finns i texten.

Olämpligt språk

När du skickar text till API:et identifieras potentiella svordomar i texten som sedan returneras i ett JSON-svar. Svordomen returneras som en Term i JSON-svaret tillsammans med ett indexvärde som visar var termen finns i den angivna texten.

Du kan också använda egna termlistor i detta API. I så fall, om en olämplig term identifieras i texten, returneras även en ListId för att identifiera den anpassade termlistan som användes. Kombinationen av ListID och Term, identifierar det specifika anpassade ord som hittades. Här är ett exempel på ett JSON-svar:

"Terms": [
{
    "Index": 118,
    "OriginalIndex": 118,
    "ListId": 0,
    "Term": "crap"
}

Klassificering

Den här funktionen i API:et kan placera text i specifika kategorier utifrån följande specifikationer:

  • Kategori 1: Potentiell förekomst av språk som kan betraktas som sexuellt explicit eller vuxet i vissa situationer.
  • Kategori 2: Potentiell förekomst av språk som kan betraktas som sexuellt suggestivt eller moget i vissa situationer.
  • Kategori 3: Potentiell förekomst av språk som kan anses stötande i vissa situationer.

När JSON-svaret returneras ges ett booleskt värde som indikerar rekommenderad granskning av texten. Om värdet är true bör du granska innehållet manuellt för att fastställa risken för eventuella problem.

Varje kategori returneras också med en poäng mellan 0 och 1 som indikerar den utvärderade textens förväntade kategori. Ju högre poäng desto troligare är det att kategorin kan matcha. Här är ett exempel på ett JSON-svar:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 0.99756889843889822
        },
    "Category2": {
        "Score": 0.12747249007225037
        },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Personlig information

Personuppgifter är av avgörande betydelse i många program. Den här funktionen i API:et kan hjälpa dig att identifiera om några värden i texten kan betraktas som personuppgifter innan du släpper dem offentligt. Viktiga aspekter som identifieras är:

  • E-postadresser
  • Postadresser i USA
  • IP-adresser
  • Telefonnummer i USA
  • Telefonnummer i Storbritannien
  • Socialförsäkringsnummer

Om möjliga personliga datavärden hittas innehåller JSON-svaret relevant information om texten och indexplatsen i texten. Här är ett exempel på ett JSON-svar:

"PII": {
    "Email": [{
        "Detected": "abcdef@abcd.com",
        "SubType": "Regular",
        "Text": "abcdef@abcd.com",
        "Index": 32
        }],
    "IPA": [{
        "SubType": "IPV4",
        "Text": "255.255.255.255",
        "Index": 72
        }],
    "Phone": [{
        "CountryCode": "US",
        "Text": "5557789887",
        "Index": 56
        }, {
        "CountryCode": "UK",
        "Text": "+44 123 456 7890",
        "Index": 208
        }],
    "Address": [{
        "Text": "1 Microsoft Way, Redmond, WA 98052",
        "Index": 89
        }],
    "SSN": [{
        "Text": "999-99-9999",
        "Index": 267
        }]
    }