Informazioni sui concetti di moderazione del testo

Usare i modelli di moderazione del testo di Content Moderator per analizzare il contenuto di testo, ad esempio chat room, discussioni, chatbot, cataloghi di e-commerce e documenti.

La risposta del servizio include le informazioni seguenti:

• Contenuto volgare: corrispondenza dei termini all'elenco integrato di termini volgari in varie lingue
• Classificazione: classificazione automatica in tre categorie
• Dati personali
• Testo corretto automaticamente
• Testo originale
• Linguaggio

Contenuto volgare

Se l'API rileva eventuali termini volgari in una qualsiasi delle lingue supportate, tali termini vengono inclusi nella risposta. La risposta contiene inoltre la loro posizione (Index) nel testo originale. Il ListId nell'esempio di JSON seguente fa riferimento a termini trovati negli elenchi di termini personalizzati, se disponibili.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Per il parametro language assegnare eng o lasciarlo vuoto per vedere la risposta alla classificazione automatica (funzionalità di anteprima). Questa funzionalità supporta solo la lingua inglese.

Per rilevare i termini volgari usare il codice ISO 639-3 delle lingue supportate elencate in questo articolo o lasciare il campo vuoto.

Classificazione

La funzionalità di classificazione del testo assistita da computer di Content Moderator supporta solo l'inglese e consente di rilevare contenuti potenzialmente indesiderati. Il contenuto contrassegnato può essere valutato inappropriato in base al contesto. Indica la probabilità di ogni categoria. La funzione usa un modello impostato per identificare un eventuale linguaggio offensivo, dispregiativo o discriminatorio. Sono incluse parole gergo, parole abbreviate, offensive e parole intenzionalmente non digitate.

L'estratto seguente nell'estratto JSON mostra un esempio dell'output:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Spiegazione

• Category1 si riferisce alla potenziale presenza di un linguaggio che può essere considerato sessualmente esplicito o per adulti in determinate situazioni.
• Category2 si riferisce alla potenziale presenza di un linguaggio che può essere considerato sessualmente esplicito o per adulti in determinate situazioni.
• Category3 si riferisce alla potenziale presenza di un linguaggio che può essere considerato offensivo in determinate situazioni.
• Score è compreso tra 0 e 1. Maggiore è il punteggio, più alto è il modello che prevede che la categoria possa essere applicabile. Questa funzionalità si basa su un modello statistico e non su risultati codificati manualmente. Si consiglia di eseguire i test con i propri contenuti per determinare come ogni categoria si allinei alle proprie esigenze.
• ReviewRecommended è true o false a seconda delle soglie interne del punteggio. I clienti devono valutare se usare questo valore o optare per le soglie personalizzate in base ai propri criteri relativi ai contenuti.

Dati personali

La funzionalità dati personali rileva la potenziale presenza di queste informazioni:

• Indirizzo di posta elettronica
• Indirizzo postale degli Stati Uniti
• Indirizzo IP
• Numero di telefono degli Stati Uniti

L'esempio seguente riporta una risposta di esempio:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Correzione automatica

La risposta di moderazione del testo può facoltativamente restituire il testo con correzione automatica di base applicata.

Ad esempio, il testo di input seguente presenta un errore di ortografia.

La volpe marrone veloce salta sopra il cane lazzy.

Se si specifica la correzione automatica, la risposta contiene la versione corretta del testo:

Cantami o Diva del pelide Achille l'ira funesta.

Creazione e gestione di elenchi di termini personalizzati

Sebbene l'elenco globale dei termini predefinito funzioni alla perfezione nella maggior parte dei casi, è consigliabile confrontarlo con termini specifici per i propri requisiti aziendali. Ad esempio, si consiglia di filtrare qualsiasi marchio della concorrenza dai messaggi degli utenti.

Nota

È previsto un limite massimo di cinque elenchi di termini e ogni elenco non può includere più di 10.000 termini.

L'esempio illustra l'ID elenco corrispondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator fornisce un'API per elenchi di termini con operazioni per gestire elenchi di termini personalizzati. Iniziare con la Console dell'API per elenchi di termini e usare gli esempi di codice API REST. Estrarre anche l'Avvio rapido per gli elenchi di termini in .NET se si ha familiarità con Visual Studio e C#.

Passaggi successivi

Testare le API con la console dell'API Moderazione testo.