Filtri dei contenuti

Importante

Il sistema di filtro del contenuto non viene applicato a richieste e completamenti elaborati dal modello Whisper nel Servizio OpenAI di Azure. Altre informazioni sul modello Whisper in Azure OpenAI.

Il servizio OpenAI di Azure include un sistema di filtro dei contenuti che funziona insieme ai modelli di base, inclusi i modelli di generazione di immagini DALL-E. Questo sistema funziona eseguendo sia la richiesta che il completamento tramite un insieme di modelli di classificazione volti a rilevare e impedire l'output di contenuto dannoso. Il sistema di filtro del contenuto rileva e agisce su categorie specifiche di contenuto potenzialmente dannoso sia nelle richieste di input che nei completamenti di output. Le variazioni nelle configurazioni dell'API e nella progettazione dell'applicazione potrebbero influire sui completamenti e quindi sul comportamento di filtro.

I modelli di filtro dei contenuti per le categorie odio, sessuale, violenza e autolesionismo sono stati addestrati e testati in modo specifico sulle seguenti lingue: inglese, tedesco, giapponese, spagnolo, francese, italiano, portoghese e cinese. Tuttavia, il servizio può funzionare in molte altre lingue, ma la qualità potrebbe variare. In tutti i casi, è necessario eseguire test personalizzati per assicurarsi che funzioni per l'applicazione.

Oltre al sistema di filtro del contenuto, il servizio Azure OpenAI esegue il monitoraggio per rilevare il contenuto e/o i comportamenti che suggeriscono l'uso del servizio in modo da violare le condizioni del prodotto applicabili. Per ulteriori informazioni su come comprendere e mitigare i rischi associati alla propria applicazione, consultare la nota sulla trasparenza per Azure OpenAI. Per altre informazioni su come vengono elaborati i dati per il monitoraggio di filtri e abusi del contenuto, vedere Dati, privacy e sicurezza per il servizio OpenAI di Azure.

Le seguenti sezioni forniscono informazioni sulle categorie di filtraggio del contenuto, i livelli di intensità del filtro e la relativa configurabilità, e gli scenari API da considerare nella progettazione e nell'implementazione dell'applicazione.

Categorie di filtraggio del contenuto

Il sistema di filtro del contenuto integrato nel servizio OpenAI di Azure contiene:

• Modelli di classificazione a più classi neurali volti a rilevare e filtrare il contenuto dannoso; i modelli riguardano quattro categorie (odio, violenza, violenza e autolesionismo) in quattro livelli di gravità (sicuri, bassi, medi e alti). Il contenuto rilevato a livello di gravità "sicuro" è etichettato nelle annotazioni, ma non è soggetto a filtri e non è configurabile.
• Altri modelli di classificazione facoltativi volti a rilevare il rischio di jailbreak e il contenuto noto per testo e codice; questi modelli sono classificatori binari che contrassegnano se il comportamento dell'utente o del modello è qualificato come attacco jailbreak o corrisponde a testo noto o codice sorgente. L'uso di questi modelli è facoltativo, ma l'uso del modello di codice materiale protetto può essere richiesto per la copertura dell'impegno per il copyright del cliente.

Categorie di rischio

Categoria	Descrizione
Odio e equità	I danni correlati all'odio e all'equità si riferiscono a qualsiasi contenuto che attacca o usa un linguaggio pejorative o discriminatorio con riferimento a una persona o a gruppi di identità sulla base di determinati attributi diversi di questi gruppi, tra cui razza, etnia, nazionalità, gruppi di identità di genere ed espressione, orientamento sessuale, religione, stato dell'immigrazione, stato della capacità, aspetto personale, e le dimensioni del corpo.  L'equità è preoccupata per garantire che i sistemi di IA considerino equamente tutti i gruppi di persone senza contribuire alle inquietudine sociali esistenti. Analogamente al discorso di odio, i danni correlati all'equità dipendono da un trattamento diverso dei gruppi di identità.
Contenuti sessuali	Il linguaggio sessuale descrive il linguaggio correlato ad organi anatomici e genitali, relazioni romantiche, atti ritratti in termini erotici o affettuosi, gravidanza, atti sessuali fisici, inclusi quelli rappresentati come un assalto o un atto violento sessuale forzato contro la volontà, la prostituzione, la pornografia e l'abuso.
Violenza	La violenza descrive il linguaggio relativo alle azioni fisiche destinate a ferire, ferire, danneggiare o uccidere qualcuno o qualcosa del genere; descrive armi, armi e entità correlate, ad esempio fabbricazioni, associazioni, legislazione e così via.
Autolesionismo	L'autolesionismo descrive il linguaggio correlato alle azioni fisiche destinate a ferire intenzionalmente, ferire, danneggiare il corpo o uccidersi.
Materiale protetto per il testo*	Il testo del materiale protetto descrive il contenuto di testo noto ,ad esempio testi di canzoni, articoli, ricette e contenuti Web selezionati, che possono essere restituiti da modelli linguistici di grandi dimensioni.
Materiale protetto per il codice	Il codice materiale protetto descrive il codice sorgente che corrisponde a un set di codice sorgente da repository pubblici, che possono essere restituiti da modelli di linguaggio di grandi dimensioni senza una corretta citazione dei repository di origine.

^* Se sei un proprietario del materiale di testo e vuoi inviare contenuto di testo per la protezione, invia una richiesta.

Protezioni delle richieste

Tipo	Descrizione
Richiedi scudo per attacchi Jailbreak	Gli attacchi jailbreak sono prompt degli utenti progettati per provocare il modello di intelligenza artificiale generativa in comportamenti esposti che è stato sottoposto a training per evitare o per interrompere le regole impostate nel messaggio di sistema. Tali attacchi possono variare da un gioco di ruolo complesso a una subversione sottile dell'obiettivo di sicurezza.
Richiedi scudo per attacchi indiretti	Gli attacchi indiretti, detti anche attacchi di prompt indiretto o attacchi cross-domain prompt injection, rappresentano una potenziale vulnerabilità in cui terze parti inseriscono istruzioni dannose all'interno di documenti a cui il sistema di intelligenza artificiale generativa può accedere ed elaborare. Richiede l'incorporamento e la formattazione dei documenti.

Contenuto di testo

Avvertenza

Avviso

La scheda Definizioni di gravità in questo documento contiene esempi di contenuto dannoso che potrebbero disturbare alcuni lettori.

Definizioni di gravità

Livelli di gravità di odio e equità

Livello di gravità	Descrizione	Testo di esempio
Safe	Il contenuto è sicuro, ma può contenere termini correlati all'odio e all'equità usati in contesti generici e sicuri, ad esempio: Education File media Statistiche ufficiali Cronologia Medicina Scienza Altri contesti simili	"Black people should not be killed by police or mistreated just because of their skin color."
Basso	Contenuto che contiene la caratterizzazione positiva o la protezione dei gruppi di identità, visualizza discriminazione, stereotipi e pregiudizi, opinioni o opinioni opinioni o atteggiamenti correlati al parlato di odio o ai gruppi di identità di destinazione. Valuta gli ambiti seguenti: Slurs in research paper, dizionari o media con una citazione diretta Discorso di odio generale destinato a oggetti, individui o gruppi Parlato di odio limitato o rappresentazioni di sentiment negativo in contesti fittizi (ad esempio, giochi, film, letteratura)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Medio	Contenuto che contiene insulti, bullismo, intimidazione, de-umanizzazione o etichettatura di individui o gruppi. ad esempio: Linguaggio fittizio e imitando gli attributi dei gruppi di identità Descrizione di individui o gruppi come inferiori o carenti Negazione o demeaning dell'esistenza di gruppi di identità Testi che negano eventi storici, ben documentati e violenti come Olocausto, schiavizzazione o colonizzazione	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Alto	Contenuto che contiene il discorso di odio come propaganda minacciosa o chiamata di violenza contro i gruppi di identità, radicalizza, recluta o incita le persone a unirsi agli sforzi estremisti o diffondere il discorso di odio. ad esempio: Incendiario, offensivo e volgare linguaggio destinato a individui o gruppi di identità specifici Attestazioni di superiorità per giustificare discriminazione, segregazione o esclusione Testi che contengono qualsiasi forma di glorificazione del simbolismo nazista e SS, KKK e la bandiera confederata al di fuori di impostazioni storiche, educative o artistiche Testi che mostrano la preparazione del crimine d'odio, lodi e glorificazione della violenza contro i gruppi di identità, o che elogiano, glorify, o approvano il genocidio	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Livelli di gravità sessuale

Livello di gravità	Descrizione	Testo di esempio
Safe	Il contenuto è sicuro ma può contenere termini sessualmente correlati utilizzati in contesti generici e sicuri, ad esempio: Istruzione Media Statistiche ufficiali Cronologia Medicina Scienza Menzioni di relazioni familiari o romantiche	"Fewer young adults are having sex than in previous generations."
Basso	Contenuti che esprimono opinioni pregiudizie, giudicanti o opinioni su argomenti sessualmente correlati o menzioni di termini sessualmente correlati in esperienze fittizie o reali che non sono estremamente grafiche. ad esempio: Menzioni di anatomia sessuale o scene sessuali in contesti fittizi e artistici Prescrizioni mediche e diagnosi Esperienze personali, problemi sessuali e traumi con alcuni contenuti grafici, tra cui meccanismi di gestione e risorse	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Medio	Contenuti che descrivono l'eccitazione sessuale e l'attività in termini espliciti e grafici, includono fantasie su sesso e abuso sessuale. ad esempio: Menzioni di stimolazione sessuale e masturbazione Pornografia limitata a affari e prostituzione, scorta, ecc. come carriere senza scene sessuali Pubblicità per prodotti per adulti come giocattoli sessuali Esperienze personali e descrizioni correlate a massaggi sessuali, erotici o tantrici, strip club, spettacoli erotici, attributi e pratiche BDSM	"We both climaxed at the same time."
Alto	Contenuti che descrivono la richiesta di servizi commerciali sessuali, contenenti descrizioni dettagliate dell'attività sessuale, abusi sessuali violenti e stupri e scambi di potere non consensuali, abusi e voyeurismo. Questo include anche contenuti utilizzati per promuovere, approvare o glorificare atti sessuali estremi o illegali. ad esempio: Qualsiasi rappresentazione di materiale sessuale sessuale (CSAM) che include qualsiasi riferimento esplicito o potenziale al sesso di sottosezione Pulitura dei bambini, abuso di bambini e altri sfruttamento minori Riferimenti espliciti o potenziali a incest, zoofilia, necrofilia e così via. Reclutamento del traffico sessuale umano, inclusa la manipolazione delle vittime	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Livelli di gravità della violenza

Livello di gravità	Descrizione	Testo di esempio
Safe	Il contenuto è sicuro, ma può contenere termini correlati alla violenza usata in contesti generici e sicuri, ad esempio: Istruzione Media Statistiche ufficiali Storia Medicina Scienza Oggetti comuni quando non vengono usati come armi Sport di caccia o tiro a fuoco e specifiche tecniche di pistola	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Basso	Contenuti in contesti fittizi (ad esempio, giochi, letteratura, arti) che raffigurano scene violente o grafiche senza glorificazione, approvazione o mal intento. ad esempio: Esperienze personali di violenza (senza intenti violenti) Opinioni pregiudizie, pregiudizio, giudizio o opinioni in merito alla violenza Menzioni di atti violenti e morte a bassa intensità	"Some people just need to be slapped."
Medio	Contenuto che contiene rappresentazioni grafiche di violenza e morte a media intensità, nonché fantasie su atti violenti o minacce. ad esempio: Testi che mettono la vittima in colpa o raffigurano autori in una luce positiva Riferimenti storici al genocidio e all'Olocausto senza approvazione o glorificazione Riferimenti a sparatorie di massa note senza approvazione o glorificazione Riferimenti a gruppi estremisti terroristici e violenti senza approvazione o glorificazione Testi che cercano consigli o consigli o testi che forniscono istruzioni su come eseguire un atto violento contro un animale, un individuo, un gruppo di individui o un oggetto o un'infrastruttura che può causare danni individuali o di massa Bullismo e intimidazione	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Alto	Contenuti che contengono propaganda terroristica o violenta estremista e ideologia violenta su Internet che descrive, elogia, supporta, approva o glorifica uccisioni come parte dell'attività terroristica, gli aiuti offrono a organizzazioni terroristiche o cause. ad esempio: Testi che cercano istruzioni sull'affiliazione con gruppi estremisti terroristici e violenti Testi che forniscono istruzioni su come reclutare seguaci, influenzare le persone verso una causa terroristica o ideologia estremista, adottare opinioni radicali o fornire formazione su come operano gruppi terroristici e violenti o fornire informazioni sui loro leader e membri Testi che pianificano e coordinano attacchi su individui o gruppi di persone, inclusi gli eventi di tiro, l'uso di bombe ed esplosivi sull'infrastruttura civile, o attacchi di armi a lama quando vengono eseguiti da non combattenti o non terroristi Contenuto che fa riferimento al lavoro forzato tra cui bambini, servitù domestica, stalking e procedure mediche forzate	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Livelli di gravità autolesionismo

Livello di gravità	Descrizione	Testo di esempio
Safe	Il contenuto è sicuro, ma può contenere termini correlati all'autolesionismo usato in contesti generici e sicuri, ad esempio: Statistiche ufficiali Istruzione Media Medico Azioni che descrivono l'autolesionismo accidentale, i suggerimenti per il primo soccorso e così via.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Basso	Contenuto che contiene riferimenti a personaggi che pianificano o commettono suicidio in un contesto fittizio (ad esempio, letteratura, film) o contengono rappresentazioni di atti autolesionici o suicidi a bassa intensità. ad esempio: Opinioni personali distorte, pregiudizio, giudizio o opinioni su autolesionismo Associazioni con disturbi alimentari, cercando o fornendo istruzioni per la perdita di peso drastica e non integra Esperienze personali correlate all'autolesionismo, inclusa la ricerca di un aiuto professionale	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Medio	Contenuto che simula vittime o sopravvissuti di autolesionismo, come disturbi alimentari o suicidio, nonché bullismo e intimidazione che incita e promuove atti autolesionisti. ad esempio: Autolesionismo presentato come soluzione a un problema Fantasie, desiderio, desideri o esperienze personali su autolesionismo/suicidio Testi che cercano o forniscono consigli, istruzioni o consigli su come eseguire autolesionismo Bullismo e intimidazione che incita e promuove azioni autolesionismo	"Go kill yourself, you are worthless."
Alto	Contenuto che include la ricerca di consigli o fornisce istruzioni e metodi su come impegnarsi in autolesionismo che porta alla morte o come commettere suicidio, nonché glorificazione e approvazione del suicidio, o altri tipi gravi di autolesionismo. ad esempio: Testi che indicano come scrivere un messaggio di addio alla tua famiglia Auto-decapitazione Bruciare vivo	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Contenuto immagine

Avvertenza

Avviso

La scheda Definizioni di gravità in questo documento contiene esempi di contenuto dannoso che potrebbero disturbare alcuni lettori.

Definizioni di gravità

Livelli di gravità di odio e equità

Livello di gravità	Descrizione	Esempio di immagine
Safe	Il contenuto è sicuro, ma può contenere immagini correlate all'odio e all'equità senza sentimenti o sentimenti neutrali in modi non discriminatori non offensivi nei contesti seguenti o simili a: Giornalistica Cronologica Medico Note legali Didattici Geographical	Bandiere non confederate, ad esempio bandiere di paesi o stati che presentano croci Un'immagine della bandiera union jack della Gran Bretagna Rappresentazione di emancipazione di persone schiavi negli Stati Uniti nelle foto storiche
Basso	Contenuto che contiene sentimenti positivi, sentimenti falsi positivi o sentimenti negativi, sentimenti distorti che differenziano i gruppi di identità da altri. Questo contenuto è progettato per attivare una risposta emotiva. Valuta gli ambiti seguenti: Protezione Simbolismo nazista, la bandiera confederata, il simbolismo Klux Klan Stereotipi Discriminazione dell'occupazione	Rappresentazioni del movimento "No Hate Speech" (Nessun parlato di odio) Rappresentazioni di candidati di lavoro deprioritizzati, ad esempio candidati con disabilità nelle impostazioni del colloquio
Medio	Contenuto che contiene un'azione negativa sul sentiment verso i gruppi di identità e altri che portano alla promozione dell'azione contro gruppi di identità e sentimenti di superiorità. Valuta gli ambiti seguenti: Insulto, isolamento, simulazione Bandiera nazista, bandiera confederata, e varianti LGBTQIA+ e merci	Immagini che promuovono la prevenzione sociale di [gruppi di identità] Immagini che illustrano la teoria del miglioramento razziale e l'eugenica
Alto	Contenuto che contiene sentimenti negativi e discorsi di odio verso i gruppi di identità che portano alla generazione di discorsi di odio o crimini d'odio. Valuta gli ambiti seguenti: Razzismo Attacchi a LGBTQIA+ Disabilitazione Discriminazione basata sul sesso Simbolismo nazista glorificato, bandiera confederata, simbolismo Klux Klan Bandiera confederata violenta	Immagini antisemite che raffigurano la "Croce meridionale" che presenta un saltire blu (croce diagonale) con affiliazione di violenza ovvia (ad esempio pistole in visualizzazione/uso)

Livelli di gravità sessuale

Livello di gravità	Descrizione	Esempio di immagine
Safe	Il contenuto è sicuro ma contiene immagini sessualmente correlate usate in senso generale. Valuta gli ambiti seguenti: Relazioni familiari e romantiche Nudità non sessuale Clothing Oggetti comuni Posa o attività non sessuale Accoppiamento animale Benessere sessuale	Rappresentazioni di abbracci o di rappresentazioni di contatto fisico non sessuale che raffigurano la visualizzazione fisica di affetto come baciare senza lingua e senza nudità
Basso	Contenuto che contiene comportamenti sessualmente allusi o atti. Valuta gli ambiti seguenti: Esperienze personali Modellazione della moda Nudità nelle opere d'arte Body art Visualizzazione racy	Rappresentazioni di persone
Medio	Contenuto che contiene contenuti erotici e/o pornografici commerciali e/o pornografici senza penetrazione fotografica visiva e partecipanti nudi o semi-nudi coinvolti in scene sessuali che devono essere sessualmente eccitate. Valuta gli ambiti seguenti: Modellazione sessuale Nudità morbida nelle opere d'arte Lavori sessuali o negozi Attività sessuale oscurata Backstage di produzione porno Balli pole	Rappresentazioni di rapporti sessuali che possono essere parzialmente occlusi ma ancora chiaramente presenti nell'immagine
Alto	Contenuto che contiene rappresentazioni esplicite dettagliate di organi sessuali e atti sessuali, inclusi atti illegali. Valuta gli ambiti seguenti: Pornografia dilettante soft core e hard-core Richiesta sessuale Voyeurismo Sesso nelle opere d'arte BDSM senza consenso o stupro Sfruttamento sessuale e abuso di bambini Pulitura dei bambini Incesto	Rappresentazioni di impegni nelle attività sessuali con animali o cadaveri

Livelli di gravità della violenza

Livello di gravità	Descrizione	Esempio di immagine
Safe	Il contenuto è sicuro, ma contiene immagini correlate alla violenza usate in senso generale. Valuta gli ambiti seguenti: Dormire o posare Oggetti comuni Attività non violente Corde non come un noose Utensili a lama in uso in cucina/cucito Ferite, cicatrici e trattamenti chirurgici Sport di caccia e tiro Giocattolo e finta pistole Pratica di combattimento Danni all'oggetto e vandalismo Simboli terroristici non marchiati	Rappresentazioni di armi non realistiche e strumenti a lama
Basso	Contenuto che contiene immagini correlate alla violenza e agisce in contesti reali o fittizi con bassa gore. Valuta gli ambiti seguenti: Armi, armi e strumenti a lama in visualizzazione e in uso Cadavere non realistico Violenza non realistica Armi animate Lesioni leggere e esperienza personale Corde come un noose Morte in impostazioni storiche, educative o funerarie Simbolismo terroristico non realistico Corrida	Rappresentazioni delle bandiere dell'ISIS/al-Qaida
Medio	Contenuto che contiene violenza grafica moderata e atti violenti mirati a un bersaglio identificato. Valuta gli ambiti seguenti: Autopsia Scena del crimine o della morte Morte animale (naturale o cacciata), sacrificio animale, abuso di animali Schiavitù Genocidio e uccisioni di massa in luoghi storici, educativi Macello Violenza domestica e abusi fisici Bullismo Armi e armi in uso contro un bersaglio	Rappresentazioni dell'uso di forza e coercizione per dominare o intimidire aggressivamente un individuo
Alto	Contenuto che contiene rappresentazioni esplicite dettagliate di violenza e atti violenti in alto gore. Valuta gli ambiti seguenti: Lesioni grafiche e morte Dismemberment, decapitazione, bruciare vivo Scomposizione cadavere Terrorismo, gruppi terroristici e bandiere Lavoro forzato e servitù, procedura medica forzata Stalking Cadavere nel terrorismo e nel crimine di guerra Evento di ripresa Altro estremismo	Rappresentazioni della morte quando eseguite da gruppi terroristici identificabili da bandiere e simboli dell'ISIS

Livelli di gravità autolesionismo

Livello di gravità	Descrizione	Esempio di immagine
Safe	Il contenuto è sicuro ma contiene immagini correlate all'autolesionismo usate in senso generale. Valuta gli ambiti seguenti: Grasso corporeo basso Atto non autolesionismo Lesioni accidentali al corpo	Rappresentazioni di saltare con un paracadute fuori da un aereo
Basso	Contenuto che contiene immagini correlate all'autolesionismo e agisce in contesti reali o fittizi con basso gore. Valuta gli ambiti seguenti: Cicatrici Lesioni autolesionismo nel recupero Autolesionismo non realistico Individui o animali emaciati	Rappresentazioni di atti correlati all'autolesionismo, strumenti, lesioni e stato emotivo
Medio	Contenuto che contiene immagini grafiche moderate correlate all'autolesionismo e al suicidio. Valuta gli ambiti seguenti: Autopsia Scena del crimine o della morte Bullismo	Rappresentazioni dell'uso di forza e coercizione per dominare o intimidire aggressivamente un individuo in autolesionismo
Alto	Contenuto che contiene rappresentazioni dettagliate esplicite di autolesionismo e suicidio in alto gore. Valuta gli ambiti seguenti: Atto imminente di autolesionismo Azioni autolesionismo Suicidio	Rappresentazioni di suicidio intenzionale, dove una persona si è suicidata saltando fuori un edificio alto

Configurabilità (anteprima)

La configurazione di filtro dei contenuti predefinita per la serie di modelli GPT è impostata per filtrare in base alla soglia di gravità media per tutte e quattro le categorie di danni al contenuto (odio, violenza, sessuale e autolesionismo) e si applica a entrambe le richieste (testo, testo/ immagine multi modale) e completamenti (testo). Ciò significa che il contenuto rilevato a livello di gravità medio o alto viene filtrato, mentre il contenuto rilevato a livello di gravità basso non viene filtrato in base ai filtri di contenuto. Per DALL-E, la soglia di gravità predefinita è impostata su bassa sia per le richieste (testo) che per i completamenti (immagini), quindi viene filtrato il contenuto rilevato a livelli di gravità bassi, medi o alti. La funzionalità di configurabilità è disponibile in anteprima e consente ai clienti di modificare le impostazioni (separatamente per prompt e completamenti) in modo da filtrare contenuto per ogni categoria di contenuto a livelli di gravità diversi, come descritto nella tabella seguente:

Intensità del filtro	Configurabile per richieste	Configurabile per completamenti	Descrizione
Basso, medio, elevato	Sì	Sì	Configurazione di filtraggio più intenso. Il contenuto rilevato a livelli di gravità basso, medio e alto viene filtrato.
Medio, alto	Sì	Sì	Il contenuto rilevato con livello di gravità basso non viene filtrato, il contenuto a livello medio e alto viene filtrato.
Alto	Sì	Sì	Il contenuto rilevato a livelli di gravità basso e medio non viene filtrato. Viene filtrato solo il contenuto a livello di gravità elevato. Richiede approvazione1.
Nessun filtro	Se approvato1	Se approvato1	Nessun contenuto viene filtrato indipendentemente dal livello di gravità rilevato. Richiede approvazione1.

¹ Per i modelli OpenAI di Azure, solo i clienti che sono stati approvati per il filtro del contenuto modificato hanno un controllo di filtro completo del contenuto e possono disattivare i filtri di contenuto. Applicare i filtri di contenuto modificati tramite questo modulo: Verifica di accesso limitato di OpenAI di Azure: filtri di contenuto modificati e monitoraggio degli abusi (microsoft.com)

Questa funzionalità di anteprima è disponibile per i modelli OpenAI di Azure seguenti:

• Serie di modelli GPT (testo)
• GPT-4 Turbo Vision 2024-04-09 (testo/immagine multi-modale)
• DALL-E 2 e 3 (immagine)

Le configurazioni di filtraggio del contenuto vengono create all'interno di una risorsa in Azure AI Studio e possono essere associate a distribuzioni. Ulteriori informazioni sulla configurabilità sono disponibili qui.

I clienti sono responsabili di garantire che le applicazioni che integrano Azure OpenAI siano conformi al Codice di comportamento.

Dettagli dello scenario

Quando il sistema di filtro del contenuto rileva contenuto dannoso, viene visualizzato un errore nella chiamata API se la richiesta è stata ritenuta inappropriata o nella finish_reason risposta sarà content_filter di indicare che alcuni dei completamenti sono stati filtrati. Quando si compila l'applicazione o il sistema, è consigliabile tenere conto di questi scenari in cui viene filtrato il contenuto restituito dall'API Completamenti, che potrebbe comportare contenuti incompleti. Le misure da prendere in base a questa informazione saranno specifiche all'applicazione. Il comportamento può essere riepilogato nei seguenti punti:

• I prompt classificati a livello di categoria e gravità filtrata restituiranno un errore HTTP 400.
• Quando il contenuto viene filtrato, le chiamate di completamento non in streaming non restituiscono alcun contenuto. Il valore finish_reason verrà impostato su content_filter. In rari casi di risposte più lunghe, è possibile restituire un risultato parziale. In questi casi, finish_reason verrà aggiornato.
• Per le chiamate di completamento del flusso, i segmenti verranno restituiti all'utente man mano che vengono completati. Il servizio continuerà lo streaming fino a raggiungere un token o una lunghezza di arresto, o quando viene rilevato contenuto classificato in una categoria di filtraggio e a un livello di gravità.

Scenario: si invia una chiamata di completamento non in streaming che richiede più output; nessun contenuto è classificato a livello di categoria di filtraggio e di gravità

La tabella seguente illustra i vari modi in cui il filtraggio del contenuto può essere visualizzato:

Codice di risposta HTTP	Comportamento risposta
200	Nei casi in cui tutte le generazioni passano i filtri come configurati, nessun dettaglio di moderazione del contenuto viene aggiunto alla risposta. L'oggetto finish_reason per ogni generazione sarà arresto o lunghezza.

Payload della richiesta di esempio:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: la chiamata API richiede più risposte (N>1) e almeno una delle risposte viene filtrata

Codice di risposta HTTP	Comportamento risposta
200	Le generazioni filtrate avranno un valore finish_reason di content_filter.

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: viene inviata una richiesta di input inappropriata all'API dei completamenti (sia per streaming che non streaming)

Codice di risposta HTTP	Comportamento risposta
400	La chiamata API ha esito negativo quando la richiesta attiva un filtro di contenuto come configurato. Modificare il prompt e riprovare.

Payload della richiesta di esempio:

{
    "prompt":"Content that triggered the filtering model"
}

Esempio di risposta JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scenario: si effettua una chiamata di completamento del flusso; nessun contenuto di output viene classificato a livello di categoria di filtraggio e gravità

Codice di risposta HTTP	Comportamento risposta
200	In questo caso, la chiamata tornerà alla generazione completa e finish_reason sarà "length" o "stop" per ogni risposta generata.

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Esempio di risposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: si effettua una chiamata di completamento del flusso che richiede più completamenti e almeno una parte del contenuto di output viene filtrata

Codice di risposta HTTP	Comportamento risposta
200	Per un determinato indice di generazione, l'ultimo blocco della generazione include un valore non Null finish_reason . Il valore è content_filter quando la generazione è stata filtrata.

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Esempio di risposta JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: il sistema di filtraggio del contenuto non viene eseguito al completamento

Codice di risposta HTTP	Comportamento risposta
200	Se il sistema di filtraggio del contenuto è inattivo o non è in grado di completare l'operazione in tempo, la richiesta verrà comunque completata senza filtraggio del contenuto. È possibile determinare se il filtro non sia stato applicato cercando un messaggio di errore nell'oggetto content_filter_result.

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Annotazioni

Filtri di contenuto

Quando le annotazioni sono abilitate come illustrato nel frammento di codice seguente, le informazioni seguenti vengono restituite tramite l'API per le categorie odio ed equità, sesso, violenza e autolesionismo:

• categoria di filtro dei contenuti (odio, sesso, violenza, self_harm)
• livello di gravità (sicuro, basso, medio o alto) all'interno di ogni categoria di contenuto
• stato di filtro (true o false).

Modelli facoltativi

I modelli facoltativi possono essere abilitati in annotazioni (restituisce informazioni quando il contenuto è stato contrassegnato, ma non filtrato) o la modalità filtro (restituisce informazioni quando il contenuto è stato contrassegnato e filtrato).

Quando le annotazioni sono abilitate come illustrato nei frammenti di codice seguenti, le informazioni seguenti vengono restituite dall'API per i modelli facoltativi:

Modello	Output
Jailbreak	rilevata (true o false), filtrata (true o false)
attacchi indiretti	rilevata (true o false), filtrata (true o false)
testo materiale protetto	rilevata (true o false), filtrata (true o false)
codice materiale protetto	detected (true o false), filtrato (true o false), Citazione di esempio del repository GitHub pubblico in cui è stato trovato il frammento di codice, Licenza del repository

Quando si visualizza il codice nell'applicazione, è consigliabile che l'applicazione visualizzi anche la citazione di esempio delle annotazioni. La conformità alla licenza citata può essere necessaria anche per la copertura dell'impegno per il copyright del cliente.

Vedere la tabella seguente per la disponibilità delle annotazioni in ogni versione dell'API:

Categoria	Disponibilità generale 2024-02-01	2024-04-01-preview	2023-10-01-preview	2023-06-01-preview
Odio	✅	✅	✅	✅
Violenza	✅	✅	✅	✅
Contenuti sessuali	✅	✅	✅	✅
Autolesionismo	✅	✅	✅	✅
Richiedi scudo per attacchi jailbreak	✅	✅	✅	✅
Richiedi scudo per attacchi indiretti		✅
Testo materiale protetto	✅	✅	✅	✅
Codice materiale protetto	✅	✅	✅	✅
Elenco di blocchi di contenuto volgare	✅	✅	✅	✅
Elenco di blocchi personalizzato		✅	✅	✅

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Nota

La versione della libreria Python OpenAI 0.28.1 è deprecata. Ti consigliamo di usare 1.x. Vedere la Guida alla migrazione per informazioni sul passaggio da 0.28.1 a 1.x.

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

Il frammento di codice seguente mostra come recuperare le annotazioni quando il contenuto è stato filtrato:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Esempi e codice sorgente di JavaScript SDK per Azure OpenAI

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

L'oggetto $response contiene una proprietà denominata prompt_filter_results che contiene annotazioni sui risultati del filtro. Se si preferisce JSON a un oggetto .NET, inviare tramite pipe l'output a anziché Format-Lista ConvertTo-JSON .

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Per informazioni dettagliate sugli endpoint dell'API REST di inferenza per Azure OpenAI e su come creare chat e completamenti, seguire le indicazioni di riferimento sulle API REST del servizio OpenAI di Azure. Le annotazioni vengono restituite per tutti gli scenari quando si usa qualsiasi versione dell'API di anteprima a partire da 2023-06-01-preview, nonché la versione 2024-02-01dell'API GA .

Scenario di esempio: un prompt di input contenente contenuto, classificato in una categoria di filtraggio e a un livello di gravità, viene inviato all'API dei completamenti

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Incorporamento di documenti nelle richieste

Un aspetto chiave delle misure di intelligenza artificiale responsabile di Azure OpenAI è il sistema di sicurezza dei contenuti. Questo sistema viene eseguito insieme al modello GPT principale per monitorare eventuali irregolarità nell'input e nell'output del modello. Le prestazioni sono migliorate quando possono distinguere i vari elementi del prompt, ad esempio l'input di sistema, l'input dell'utente e l'output dell'assistente di intelligenza artificiale.

Per le funzionalità di rilevamento avanzate, i prompt devono essere formattati in base ai metodi consigliati seguenti.

API Completamento chat

L'API Completamento chat è strutturata per definizione. È costituito da un elenco di messaggi, ognuno con un ruolo assegnato.

Il sistema di sicurezza analizzerà questo formato strutturato e applicherà il comportamento seguente:

• Nel contenuto "utente" più recente verranno rilevate le categorie di rischi RAI seguenti:
  • Odio
  • Contenuti sessuali
  • Violenza
  • Autolesionismo
  • Jailbreak (facoltativo)

Di seguito è riportato un esempio di matrice di messaggi:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Incorporamento di documenti nel prompt

Oltre al rilevamento dei contenuti dell'ultimo utente, Azure OpenAI supporta anche il rilevamento di rischi specifici all'interno dei documenti di contesto tramite Prompt Shields - Indirect Prompt Prompt Attack Detection. È necessario identificare parti dell'input che sono un documento (ad esempio, sito Web recuperato, posta elettronica e così via) con il delimitatore di documento seguente.

<documents> 
*insert your document content here* 
</documents>

In questo caso, sono disponibili le opzioni seguenti per il rilevamento nei documenti contrassegnati:

• In ogni contenuto "documento" contrassegnato, rilevare le categorie seguenti:
  • Attacchi indiretti (facoltativo)

Di seguito è riportato un esempio di matrice di messaggi di completamento della chat:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

Escape JSON

Quando si contrassegnano documenti non controllati per il rilevamento, il contenuto del documento deve essere preceduto da un escape JSON per garantire la corretta analisi da parte del sistema di sicurezza OpenAI di Azure.

Ad esempio, vedere il corpo del messaggio di posta elettronica seguente:

Hello Josè, 

I hope this email finds you well today.

Con l'escape JSON, verrà letto:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Il testo preceduto da escape in un contesto di completamento della chat leggerà:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streaming di contenuti

Questa sezione descrive l'esperienza e le opzioni di streaming dei contenuti OpenAI di Azure. I clienti hanno la possibilità di ricevere contenuto dall'API durante la generazione, invece di attendere blocchi di contenuto verificati per passare i filtri di contenuto.

Default

Il sistema di filtro del contenuto è integrato e abilitato per impostazione predefinita per tutti i clienti. Nello scenario di streaming predefinito, il contenuto di completamento viene memorizzato nel buffer, il sistema di filtro del contenuto viene eseguito sul contenuto memorizzato nel buffer e, a seconda della configurazione del filtro del contenuto, il contenuto viene restituito all'utente se non viola i criteri di filtro del contenuto (configurazione predefinita di Microsoft o utente personalizzata) o viene immediatamente bloccato e restituisce un errore di filtro del contenuto, senza restituire il contenuto di completamento dannoso. Questo processo viene ripetuto fino alla fine del flusso. Il contenuto viene esaminato completamente in base ai criteri di filtro del contenuto prima che venga restituito all'utente. Il contenuto non viene restituito token per token in questo caso, ma in "blocchi di contenuto" delle rispettive dimensioni del buffer.

Filtro asincrono

I clienti possono scegliere il filtro asincrono come opzione aggiuntiva, offrendo una nuova esperienza di streaming. In questo caso, i filtri di contenuto vengono eseguiti in modo asincrono e il contenuto di completamento viene restituito immediatamente con un'esperienza di streaming senza token senza problemi. Nessun contenuto memorizzato nel buffer, che consente un'esperienza di streaming veloce senza latenza associata alla sicurezza dei contenuti.

I clienti devono tenere presente che, mentre la funzionalità migliora la latenza, si tratta di un compromesso rispetto alla sicurezza e al controllo in tempo reale di sezioni più piccole dell'output del modello. Poiché i filtri di contenuto vengono eseguiti in modo asincrono, i messaggi di con modalità tenda ration e i segnali di violazione dei criteri vengono ritardati, il che significa che alcune sezioni di contenuto dannoso che altrimenti sarebbero state filtrate immediatamente potrebbero essere visualizzate all'utente.

Annotazioni: le annotazioni e i messaggi di con modalità tenda ration vengono restituiti continuamente durante il flusso. È consigliabile usare annotazioni nell'app e implementare meccanismi di sicurezza aggiuntivi per i contenuti di intelligenza artificiale, ad esempio la redacting del contenuto o la restituzione di informazioni di sicurezza aggiuntive all'utente.

Segnale di filtro del contenuto: il segnale di errore di filtro del contenuto viene ritardato. In caso di violazione dei criteri, viene restituito non appena è disponibile e il flusso viene arrestato. Il segnale di filtro del contenuto è garantito all'interno di una finestra di circa 1.000 caratteri del contenuto che viola i criteri.

Impegno per il copyright del cliente: il contenuto contrassegnato retroattivamente come materiale protetto potrebbe non essere idoneo per la copertura dell'impegno sul copyright del cliente.

Per abilitare il filtro asincrono in Azure OpenAI Studio, seguire la guida pratica relativa al filtro contenuto per creare una nuova configurazione di filtro del contenuto e selezionare Filtro asincrono nella sezione Streaming.

Confronto tra le modalità di filtro del contenuto

Confronta	Streaming - Impostazione predefinita	Streaming - Filtro asincrono
Status	Disponibilità generale	Anteprima pubblica
Idoneità	Tutti i clienti	Clienti approvati per il filtro del contenuto modificato
Abilitazione	Abilitato per impostazione predefinita, nessuna azione necessaria	I clienti approvati per il filtro del contenuto modificato possono configurarlo direttamente in Azure OpenAI Studio (come parte di una configurazione di filtro del contenuto, applicata a livello di distribuzione)
Modalità e disponibilità	Testo; tutti i modelli GPT	Testo; tutti i modelli GPT ad eccezione di gpt-4-vision
Esperienza di streaming	Il contenuto viene memorizzato nel buffer e restituito in blocchi	Latenza zero (nessun buffering, i filtri vengono eseguiti in modo asincrono)
Segnale di filtro del contenuto	Segnale di filtro immediato	Segnale di filtro ritardato (fino a ~1.000 incrementi di caratteri)
Configurazioni di filtro del contenuto	Supporta l'impostazione predefinita e qualsiasi impostazione di filtro definita dal cliente (inclusi i modelli facoltativi)	Supporta l'impostazione predefinita e qualsiasi impostazione di filtro definita dal cliente (inclusi i modelli facoltativi)

Annotazioni e risposte di esempio

Messaggio di annotazione prompt

Corrisponde alle annotazioni predefinite.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Messaggio del token di completamento

I messaggi di completamento vengono inoltrati immediatamente. Non viene eseguita alcuna moderazione per prima e inizialmente non vengono fornite annotazioni.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Messaggio di annotazione

Il campo di testo sarà sempre una stringa vuota, che indica che non sono presenti nuovi token. Le annotazioni saranno rilevanti solo per i token già inviati. Potrebbero essere presenti più messaggi di annotazione che fanno riferimento agli stessi token.

"start_offset" e "end_offset" sono offset di granularità bassa nel testo (con 0 all'inizio della richiesta) per contrassegnare il testo a cui è rilevante l'annotazione.

"check_offset" rappresenta la quantità di testo completamente moderata. Si tratta di un limite inferiore esclusivo sui "end_offset" valori delle annotazioni future. Non diminuisce.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Flusso di risposta di esempio (passa filtri)

Di seguito è riportata una risposta di completamento della chat reale usando il filtro asincrono. Si noti che le annotazioni della richiesta non vengono modificate, i token di completamento vengono inviati senza annotazioni e i nuovi messaggi di annotazione vengono inviati senza token, ma sono invece associati a determinati offset di filtro del contenuto.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Flusso di risposta di esempio (bloccato dai filtri)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Importante

Quando viene attivato il filtro del contenuto per una richiesta e viene ricevuto un oggetto "status": 400 come parte della risposta, verrà addebitato un addebito per questa richiesta perché la richiesta è stata valutata dal servizio. Gli addebiti si verificheranno anche quando viene ricevuto un oggetto "status":200 con "finish_reason": "content_filter". In questo caso la richiesta non ha avuto problemi, ma il completamento generato dal modello è stato rilevato per violare le regole di filtro del contenuto che determinano il completamento filtrato.

Procedure consigliate

Nell'ambito della progettazione dell'applicazione, prendere in considerazione le seguenti procedure consigliate per offrire un'esperienza positiva con l'applicazione, riducendo al minimo i potenziali danni:

• Decidere come gestire gli scenari in cui gli utenti inviano richieste contenenti contenuto classificato a livello di categoria filtrata e gravità oppure usano in modo improprio l'applicazione.
• Verificare se finish_reason un completamento è filtrato.
• Verificare che non sia presente alcun oggetto errore in content_filter_result (a indicare che i filtri contenuto non sono stati eseguiti).
• Se si usa il modello di codice materiale protetto in modalità annotazione, visualizzare l'URL di citazione quando si visualizza il codice nell'applicazione.

Passaggi successivi

• Ulteriori informazioni sui modelli alla base di OpenAI di Azure.
• Applicare per i filtri di contenuto modificati tramite questo modulo.
• Il filtraggio dei contenuti OpenAI della piattaforma Azure è basato su Sicurezza dei contenuti di Azure AI.
• Ulteriori informazioni sulla comprensione e la mitigazione dei rischi associati alla propria applicazione: Panoramica delle procedure di intelligenza artificiale responsabili per i modelli OpenAI di Azure.
• Ulteriori informazioni sull'elaborazione dei dati in relazione al filtraggio dei contenuti e al monitoraggio di abusi: Dati, privacy e sicurezza per il servizio OpenAI di Azure.