Inhaltsfilterung

Wichtig

Das Inhaltsfiltersystem wird nicht auf Eingabeaufforderungen und Vervollständigungen angewendet, die vom Whisper-Modell in Azure OpenAI Service verarbeitet werden. Erfahren Sie mehr über das Whisper-Modell in Azure OpenAI.

Azure OpenAI Service beinhaltet ein Inhaltsfiltersystem, das mit Kernmodellen und DALL-E-Bildgenerierungsmodellen zusammenarbeitet. Dieses System funktioniert, indem sowohl die Eingabeaufforderung als auch die Vervollständigung durch ein Ensemble von Klassifizierungsmodellen ausgeführt wird, das darauf abzielt, die Ausgabe schädlicher Inhalte zu erkennen und zu verhindern. Das Inhaltsfiltersystem erkennt bestimmte Kategorien potenziell schädlicher Inhalte sowohl in Eingabeeingabeaufforderungen als auch in Ausgabeabschlüssen und ergreift entsprechende Maßnahmen. Variationen in API-Konfigurationen und Anwendungsentwurf können sich auf Vervollständigungen und somit auf das Filterverhalten auswirken.

Die Inhaltsfiltermodelle für die Kategorien „Hass“, „Sexuell“, „Gewalt“ und „Selbstverletzung“ wurden speziell für die folgenden Sprachen trainiert und getestet: Englisch, Deutsch, Japanisch, Spanisch, Französisch, Italienisch, Portugiesisch und Chinesisch. Der Dienst funktioniert zwar für viele weitere Sprachen, die Qualität könnte jedoch variieren. In allen Fällen sollten Sie eigene Tests durchführen, um sicherzustellen, dass es für Ihre Anwendung funktioniert.

Zusätzlich zum Inhaltsfiltersystem führt der Azure OpenAI-Dienst eine Überwachung durch, um Inhalte und/oder Verhaltensweisen zu erkennen, die darauf hindeuten, dass der Dienst auf eine Weise verwendet wird, die gegen geltende Produktbedingungen verstößt. Weitere Informationen zum Verstehen und Minimieren von Risiken im Zusammenhang mit Ihrer Anwendung finden Sie im Transparenzhinweis für Azure OpenAI. Weitere Informationen zur Verarbeitung von Daten für die Inhaltsfilterung und Missbrauchsüberwachung finden Sie unter Daten, Datenschutz und Sicherheit für Azure OpenAI Service.

Die folgenden Abschnitte enthalten Informationen zu den Inhaltsfilterkategorien, den Filterschweregraden und ihrer Konfigurierbarkeit und API-Szenarien, die beim Anwendungsentwurf und der Implementierung berücksichtigt werden sollen.

Inhaltsfilterkategorien

Das in Azure OpenAI Service integrierte Inhaltsfiltersystem enthält Folgendes:

• Neuronale mehrklassige Klassifizierungsmodelle zur Erkennung und Filterung schädlicher Inhalte. Die Modelle decken vier Kategorien („Hass“, „Sexuell“, „Gewalt“ und „Selbstverletzung“) in vier Schweregraden (sicher, niedrig, mittel und hoch) ab. Inhalte, die mit dem Schweregrad „Sicher“ erkannt werden, werden in Anmerkungen gekennzeichnet, unterliegen jedoch keiner Filterung und sind nicht konfigurierbar.
• Andere optionale Klassifizierungsmodelle zur Erkennung eines Jailbreak-Risikos sowie zur Erkennung bekannter Inhalte für Text und Code; Bei diesen Modellen handelt es sich um binäre Klassifizierer, die kennzeichnen, ob das Benutzer- oder Modellverhalten die Kriterien eines Jailbreak-Angriffs erfüllt oder ob eine Übereinstimmung mit bekanntem Text oder Quellcode vorliegt. Die Verwendung dieser Modelle ist optional, aber die Verwendung des Modells für geschütztes Codematerial kann erforderlich sein, um die Verpflichtung des Kunden zum Urheberrecht abzudecken.

Risikokategorien

Category	Beschreibung
Hass und Fairness	Schäden im Zusammenhang mit Hass und Fairness beschreiben sprachliche Angriffe oder Verwendungen, die abwertende oder diskriminierende Ausdrücke in Bezug auf eine Person oder eine Identitätsgruppe auf der Grundlage bestimmter differenzierender Merkmale dieser Gruppen verwendet, einschließlich, aber nicht beschränkt auf Hautfarbe, ethnische Zugehörigkeit, Nationalität, Geschlechtsidentität und -ausdruck, sexuelle Orientierung, Religion, Migrationsstatus, Gesundheitszustand, persönliches Aussehen, und Körpergröße.  Fairness befasst sich mit der Sicherstellung, dass KI-Systeme alle Gruppen von Menschen gleichwertig behandeln, ohne zu bestehenden gesellschaftlichen Ungleichheiten beizutragen. Ähnlich wie Hassrede basieren fairnessbezogene Schäden auf einer unterschiedlichen Behandlung von Identitätsgruppen.
Sexuell	„Sexuell“ beschreibt Sprache, die sich auf anatomische Organe und Genitalien, romantische Beziehungen, erotisch oder zärtlich dargestellte Akte, Schwangerschaft, körperliche sexuelle Akte – einschließlich solcher Akte, die als Übergriff oder erzwungener sexueller Gewaltakt gegen den eigenen Willen dargestellt werden –, Prostitution, Pornografie, und Missbrauch beziehen.
Gewalt	„Gewalt“ beschreibt Sprache im Zusammenhang mit physischen Handlungen mit dem Ziel, jemanden oder etwas zu verletzen oder zu töten oder jemandem oder etwas Schaden zuzufügen, sowie (Schuss-)Waffen und damit verbundene Einrichtungen wie Hersteller, Verbände, Gesetzgebung und Ähnliches.
Selbstverletzung	„Selbstverletzung“ beschreibt Sprache im Zusammenhang mit physischen Handlungen mit dem Ziel, den eigenen Körper absichtlich zu verletzen, zu verwunden oder zu schädigen oder sich selbst zu töten.
Geschütztes Material für Text*	Geschützter Materialtext beschreibt bekannte Textinhalte (z. B. Liedtexte, Artikel, Rezepte und ausgewählte Webinhalte), die von großen Sprachmodellen ausgegeben werden können.
Geschütztes Material für Code	Geschützter Materialcode beschreibt Quellcode, der Quellcode aus öffentlichen Repositorys entspricht, die von großen Sprachmodellen ohne ordnungsgemäße Nennung von Quellrepositorys ausgegeben werden können.

^* Wenn Sie Besitzer*in von Textmaterial sind und zu schützende Textinhalte übermitteln möchten, stellen Sie einen entsprechenden Antrag.

Prompt Shields

Typ	Beschreibung
Prompt Shield für Jailbreak-Angriffe	Jailbreak-Angriffe sind Benutzerprompts, die darauf abzielen, ein Verhalten des generativen KI-Modells zu provozieren, für dessen Vermeidung es trainiert wurde, oder gegen die in der Systemnachricht festgelegten Regeln zu verstoßen. Derartige Angriffe können von komplexem Rollenspiel bis hin zu subtiler Subversion des Sicherheitsziels reichen.
Prompt Shield für indirekte Angriffe	Indirekte Angriffe, die auch als indirekte Promptangriffe oder domänenübergreifende Prompteinschleusungsangriffe bezeichnet werden, sind ein potenzielles Sicherheitsrisiko, bei dem Dritte böswillige Anweisungen innerhalb von Dokumenten platzieren, auf die das generative KI-System zugreifen und sie verarbeiten kann. Erfordert Dokumenteinbettung und -formatierung.

Textinhalte

Warning

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Schweregraddefinitionen

Schweregrade der Kategorie „Hass und Fairness“

Schweregrad	Beschreibung	Beispieltext
Safe	Inhalte sind sicher, können aber hass- und fairnessbezogene Begriffe enthalten, die in einem generischen und sicheren Kontext verwendet werden. Beispiele: Education Medien Offizielle Statistiken Verlauf Medizin Wissenschaft Andere ähnliche Kontexte	"Black people should not be killed by police or mistreated just because of their skin color."
Niedrig	Inhalte, die eine positive Charakterisierung oder Aussagen zum Schutz der Identitätsgruppen sowie Diskriminierung, Stereotypen und vorurteilsbehaftete, voreingenommene oder dogmatische Ansichten oder Einstellungen im Zusammenhang mit Hassrede enthalten oder Identitätsgruppen angreifen. Dies umfasst: Verunglimpfungen in Forschungsarbeiten, Wörterbüchern oder Medien mit direktem Zitat Allgemeine Hassrede, die Objekte, Einzelpersonen oder Gruppen angreift Eingeschränkte Hassrede oder Darstellungen negativer Einstellungen in fiktiven Kontexten (z. B. Spiele, Filme, Literatur)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Medium	Inhalte, die Beleidigungen, Mobbing, Einschüchterungen, Entmenschlichungen oder Herabsetzungen von Einzelpersonen oder Gruppen enthalten. Dies schließt Folgendes ein: Sprache, die Identitätsgruppenattribute verspottet und imitiert Beschreibung von Einzelpersonen oder Gruppen als minderwertig oder unzulänglich Leugnung oder Herabwürdigung der Existenz von Identitätsgruppen Texte, die historische, gut dokumentierte und gewaltsame Ereignisse wie Holocaust, Sklaverei oder Kolonisierung leugnen	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Hoch	Inhalte, die Hassrede in Form von Propaganda enthalten und Gewalt gegen Identitätsgruppen androhen oder zu solcher Gewalt aufrufen bzw. Menschen radikalisieren oder versuchen, sie für extremistische Aktionen zu rekrutieren oder zu solchen Aktionen oder zur Verbreitung von Hassrede anzustiften. Dies schließt Folgendes ein: Aufwiegelnde, anstößige und vulgäre Sprache, die sich gegen bestimmte Personen oder Identitätsgruppen richtet Überlegenheitsbehauptungen zur Rechtfertigung von Diskriminierung, Trennung oder Ausschluss Texte mit einer beliebigen Form der Verherrlichung von Nazi- und SS-Symbolismus, KKK oder der Konföderiertenflagge außerhalb von historischem, pädagogischem oder künstlerischem Kontext Texte, die Hassverbrechen vorbereiten, Gewalt gegen Identitätsgruppen gutheißen oder verherrlichen oder Völkermord gutheißen, verherrlichen oder befürworten	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Schweregrade der Kategorie „Sexuell“

Schweregrad	Beschreibung	Beispieltext
Safe	Inhalte sind sicher, können aber Begriffe mit sexuellem Bezug enthalten, die in einem generischen und sicheren Kontext verwendet werden. Beispiele: Fortbildung Medien Offizielle Statistiken Verlauf Medizin Wissenschaft Erwähnungen familiärer oder romantischer Beziehungen	"Fewer young adults are having sex than in previous generations."
Niedrig	Inhalte, die vorurteilsbehaftete, voreingenommene oder dogmatische Ansichten zu sexuellen Themen zum Ausdruck bringen oder Begriffe mit sexuellem Bezug in fiktiven oder realen Erfahrungen erwähnen, die nicht extrem grafisch sind. Dies schließt Folgendes ein: Erwähnungen von sexueller Anatomie oder Sexszenen in fiktivem und künstlerischem Kontext Ärztliche Rezepte und Diagnosen Persönliche Erfahrungen, sexuelle Probleme und Traumata mit einigen grafischen Inhalten, einschließlich Bewältigungsmechanismen und Ressourcen	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Medium	Inhalte, die explizit und grafisch sexuelle Erregung und Aktivitäten beschreiben, einschließlich Fantasien im Zusammenhang mit Sex und sexuellem Missbrauch. Dies schließt Folgendes ein: Erwähnungen sexueller Stimulation und Masturbation Pornografie in rein geschäftlicher Form sowie Prostitution, Escort-Service usw. als Beruf ohne Sexszenen Produktwerbung für Erwachsene (beispielsweise für Sexspielzeug) Persönliche Erfahrungen und Beschreibungen im Zusammenhang mit sexuellen, erotischen oder tantrischen Massagen, Stripclubs, Erotikshows oder BDSM-Attributen und -Praktiken	"We both climaxed at the same time."
Stufe 7	Inhalte, die das Anbieten sexueller kommerzieller Dienstleistungen beschreiben, die detaillierte Beschreibungen sexueller Aktivitäten, gewalttätigen sexuellen Missbrauchs und Vergewaltigung sowie nicht einvernehmlichen Machtaustauschs, Missbrauchs und Voyeurismus enthalten. Dazu gehören auch Inhalte, die extreme oder illegale sexuelle Handlungen propagieren, befürworten oder verherrlichen. Dies schließt Folgendes ein: Jegliche Darstellung von Material zu sexuellem Missbrauch von Kindern (Child Sexual Abuse Material, CSAM) einschließlich expliziter oder potenzieller Verweise auf Sex mit Minderjährigen Cyber Grooming, Kindesmissbrauch und andere Ausbeutung von Kindern Explizite oder potenzielle Verweise auf Inzest, Zoophilie, Nekrophilie und Ähnliches Rekrutierung für Sexhandel einschließlich Opfermanipulation	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Schweregrade der Kategorie „Gewalt“

Schweregrad	Beschreibung	Beispieltext
Safe	Inhalte sind sicher, können aber Begriffe im Zusammenhang mit Gewalt enthalten, die in einem generischen und sicheren Kontext verwendet werden. Beispiele: Fortbildung Medien Offizielle Statistiken Verlauf Medizin Wissenschaft Alltagsgegenstände, wenn sie nicht als Waffe verwendet werden Technische Spezifikationen für Jagd- oder Schießsport und entsprechende Waffen	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Niedrig	Inhalte in fiktiven Kontexten (z. B. Gaming, Literatur, Kunst), die gewalttätige oder grafische Szenen ohne Verherrlichung, Befürwortung oder böswillige Absicht darstellen. Dies schließt Folgendes ein: Persönliche Gewalterfahrungen (ohne gewalttätige Absicht) Vorurteilsbehaftete, voreingenommene oder dogmatische Ansichten zu Gewalt Erwähnungen von Gewaltakten und Tod mit geringer Intensität	"Some people just need to be slapped."
Medium	Inhalte, die grafische Darstellungen von Gewalt und Tod mit mittlerer Intensität sowie Fantasien über gewalttätige Handlungen oder Bedrohungen enthalten. Dies schließt Folgendes ein: Texte, die Opfern die Schuld geben oder Täter*innen in einem positiven Licht darstellen Historische Verweise auf Völkermord und den Holocaust ohne Befürwortung oder Verherrlichung Verweise auf bekannte Schießereien mit mehreren Toten ohne Befürwortung oder Verherrlichung Verweise auf terroristische und gewalttätige extremistische Gruppen und Ereignisse ohne Befürwortung oder Verherrlichung Texte, die um Rat oder Empfehlungen bitten, oder Texte, die eine Anleitung zur Durchführung eines Gewaltakts gegen ein Tier, eine Person, eine Gruppe von Einzelpersonen oder ein Objekt oder eine Infrastruktur bereitstellen und dadurch zu individuellem Schaden oder zu Schaden im großen Stil führen können Mobbing und Einschüchterung	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Hoch	Inhalte mit terroristischer oder gewalttätiger extremistischer Propaganda und gewalttätiger Ideologie im Internet, die Tötungen im Zuge terroristischer Aktivitäten beschreiben, gutheißen, befürworten oder glorifizieren oder terroristische Organisationen oder Zwecke unterstützen. Dies schließt Folgendes ein: Texte, die um Anleitungen zur Aufnahme in terroristischen und gewalttätigen extremistischen Gruppen bitten Texte, die erklären, wie Anhänger*innen rekrutiert, Personen durch Beeinflussung für terroristische Zwecke oder für eine extremistische Ideologie gewonnen oder radikale Ansichten vermittelt werden, oder die darüber informieren, wie terroristische und gewalttätige extremistische Gruppen arbeiten, oder die Informationen zu ihren Anführer*innen und Mitgliedern liefern Texte, die dazu dienen, Angriffe auf Einzelpersonen oder Personengruppen zu planen und zu koordinieren, einschließlich Schießereien, Einsatz von Bomben und Sprengstoff gegen zivile Infrastruktur oder Angriffen mit Klingenwaffen, wenn diese nicht von Kämpfer*innen oder Terrorist*innen durchgeführt werden Inhalte mit Verweisen auf Zwangsarbeit, einschließlich im Zusammenhang mit Kindern, häuslicher Sklaverei, Stalking und erzwungenen medizinischen Prozeduren	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Schweregrade der Kategorie „Selbstverletzung“

Schweregrad	Beschreibung	Beispieltext
Safe	Inhalte sind sicher, können aber Begriffe im Zusammenhang mit Selbstverletzung enthalten, die in einem generischen und sicheren Kontext verwendet werden. Beispiele: Offizielle Statistiken Fortbildung Medien Medizin Aktionen, die versehentliche Selbstverletzung, Tipps zur Erstversorgung und Ähnliches beschreiben.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Niedrig	Inhalte, die Verweise auf Figuren enthalten, die Selbstmord in einem fiktiven Kontext (z. B. Literatur, Filme) planen oder begehen oder Darstellungen von Selbstverletzungshandlungen oder Selbstmord mit geringer Intensität enthalten. Dies schließt Folgendes ein: Persönliche vorurteilsbehaftete, voreingenommene oder dogmatische Ansichten zu Selbstverletzung Assoziationen mit Essstörungen, Suche nach oder Bereitstellung von Anleitungen für drastischen und ungesunden Gewichtsverlust Persönliche Erfahrungen im Zusammenhang mit Selbstverletzung, einschließlich Bemühung um professionelle Hilfe	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Medium	Inhalte, die Opfer oder Überlebende von Selbstverletzungen wie Essstörungen oder Selbstmord verspotten, sowie Mobbing und Einschüchterung mit dem Ziel, andere zu Selbstverletzung anzustiften oder dazu zu animieren. Dies schließt Folgendes ein: Selbstverletzung als Lösung für ein Problem Fantasien, Verlangen, Wünsche oder persönliche Erfahrungen im Zusammenhang Selbstverletzung/Selbstmord Texte, die Ratschläge, Anleitungen oder Empfehlungen zur Selbstverletzung erbitten oder bereitstellen Mobbing und Einschüchterung, um zu Selbstverletzung anzustiften und selbige zu fördern	"Go kill yourself, you are worthless."
Hoch	Inhalte wie die Suche nach Ratschlägen oder die Bereitstellung von Anleitungen und Methoden für Selbstverletzungen mit Todesfolge oder für die Begehung von Selbstmord sowie Verherrlichung und Befürwortung von Selbstmord oder anderen schweren Arten von Selbstverletzung. Dies schließt Folgendes ein: Texte, die Ihnen zeigen, wie Sie eine Abschiedsnachricht an Ihre Familie schreiben Selbstenthauptung Lebendiges Verbrennen	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Bilddateiinhalt

Warning

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Schweregraddefinitionen

Schweregrade der Kategorie „Hass und Fairness“

Schweregrad	Beschreibung	Beispielimage
Stufe 0 – Sicher	Inhalte sind sicher, können aber Hass- und Fairness-bezogene Bilder ohne Stimmung oder neutrale Stimmungen in den folgenden Kontexten oder ähnlichen nichtdiskriminierenden, nicht beleidigenden Wegen enthalten: Journalistisch Verlaufsdaten Medizin Rechtliche Hinweise Lernen Geografisch	Nicht konföderierte Flaggen, z. B. Flaggen von Ländern oder Staaten, die Kreuze aufweisen Ein Bild der Union Jack Flagge von Großbritannien Darstellung der Emanzipation von versklavten Menschen in den USA in historischen Fotos
Stufe 2 – Niedrig	Inhalte, die entweder positive Stimmungen, falsch positive Stimmungen oder negative, verzerrte Stimmungen enthalten, die Identitätsgruppen von anderen unterscheiden. Dieser Inhalt soll eine emotionale Reaktion auslösen. Dies schließt Folgendes ein: Schutz Nazi-Symbolismus, die konföderierte Flagge, Ku Klux Klan Symbolismus Stereotypisierung Diskriminierung bei der Einstellung	Darstellungen der Bewegung „No Hate Speech“ Darstellungen entprioritisierter Jobkandidaten wie Kandidaten mit Behinderungen in Interviewumgebungen
Stufe 4 – Mittel	Inhalte, die negative Stimmungsaktion gegenüber Identitätsgruppen und anderen enthalten, die zur Förderung von Aktionen gegen Identitätsgruppen und Stimmungen von Überlegenheit führen. Dies schließt Folgendes ein: Beleidigung, Isolation, Mocking Nationalsozialistische Flagge, konföderierte Flagge und LGBTQIA+ Variationen und Waren	Bilder, die die soziale Vermeidung von [Identitätsgruppen] Bilder, die die Theorie und Eugenik der Rassenverbesserung darstellen
Stufe 6 – Hoch	Inhalte, die negative Stimmungen und Hassreden gegenüber Identitätsgruppen enthalten, die zu Hassreden oder Hassverbrechen führen. Dies schließt Folgendes ein: Rassismus Angriffe auf LGBTQIA+ Disablismus Geschlechtsbedingte Diskriminierung Glorifizierte Nazi-Symbolik, Konföderierte Flagge, Ku Klux Klan Symbolismus Gewaltfreie Konföderierte Flagge	Antisemitische Bilder Bilder, die das „Kreuz des Südens“ mit einer blauen Salve (diagonales Kreuz) darstellen und mit offensichtlicher Gewalt verbunden sind (z. B. ausgestellte/verwendete Waffen)

Sexueller Schweregrad

Schweregrad	Beschreibung	Beispielimage
Stufe 0 – Sicher	Inhalte sind sicher, enthalten jedoch sexuelle Bilder, die im allgemeinen Kontext verwendet werden. Dies schließt Folgendes ein: Familie und romantische Beziehungen Nicht-sexuelle Nacktheit Clothing Allgemeine Objekte Nicht sexuelle Pose oder Aktivität Paarung von Tieren Sexuelle Wellness	Darstellungen von Umarmungen oder zur Herstellung von nicht-sexuellem körperlichem Kontakt Darstellungen physischer Zuneigung, wie z. B. Küssen ohne Zunge und ohne Nacktheit
Stufe 2 – Niedrig	Inhalte, die sexuell anzügliche Verhaltensweisen oder Handlungen enthalten. Dies schließt Folgendes ein: Persönliche Erfahrungen Modemodellierung Nacktheit in Grafiken Körperkunst Racy Display	Darstellungen von Personen
Stufe 4 – Mittel	Inhalte, die kommerzielle und amateurhafte erotische und/oder pornografische Inhalte ohne visuelle fotografische Penetration und nackte oder halbnackte Teilnehmer in sexuellen Szenen enthalten, die sexuell erregend sein sollen. Dies schließt Folgendes ein: Sexuelle Modellierung Sanfte Nacktheit im Kunstwerk Sex-Jobs oder Geschäfte Verdeckte sexuelle Aktivität Pornoproduktion Backstage Poltanz	Darstellungen von Geschlechtsverkehr, die teilweise verdeckt, aber dennoch deutlich im Bild vorhanden sind
Stufe 6 – Hoch	Inhalte, die explizit detaillierte Darstellungen sexueller Organe und sexueller Handlungen enthalten, einschließlich illegaler Handlungen. Dies schließt Folgendes ein: Amateur-Soft-Core- und Hard-Core-Pornografie Sexuelle Aufforderung Voyeurismus Sex in Kunstwerken BDSM ohne Zustimmung oder Vergewaltigung Sexuelle Ausbeutung und Missbrauch von Kindern Kinderhortung Inzest	Darstellungen von Engagements bei sexuellen Aktivitäten mit Tieren oder Leichen

Schweregrad der Gewalt

Schweregrad	Beschreibung	Beispielimage
Stufe 0 – Sicher	Inhalte sind sicher, enthalten jedoch Gewaltbilder, die im allgemeinen Kontext verwendet werden. Dies schließt Folgendes ein: Schlafende oder liegende Haltung Allgemeine Objekte Gewaltfreie Aktivitäten Seile nicht als Schlinge Klingenwerkzeuge, die in der Küche/beim Nähen verwendet werden Wunden, Narben und chirurgische Behandlung Jagd und Schießsport Spielzeugwaffen und Imitate Kampfpraxis Objektschäden und Vandalismus Nicht markengebundene terroristische Symbolik	Darstellungen von nicht realistischen Waffen und Klingenwerkzeugen
Stufe 2 – Niedrig	Inhalte, die gewalttätige Bilder und Handlungen in der realen Welt oder in fiktiven Kontexten mit geringer Grausamkeit enthalten. Dies schließt Folgendes ein: Waffen, Waffen und Klingenwerkzeuge im Display und im Einsatz Nicht realistische Leichen Nicht realistische Gewalt Animierte Waffen Leichte Verletzung und persönliche Erfahrung Seile als Schlinge Der Tod in historischer, pädagogischer oder funerärer Umgebung Nicht realistischer terroristischer Symbolismus Stierkampf	Darstellungen von ISIS/al-Kaida-Flaggen
Stufe 4 – Mittel	Inhalte, die moderate grafische Gewalt und Gewalttaten enthalten, die auf ein identifiziertes Ziel abzielen. Dies schließt Folgendes ein: Autopsie Verbrechens- oder Todesszene Tiertod (natürlich oder gejagt), Tieropfer, Tiermissbrauch Versklavung Völkermord und Massenmorde in historischen, pädagogischen Einstellungen Schlachthof Häusliche Gewalt und körperlicher Missbrauch Mobbing Waffen und Waffen, die gegen ein Ziel verwendet werden	Darstellungen des Einsatzes von Gewalt und Koersion zur aggressiven Beherrschen oder Einschüchterung eines Einzelnen
Stufe 6 – Hoch	Inhalte, die explizite, detaillierte Darstellungen von Gewalt und gewalttätigen Handlungen mit hohem Blutanteil enthalten. Dies schließt Folgendes ein: Dargestellte Verletzungen und Tod Zerstückelung, Enthauptung, lebendige Verbrennung Leichenverwesung Terrorismus, Terrorgruppen und Flaggen Zwangsarbeit und Leibeigenschaft, medizinische Zwangsmaßnahmen Stalking Leichen in Terrorismus und Kriegsverbrechen Schießereien Anderer Extremismus	Darstellungen des Todes, wenn sie von terroristischen Gruppen durchgeführt werden, die von ISIS-Flaggen und Symbolen identifiziert werden

Schweregrad der Selbstschäden

Schweregrad	Beschreibung	Beispielimage
Stufe 0 – Sicher	Inhalte sind sicher, enthalten aber selbstverletzte Bilder, die im Allgemeinen verwendet werden. Dies schließt Folgendes ein: Niedriges Körperfett Nicht-selbstschädigende Handlung Versehentliche Körperverletzung	Darstellungen des Springens mit einem Fallschirm aus einem Flugzeug
Stufe 2 – Niedrig	Inhalte, die Bilder und Handlungen im Zusammenhang mit Selbstverletzung in realen oder fiktiven Kontexten mit geringem Grauen enthalten. Dies schließt Folgendes ein: Narben Selbstverletzungen in der Genesung Nicht realistischer Selbstschaden Ausgemergelte Personen oder Tiere	Darstellungen von selbstverletzten Handlungen, Werkzeugen, Verletzungen und emotionalem Zustand
Stufe 4 – Mittel	Inhalte, die mäßige grafische Darstellungen in Bezug auf Selbstverletzung und Selbstmord enthalten. Dies schließt Folgendes ein: Autopsie Verbrechens- oder Todesszene Mobbing	Darstellungen der Anwendung von Gewalt und Zwang, um eine Person aggressiv zu dominieren oder einzuschüchtern, so dass sie sich selbst schadet
Stufe 6 – Hoch	Inhalte, die explizite, detaillierte Darstellungen von Selbstverletzung und Selbstmord in hohem Maße blutig enthalten. Dies schließt Folgendes ein: Bevorstehender Selbstverletzungsakt Selbstverletzende Handlungen Selbstmord	Darstellungen von vorsätzlichem Selbstmord, bei denen eine Person Selbstmord durch einen Sprung von einem hohen Gebäude begangen hat

Konfigurierbarkeit (Vorschau)

Die Inhaltsfilterkonfiguration für die GPT-Modellreihe ist standardmäßig so festgelegt, dass alle vier Kategorien schädlicher Inhalte (Hass, Gewalt, Sexualität, Selbstverletzung) mit mittlerem Schweregrad gefiltert werden. Sie gilt sowohl für Prompts (Text, multimodale Texte/Bilder) als auch für Vervollständigungen (Text). Das bedeutet, dass Inhalte, die mit dem Schweregrad „Mittel“ oder „Hoch“ erkannt werden, gefiltert werden, während Inhalte, die mit dem Schweregrad „Niedrig“ erkannt werden, nicht von den Inhaltsfiltern gefiltert werden. Bei DALL-E wird der standardmäßige Schwellenwert für den Schweregrad sowohl für Prompt (Text) als auch für Vervollständigungen (Bilder) auf „Niedrig“, „Mittel“ oder „Hoch“ festgelegt. Daher werden erkannte Inhalte mit dem Schweregrad „Niedrig“, „Mittel“ oder „Hoch“ gefiltert. Das Konfigurierbarkeitsfeature ist in der Vorschau verfügbar und ermöglicht es Kunden, die Einstellungen separat für Eingabeaufforderungen und Vervollständigungen anzupassen, um Inhalte wie in der folgenden Tabelle beschrieben für jede Inhaltskategorie mit unterschiedlichen Schweregraden zu filtern:

Gefilterter Schweregrad	Konfigurierbar für Eingabeaufforderungen	Konfigurierbar für Vervollständigungen	Beschreibungen
Niedrig, mittel, hoch	Ja	Ja	Strengste Filterkonfiguration. Mit den Schweregraden „Niedrig“, „Mittel“ und „Hoch“ erkannte Inhalte werden gefiltert.
Mittel, Hoch	Ja	Ja	Mit dem Schweregrad „Niedrig“ erkannte Inhalte werden nicht gefiltert, Inhalte mit mittlerem und hohem Schweregrad werden gefiltert.
Hoch	Falls genehmigt1	Falls genehmigt1	Mit den Schweregraden „Niedrig“ und „Mittel“ erkannte Inhalte werden nicht gefiltert. Nur Inhalte mit hohem Schweregrad werden gefiltert. Genehmigung erforderlich1.
Keine Filter	Falls genehmigt1	Falls genehmigt1	Unabhängig vom erkannten Schweregrad wird kein Inhalt gefiltert. Genehmigung erforderlich1.

¹ Für Azure OpenAI-Modelle haben diejenigen die vollständige Kontrolle über die Inhaltsfilterung, einschließlich der Konfiguration von Inhaltsfiltern mit nur hohem Schweregrad oder Deaktivierung von Inhaltsfiltern, die für die Filterung von geänderten Inhalten zugelassen wurden. Beantragen von geänderten Inhaltsfiltern über dieses Formular: Azure OpenAI Limited Access Review: Modified Content Filters and Abuse Monitoring (microsoft.com) (Überprüfung des eingeschränkten Zugriffs in Azure OpenAI: Geänderte Inhaltsfilter und Missbrauchsüberwachung [microsoft.com])

Diese Previewfunktion ist für die folgenden Azure OpenAI-Modelle verfügbar:

• GPT-Modellreihe (Text)
• GPT-4 Turbo Vision 2024-04-09 (multimodale Texte/Bilder)
• DALL-E 2 und 3 (Bild)

Inhaltsfilterkonfigurationen werden in einer Ressource in Azure KI Studio erstellt und können Bereitstellungen zugeordnet werden. Weitere Informationen zur Konfigurierbarkeit finden Sie hier.

Kunden sind dafür verantwortlich, sicherzustellen, dass Anwendungen, die Azure OpenAI integrieren, den Verhaltenskodex einhalten.

Szenariodetails

Wenn das Inhaltsfiltersystem schädliche Inhalte erkennt, erhalten Sie entweder einen Fehler im API-Aufruf, wenn die Äußerung als unangemessen angesehen wurde, oder finish_reason in der Antwort ist content_filter, um anzuzeigen, dass der Abschluss teilweise gefiltert wurde. Wenn Sie Ihre Anwendung oder Ihr System erstellen, sollten Sie diese Szenarien berücksichtigen, in denen der von der Vervollständigungs-API zurückgegebene Inhalt gefiltert wird, was zu unvollständigen Inhalten führen kann. Wie Sie auf diese Informationen reagieren, ist anwendungsspezifisch. Das Verhalten kann in den folgenden Punkten zusammengefasst werden:

• Eingabeaufforderungen, die in einer gefilterten Kategorie und einem Schweregrad klassifiziert sind, geben einen HTTP 400-Fehler zurück.
• Nicht streamende Abschlussaufrufe geben keine Inhalte zurück, wenn der Inhalt gefiltert wird. Der finish_reason-Wert wird auf content_filter festgelegt. In seltenen Fällen mit längeren Antworten kann ein Teilergebnis zurückgegeben werden. In diesen Fällen wird der finish_reason aktualisiert.
• Für Streaming-Abschlussaufrufe werden Segmente an den Benutzer zurückgegeben, sobald sie abgeschlossen wurden. Der Dienst setzt das Streaming fort, bis entweder ein Stopptoken oder eine Länge erreicht wird oder wenn Inhalte erkannt werden, die in einer gefilterten Kategorie und einem Schweregrad klassifiziert sind.

Szenario: Sie senden einen Nicht-Streaming-Abschlussaufruf, in dem Sie nach mehreren Ausgaben fragen. Kein Inhalt wird in einer gefilterten Kategorie und einem Schweregrad klassifiziert.

In der Tabelle unten sind die verschiedenen Möglichkeiten beschrieben, wie Inhaltsfilterung dargestellt werden kann:

HTTP-Antwortcode	Antwortverhalten
200	In den Fällen, in denen alle Generierungen den Filter wie konfiguriert ohne Beanstandung durchlaufen, werden der Antwort keine Details zu Inhaltsmoderation hinzugefügt. Die finish_reason für jede Generierung ist entweder „Stopp“ oder „Länge“.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Beispielantwort JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Szenario: Ihr API-Aufruf bittet um mehrere Antworten (N>1), und mindestens eine der Antworten wird gefiltert.

HTTP-Antwortcode	Antwortverhalten
200	Die Generierungen, die gefiltert wurden, weisen den finish_reason-Wert content_filter auf.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Beispielantwort JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Szenario: Eine unangemessene Eingabeäußerung wird an die Abschluss-API gesendet (entweder für Streaming oder nicht für Streaming)

HTTP-Antwortcode	Antwortverhalten
400	Der API-Aufruf schlägt fehl, wenn der Prompt einen Inhaltsfilter wie konfiguriert auslöst. Ändern Sie die Äußerung, und versuchen Sie es erneut.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Content that triggered the filtering model"
}

Beispielantwort JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Szenario: Sie führen einen Streamingabschlussaufruf durch. Keine Ausgabeinhalte sind in einer gefilterten Kategorie und einem Schweregrad klassifiziert.

HTTP-Antwortcode	Antwortverhalten
200	In diesem Fall wird durch den Aufruf die gesamte Generierung zurück gestreamt, und finish_reason für jede generierte Antwort ist entweder „Länge“ oder „Stopp“.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Beispielantwort JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Szenario: Sie führen einen Streamingabschlussaufruf mit der Aufforderung nach mehreren Vervollständigungen durch, und mindestens ein Teil des Ausgabeinhalts wird gefiltert.

HTTP-Antwortcode	Antwortverhalten
200	Für einen bestimmten Generierungsindex enthält der letzte Teil der Generierung einen finish_reason-Wert ungleich null. Der Wert ist im Fall einer gefilterten Generierung content_filter.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Beispielantwort JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Szenario: Das Inhaltsfiltersystem wird für den Abschluss nicht ausgeführt

HTTP-Antwortcode	Antwortverhalten
200	Wenn das Inhaltsfiltersystem nicht ausgeführt wird oder in anderer Weise nicht in der Lage ist, den Vorgang zeitgerecht abzuschließen, wird Ihre Anforderung trotzdem ohne Filterung abgeschlossen. Sie können bestätigen, dass die Filterung nicht angewendet wurde, indem Sie im Objekt content_filter_result nach einer Fehlermeldung suchen.

Beispiel für Anforderungsnutzdaten:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Beispielantwort JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Anmerkungen

Inhaltsfilter

Wenn Anmerkungen wie im folgenden Codeschnipsel zu sehen aktiviert sind, werden über die API die folgenden Informationen für die Kategorien („Hass“, „Sexuell“, „Gewalt“, und „Selbstverletzung“) zurückgegeben:

• Inhaltsfilterkategorie („hate“, „sexual“, „violence“, „self_harm“)
• Schweregrad („safe“, „low“, „medium“ oder „high“) innerhalb der jeweiligen Inhaltskategorie
• Filterstatus („true“ oder „false“)

Optionale Modelle

Optionale Modelle können im Anmerkungsmodus (gibt Informationen zurück, wenn Inhalte gekennzeichnet, aber nicht gefiltert wurden) oder im Filtermodus (gibt Informationen zurück, wenn Inhalte gekennzeichnet und gefiltert wurden) aktiviert werden.

Wenn Anmerkungen wie in den folgenden Codeschnipsels zu sehen aktiviert sind, werden von der API die folgenden Informationen für optionale Modelle zurückgegeben:

Modell	Output
Jailbreak	erkannt (true oder false), gefiltert (true oder false)
Indirekte Angriffe	erkannt (true oder false), gefiltert (true oder false)
geschützter Materialtext	erkannt (true oder false), gefiltert (true oder false)
geschützter Materialcode	erkannt (true oder false), gefiltert (true oder false), Beispielzitat des öffentlichen GitHub-Repositorys, in dem der Codeschnipsel gefunden wurde, Die Lizenz des Repositorys

Wenn in Ihrer Anwendung Code angezeigt wird, sollte die Anwendung auch unbedingt das Beispielzitat aus den Anmerkungen anzeigen. Die Einhaltung der zitierten Lizenz kann auch für die Abdeckung der Verpflichtung des Kunden zum Urheberrecht erforderlich sein.

In der folgenden Tabelle finden Sie die Verfügbarkeit von Anmerkungen in jeder API-Version:

Kategorie	2024-02-01 GA	2024-04-01-preview	2023-10-01-preview	2023-06-01-preview
Hass	✅	✅	✅	✅
Gewalt	✅	✅	✅	✅
Sexuell	✅	✅	✅	✅
Selbstverletzung	✅	✅	✅	✅
Prompt Shield für Jailbreak-Angriffe	✅	✅	✅	✅
Prompt Shield für indirekte Angriffe		✅
Geschützter Materialtext	✅	✅	✅	✅
Geschützter Materialcode	✅	✅	✅	✅
Sperrliste für Obszönitäten	✅	✅	✅	✅
Benutzerdefinierte Sperrliste		✅	✅	✅

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Hinweis

Die OpenAI Python-Bibliotheksversion 0.28.1 ist veraltet. Wir empfehlen die Verwendung der 1.x. Informationen zur Migration von 0.28.1 zu 1.x finden Sie in unserem Migrationsleitfaden.

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

Der folgende Codeausschnitt zeigt, wie Anmerkungen abgerufen werden, wenn Inhalt gefiltert wurde:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Azure OpenAI-SDK für JavaScript: Quellcode und Beispiele

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

Das $response-Objekt enthält eine Eigenschaft namens prompt_filter_results, die Anmerkungen zu den Filterergebnissen enthält. Wenn Sie JSON einem .NET-Objekt gegenüber bevorzugen, übergeben Sie die Ausgabe an ConvertTo-JSON anstelle von Format-List.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Ausführliche Informationen zu den Rückschluss-REST-API-Endpunkten für Azure OpenAI und zum Erstellen von Chats und Vervollständigungen finden Sie im Referenzleitfaden zur Rest-API des Azure OpenAI Service. Anmerkungen werden für alle Szenarien zurückgegeben, wenn Sie eine beliebige Vorschau-API-Version ab 2023-06-01-preview sowie die GA-API-Version 2024-02-01 verwenden.

Beispielszenario: Eine Eingabeeingabeaufforderung mit Inhalten, die in einer gefilterten Kategorie und einem Schweregrad klassifiziert sind, wird an die Vervollständigungs-API gesendet.

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Dokumenteinbettung in Prompts

Ein wichtiger Aspekt der Azure OpenAI-Maßnahmen für verantwortungsvolle KI ist das Sicherheitssystem für Inhalte. Dieses System wird zusammen mit dem GPT-Kernmodell ausgeführt, um Unregelmäßigkeiten in der Modelleingabe und -ausgabe zu überwachen. Seine Leistung wird verbessert, wenn es zwischen verschiedenen Elementen Ihrer Eingabeaufforderung wie Systemeingaben, Benutzereingaben und der Ausgabe des KI-Assistenten unterscheiden kann.

Um die Erkennungsfunktionen zu verbessern, sollten Prompts nach den folgenden empfohlenen Methoden formatiert werden.

Chatvervollständigungs-API

Die Chatvervollständigungs-API ist definitionsgemäß strukturiert. Sie besteht aus einer Liste von Nachrichten, die jeweils eine zugewiesene Rolle haben.

Das Sicherheitssystem parst dieses strukturierte Format und wendet das folgende Verhalten an:

• Bei den neuesten „Benutzer“-Inhalten werden die folgenden Kategorien von RAI-Risiken erkannt:
  • Hass
  • Sexuell
  • Gewalt
  • Selbstverletzung
  • Jailbreak (optional)

Dies ist ein Beispiel für ein Nachrichtenarray:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Einbetten von Dokumenten in Ihren Prompt

Zusätzlich zur Erkennung der letzten Benutzerinhalte unterstützt Azure OpenAI auch die Erkennung bestimmter Risiken innerhalb von Kontextdokumenten über Prompt Shields – Erkennung von indirekten Promptangriffen. Sie sollten Teile der Eingabe, die ein Dokument (z. B. abgerufene Website, E-Mail usw.) sind, mit dem folgenden Dokumenttrennzeichen identifizieren.

<documents> 
*insert your document content here* 
</documents>

Dabei stehen die folgenden Optionen für die Erkennung in markierten Dokumenten zur Verfügung:

• Erkennen Sie bei jedem markierten „Dokument“-Inhalt die folgenden Kategorien:
  • Indirekte Angriffe (optional)

Nachfolgend sehen Sie ein Beispiel für das Array der Chatvervollständigungsnachrichten:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

JSON-Escapezeichen

Wenn Sie ungeprüfte Dokumente für die Erkennung markieren, muss der Inhalt des Dokuments mit JSON-Escapezeichen versehen sein, um ein erfolgreiches Parsen durch das Azure OpenAI-Sicherheitssystem zu gewährleisten.

Sehen Sie sich beispielsweise den folgenden E-Mail-Text an:

Hello Josè, 

I hope this email finds you well today.

Mit JSON-Escapezeichen würde er folgendermaßen lauten:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Der Text mit Escapezeichen in einem Chatvervollständigungskontext würde folgendermaßen lauten:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Inhaltsstreaming

In diesem Abschnitt werden die Erfahrung und die Optionen für Azure OpenAI-Inhaltsstreaming beschrieben. Kunden haben die Möglichkeit, Inhalte aus der API abzurufen, während sie generiert werden, anstatt darauf zu warten, dass überprüfte Inhaltsblöcke Ihre Inhaltsfilter durchlaufen.

Standard

Das Inhaltsfiltersystem ist für alle Kunden standardmäßig integriert und aktiviert. Im Standardstreamingszenario wird Vervollständigungsinhalt gepuffert, das Inhaltsfiltersystem wird auf den gepufferten Inhalten ausgeführt, und dann werden Inhalte – abhängig von der Konfiguration der Inhaltsfilterung – entweder an Benutzer*innen zurückgegeben, wenn die Inhalte nicht gegen die Inhaltsfilterrichtlinie verstoßen (Microsoft-Standardrichtlinie oder benutzerdefinierte Konfiguration), oder sie werden sofort blockiert und geben einen Inhaltsfilterfehler zurück, ohne den schädlichen Vervollständigungsinhalt zurückzugeben. Dieser Vorgang wird bis zum Ende des Streams wiederholt. Der Inhalt wird gemäß der Inhaltsfilterrichtlinie vollständig überprüft, bevor er an Benutzer*innen zurückgegeben wird. Der Inhalt wird in diesem Fall nicht Token-für-Token zurückgegeben, sondern in „Inhaltsblöcken“ mit der entsprechenden Puffergröße.

Asynchroner Filter

Kunden können den asynchronen Filter als zusätzliche Option auswählen, um eine neue Streamingumgebung bereitzustellen. In diesem Fall werden Inhaltsfilter asynchron ausgeführt, und der Vervollständigungsinhalt wird sofort mit einer reibungslosen Token-für-Token-Streamingerfahrung zurückgegeben. Es wird kein Inhalt gepuffert, was eine schnelles Streaming mit Nulllatenz und Inhaltssicherheit ermöglicht.

Kunden müssen sich bewusst sein, dass das Feature zwar die Wartezeit verbessert, aber einen Kompromiss bezüglich der Sicherheit und Echtzeitüberprüfung kleinerer Abschnitte der Modellausgabe darstellt. Da Inhaltsfilter asynchron ausgeführt werden, werden Nachrichten zur Inhaltsmoderation und Signale zur Richtlinienverletzung verzögert, was bedeutet, dass einige Abschnitte mit schädlichen Inhalten, die andernfalls sofort gefiltert werden würden, den Benutzer*innen angezeigt werden könnten.

Anmerkungen: Anmerkungen und Inhaltsmoderationsmeldungen werden während des Streams kontinuierlich zurückgegeben. Es wird dringend empfohlen, in Ihren Apps Anmerkungen zu nutzen und zusätzliche KI-Inhaltssicherheitsmechanismen zu implementieren, z. B. das Schwärzen von Inhalten oder das Zurückgeben zusätzlicher Sicherheitsinformationen an Benutzer*innen.

Signal zur Inhaltsfilterung: Das Fehlersignal für die Inhaltsfilterung ist verzögert. Im Falle einer Richtlinienverletzung wird es zurückgegeben, sobald es verfügbar ist, und der Datenstrom wird beendet. Das Inhaltsfiltersignal wird innerhalb eines Fensters von ca. 1000 Zeichen des richtlinienverletzenden Inhalts garantiert.

Verpflichtung des Kunden zum Urheberrecht: Inhalte, die rückwirkend als geschütztes Material gekennzeichnet sind, können möglicherweise nicht durch die Verpflichtung des Kunden zum Urheberrecht abgedeckt werden.

Um asynchrone Filter in Azure OpenAI Studio zu aktivieren, folgen Sie der Schrittanleitung für den Inhaltsfilter, um eine neue Inhaltsfilterkonfiguration zu erstellen, und wählen Sie Asynchroner Filter im Abschnitt „Streaming“ aus.

Vergleich der Inhaltsfiltermodi

Vergleichen	Streaming – Standard	Streaming: asynchroner Filter
Status	Allgemein verfügbar	Öffentliche Vorschau
Berechtigung	Alle Kunden	Kunden, welche für die Filterung geänderter Inhalte genehmigt wurden
Vorgehensweise zum Aktivieren	Standardmäßig aktiviert, keine Aktion erforderlich	Kunden, welche für die Filterung geänderter Inhalte genehmigt wurden, können dies direkt über Azure OpenAI Studio konfigurieren (als Teil einer Inhaltsfilterkonfiguration, die auf Bereitstellungsebene angewendet wird)
Modalität und Verfügbarkeit	Text; alle GPT-Modelle	Text; alle GPT-Modelle mit Ausnahme von gpt-4-vision
Streamingumgebung	Inhalt wird gepuffert und in Blöcken zurückgegeben.	Nulllatenz (keine Pufferung, Filter werden asynchron ausgeführt)
Signal zur Inhaltsfilterung	Sofortiges Filtersignal	Verzögertes Filtersignal (in Inkrementen von bis zu ca. 1000 Zeichen)
Konfigurationen für Inhaltsfilterung	Unterstützt Standard- und alle benutzerdefinierten Filtereinstellungen (einschließlich optionaler Modelle)	Unterstützt Standard- und alle benutzerdefinierten Filtereinstellungen (einschließlich optionaler Modelle)

Anmerkungen und Beispielantworten

Promptanmerkungsnachricht

Diese entspricht den Standardanmerkungen.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Vervollständigungstokennachricht

Vervollständigungsnachrichten werden sofort weitergeleitet. Es wird keine vorherige Moderation durchgeführt, und anfänglich werden keine Anmerkungen bereitgestellt.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Anmerkungsnachricht

Das Textfeld ist immer eine leere Zeichenfolge, was bedeutet, dass keine neuen Token vorhanden sind. Anmerkungen sind nur für bereits gesendete Token relevant. Möglicherweise gibt es mehrere Anmerkungsmeldungen, die auf dieselben Token verweisen.

"start_offset" und "end_offset" sind Offsets mit niedriger Granularität im Text (mit 0 am Anfang der Eingabeaufforderung), um zu markieren, für welchen Text die Anmerkung relevant ist.

"check_offset" stellt dar, wie viel Text vollständig moderiert wurde. Es handelt sich um eine exklusive Untergrenze für die "end_offset"-Werte zukünftiger Anmerkungen. Sie ist nicht abnehmend.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Beispielantwortdatenstrom (durchläuft Filter)

Nachfolgend finden Sie eine echte Vervollständigungsantwort für einen Chat mithilfe eines asynchronen Filters. Beachten Sie, dass die Anmerkungen der Eingabeaufforderung nicht verändert werden, Vervollständigungstoken ohne Anmerkungen gesendet werden, und neue Anmerkungsnachrichten ohne Token gesendet werden – sie werden stattdessen bestimmten Inhaltsfilteroffsets zugeordnet.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Beispielantwortdatenstrom (durch Filter blockiert)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Wichtig

Wenn die Inhaltsfilterung für einen Prompt ausgelöst wird und "status": 400 als Teil der Antwort empfangen wird, wird für diese Anforderung eine Gebühr erhoben, da der Prompt vom Dienst ausgewertet wurde. Gebühren fallen auch an, wenn "status":200 mit "finish_reason": "content_filter" empfangen wird. In diesem Fall treten beim Prompt keine Probleme auf, aber es wurde festgestellt, dass die vom Modell generierte Vervollständigung gegen die Inhaltsfilterregeln verstößt, was dazu führt, dass die Vervollständigung gefiltert wird.

Bewährte Methoden

Berücksichtigen Sie im Rahmen Ihres Anwendungsentwurfs die folgenden bewährten Methoden, um eine positive Erfahrung mit Ihrer Anwendung zu erzielen und gleichzeitig potenzielle Schäden zu minimieren:

• Entscheiden Sie, wie Sie mit Szenarien umgehen möchten, in denen Ihre Benutzer Aufforderungen senden, die Inhalte enthalten, die nach einer gefilterten Kategorie und einem Schweregrad klassifiziert sind, oder in denen Ihre Anwendung anderweitig missbraucht wird.
• Überprüfen Sie die finish_reason, um zu sehen, ob ein Abschluss gefiltert ist.
• Überprüfen Sie, ob kein Fehlerobjekt im content_filter_result vorhanden ist (was angibt, dass Inhaltsfilter nicht ausgeführt wurden).
• Wenn Sie das Modell für geschützten Materialcode im Anmerkungsmodus verwenden, sollten Sie die Zitat-URL anzeigen, wenn Sie den Code in Ihrer Anwendung anzeigen.

Nächste Schritte

• Erfahren Sie mehr über die zugrunde liegenden Modelle, auf denen Azure OpenAI basiert.
• Beantragen Sie geänderte Inhaltsfilter über dieses Formular.
• Die Azure OpenAI-Inhaltsfilterung basiert auf Azure AI Content Safety.
• Erfahren Sie mehr über das Verstehen und Minimieren von Risiken im Zusammenhang mit Ihrer Anwendung: Übersicht über Methoden für verantwortungsvolle KI für Azure OpenAI-Modelle.
• Erfahren Sie mehr über die Verarbeitung von Daten im Zusammenhang mit der Inhaltsfilterung und Missbrauchsüberwachung unter Daten, Datenschutz und Sicherheit für Azure OpenAI Service.