Freigeben über

Verwenden der Risiko- und Sicherheitsüberwachung in Azure OpenAI Studio (Vorschau)

  • Artikel

Wenn Sie eine Azure OpenAI-Modellimplementierung mit einem Inhaltsfilter verwenden, sollten Sie die Ergebnisse der Filteraktivität überprüfen. Sie können diese Informationen verwenden, um Ihre Filterkonfiguration weiter anzupassen, um Ihren spezifischen Geschäftsanforderungen und verantwortungsvollen KI-Prinzipien gerecht zu werden.

Azure OpenAI Studio bietet ein Dashboard zur Risiko- und Sicherheitsüberwachung für jede Ihrer Bereitstellungen, die eine Inhaltsfilterkonfiguration verwenden.

Zugang zu Risiko- und Sicherheitsüberwachung

Um auf die Überwachung von Risiken und Sicherheit zuzugreifen, benötigen Sie eine Azure OpenAI-Ressource in einer der unterstützten Azure-Regionen: USA, Osten, Schweiz, Norden, Frankreich, Mitte, Schweden, Mitte, Kanada, Osten. Sie benötigen auch eine Modellimplementierung, die eine Inhaltsfilterkonfiguration verwendet.

Navigieren Sie zu Azure OpenAI Studio, und melden Sie sich mit den Anmeldeinformationen für Ihre Azure OpenAI-Ressource an. Wählen Sie auf der linken Seite die Registerkarte Bereitstellungen aus, und wählen Sie dann ihre Modellimplementierung aus der Liste aus. Wählen Sie auf der Seite der Bereitstellung die Registerkarte Risiken und Sicherheit oben aus.

Inhaltserkennung

Im Bereich Inhaltserkennung werden Informationen zu Inhaltsfilteraktivitäten angezeigt. Ihre Inhaltsfilterkonfiguration wird wie in der Dokumentation zur Inhaltsfilterung beschrieben angewendet.

Berichtsbeschreibung

Inhaltsfilterungsdaten werden auf folgende Weisen gezeigt:

  • Gesamtzahl der blockierten Anforderungen und Blockrate: In dieser Ansicht wird eine globale Ansicht des Umfangs und der Häufigkeit von Inhalten angezeigt, die im Laufe der Zeit gefiltert werden. Dies hilft Ihnen, Trends von schädlichen Anforderungen von Benutzern zu verstehen und unerwartete Aktivitäten anzuzeigen.
  • Blockierte Anforderungen nach Kategorie: In dieser Ansicht wird die Anzahl der für jede Kategorie blockierten Inhalte angezeigt. Dies ist eine Gesamtstatistik von schädlichen Anforderungen im ausgewählten Zeitraum. Sie unterstützt derzeit die Schadenkategorien Hass, Sexueller, Selbstschäden und Gewalt.
  • Blockrate im Laufe der Zeit nach Kategorie: In dieser Ansicht wird die Blockrate für jede Kategorie im Laufe der Zeit angezeigt. Sie unterstützt derzeit die Schadenkategorien Hass, Sexueller, Selbstschäden und Gewalt.
  • Schweregradverteilung nach Kategorie: In dieser Ansicht werden die Schweregrade angezeigt, die für jede Schadenskategorie im gesamten ausgewählten Zeitraum erkannt wurden. Dies ist nicht auf blockierte Inhalte beschränkt, sondern umfasst alle Inhalte, die von den Inhaltsfiltern gekennzeichnet wurden.
  • Verteilung der Schweregradrate im Laufe der Zeit nach Kategorie: In dieser Ansicht werden die Raten der erkannten Schweregrade im Laufe der Zeit für jede Schadenskategorie angezeigt. Wählen Sie die Registerkarten aus, um zwischen unterstützten Kategorien zu wechseln.

Screenshot des Bereichs

Passen Sie Ihre Inhaltsfilterkonfiguration an, um die Geschäftsanforderungen und die Prinzipien der verantwortungsbewussten KI weiter anzupassen.

Potenziell missbräuchliche Benutzererkennung

Im Bereich Potenziell missbräuchliche Benutzererkennung werden Missbrauchsberichte auf Benutzerebene verwendet, um Informationen zu Benutzern anzuzeigen, deren Verhalten zu blockierten Inhalten geführt hat. Ziel ist es, Ihnen zu helfen, eine Übersicht über die Quellen schädlicher Inhalte zu erhalten, damit Sie reaktionsfähige Maßnahmen ergreifen können, um sicherzustellen, dass das Modell auf verantwortungsvolle Weise verwendet wird.

Um die Erkennung potenziell missbräuchlicher Benutzer zu verwenden, benötigen Sie Folgendes:

  • Eine Inhaltsfilterkonfiguration, die auf Ihre Bereitstellung angewendet wird
  • Sie müssen Benutzer-ID-Informationen in Ihren Chatvervollständigungsinformationen senden (z. B. den Parameter Benutzer der Vervollständigungs-API).

    Achtung

    Verwenden Sie GUID-Zeichenfolgen, um einzelne Benutzer zu identifizieren. Geben Sie keine vertraulichen personenbezogenen Daten in das Feld „Benutzer“ ein.

  • Eine Azure Data Explorer-Datenbank zum Speichern der Benutzeranalyseergebnisse (Anweisungen unten)

Einrichten einer Azure Data Explorer-Datenbank

Um den Schutz von Benutzerdaten zu wahren und die Berechtigung der Daten zu verwalten, unterstützen wir die Möglichkeit für unsere Kunden, ihren eigenen Speicher zu verwenden, um die detaillierten Erkenntnisse zu potenziell missbräuchlichen Benutzern (einschließlich Benutzer-GUID und Statistiken zu schädlichen Anforderungen nach Kategorie) konform und mit Vollzugriff zu speichern. Befolgen Sie zum Aktivieren diese Schritte:

  1. Navigieren Sie in Azure OpenAI Studio zu der Modellimplementierung, mit der Sie eine Benutzermissbrauchsanalyse einrichten möchten, und wählen Sie Datenspeicher hinzufügen aus.
  2. Geben Sie die erforderlichen Informationen ein, und wählen Sie Speichern aus. Es wird empfohlen, eine neue Datenbank zum Speichern der Analyseergebnisse zu erstellen.
  3. Nachdem Sie den Datenspeicher verbunden haben, befolgen Sie die folgenden Schritte, um die Berechtigung zum Schreiben von Analyseergebnissen in die verbundene Datenbank zu erteilen:
    1. Wechseln Sie im Azure-Portal zur Seite Ihrer Azure OpenAI-Ressource, und wählen Sie die Registerkarte Identität aus.
    2. Ändern Sie den Status für die systemseitig zugewiesene Identität in Ein, und kopieren Sie die generierte ID.
    3. Wechseln Sie im Azure-Portal zu Ihrer Azure Data Explorer-Ressource, wählen Sie Datenbanken aus, und wählen Sie dann die Datenbank aus, die Sie zum Speichern von Benutzeranalyseergebnissen erstellt haben.
    4. Wählen Sie Berechtigungen aus, und fügen Sie der Datenbank eine Administratorrolle hinzu.
    5. Fügen Sie die im vorherigen Schritt generierte Azure OpenAI-Identität ein, und wählen Sie die gesuchte aus. Jetzt ist die Identität Ihrer Azure OpenAI-Ressource zum Lesen und Schreiben für das Speicherkonto autorisiert.
  4. Gewähren Sie den Zugriff auf die verbundene Azure Data Explorer-Datenbank für die Benutzer, die die Analyseergebnisse anzeigen müssen:
    1. Wechseln Sie zur Azure Data Explorer-Ressource, die Sie verbunden haben, wählen Sie Zugriffssteuerung aus, und weisen Sie den Benutzern die Leser-Rolle für den Azure Data Explorer-Cluster zu, die auf die Ergebnisse zugreifen müssen.
    2. Wählen Sie Datenbanken und dann die Datenbank aus, die Sie zum Speichern von Missbrauchsanalyseergebnissen auf Benutzerebene verbunden haben. Wählen Sie Berechtigungen aus, und weisen Sie den Benutzern die Leser-Rolle für die Datenbank zu, die auf die Ergebnisse zugreifen müssen.

Berichtsbeschreibung

Die potenziell missbräuchliche Benutzererkennung basiert auf den Benutzerinformationen, die Kunden mit ihren Azure OpenAI-API-Aufrufen senden, zusammen mit dem Anforderungsinhalt. Die folgenden Erkenntnisse werden gezeigt:

  • Gesamtzahl der potenziell missbräuchlichen Benutzer: Diese Ansicht zeigt die Anzahl der erkannten potenziell missbräuchlichen Benutzer im Laufe der Zeit an. Hierbei handelt es sich um Benutzer, für die ein Missbrauchsmuster erkannt wurde und die möglicherweise ein hohes Risiko darstellen.
  • Liste potenziell missbräuchlicher Benutzer: Diese Ansicht ist eine detaillierte Liste der erkannten potenziell missbräuchlichen Benutzer. Sie liefert die folgenden Informationen für jeden Benutzer:
    • Benutzer-GUID: Diese wird vom Kunden über das Feld „Benutzer“ in Azure OpenAI-APIs gesendet.
    • Missbrauchsscore: Dies ist eine Zahl, die vom Modell generiert wird, das die Anforderungen und das Verhalten der einzelnen Benutzer analysiert. Der Score wird auf 0–1 normalisiert. Ein höherer Score weist auf ein höheres Missbrauchsrisiko hin.
    • Trend des Missbrauchsscores: Die Änderung des Missbrauchsscores während des ausgewählten Zeitraums.
    • Evaluierungsdatum: Das Datum, an dem die Ergebnisse analysiert wurden.
    • Verhältnis/Gesamtanzahl der missbräuchlichen Anforderungen
    • Missbrauchsverhältnis/-anzahl nach Kategorie

Screenshot des Bereichs „Erkennung potenziell missbräuchlicher Benutzer“ auf der Seite „Risiko- und Sicherheitsüberwachung“

Kombinieren Sie diese Daten mit angereicherten Signalen, um zu überprüfen, ob die erkannten Benutzer wirklich missbräuchlich handeln oder nicht. Wenn sie es tun, ergreifen Sie Maßnahmen, z. B. Drosselung oder Sperrung des Benutzers, um die verantwortungsvolle Verwendung Ihrer Anwendung sicherzustellen.

Nächste Schritte

Erstellen oder bearbeiten Sie als Nächstes eine Inhaltsfilterkonfiguration in Azure OpenAI Studio.