Monitorowanie nadużyć

  • Artykuł

Usługa Azure OpenAI wykrywa i ogranicza liczbę wystąpień cyklicznej zawartości i/lub zachowań, które sugerują korzystanie z usługi w sposób, który może naruszać Kodeks postępowania lub inne obowiązujące postanowienia dotyczące produktu. Szczegółowe informacje na temat sposobu obsługi danych można znaleźć na stronie Dane, Prywatność i Zabezpieczenia. Zastosuj się do zmodyfikowanego monitorowania nadużyć przy użyciu tego formularza: Przegląd ograniczonego dostępu w usłudze Azure OpenAI: zmodyfikowane monitorowanie nadużyć.

Składniki monitorowania nadużyć

Istnieje kilka składników monitorowania nadużyć:

  • Klasyfikacja zawartości: Modele klasyfikatora wykrywają szkodliwy język i/lub obrazy w monitach użytkownika (danych wejściowych) i uzupełnianiach (danych wyjściowych). System wyszukuje kategorie szkód zgodnie z definicją w wymaganiach dotyczących zawartości i przypisuje poziomy ważności zgodnie z opisem na stronie Filtrowanie zawartości.

  • Przechwytywanie wzorca nadużyć: monitorowanie nadużyć w usłudze Azure OpenAI Service analizuje wzorce użycia klientów i stosuje algorytmy i algorytmy heurystyczne w celu wykrywania wskaźników potencjalnych nadużyć. Wykryte wzorce uwzględniają na przykład częstotliwość i ważność wykrywania szkodliwej zawartości w monitach i uzupełnianiach klienta.

  • Przegląd i decyzja człowieka: jeśli monity i/lub zakończenia są oflagowane za pomocą klasyfikacji zawartości i przechwytywania wzorca nadużyć zgodnie z powyższym opisem, autoryzowani pracownicy firmy Microsoft mogą ocenić oflagowaną zawartość i potwierdzić lub poprawić klasyfikację lub determinację na podstawie wstępnie zdefiniowanych wytycznych i zasad. Dostęp do danych można uzyskać tylko w celu przeglądu przez autoryzowanych pracowników firmy Microsoft za pośrednictwem stacji roboczych bezpiecznego dostępu (SAW) z żądaniem just in time (JIT) udzielonym przez menedżerów zespołów. W przypadku zasobów usługi Azure OpenAI wdrożonych w Europejskim Obszarze Gospodarczym autoryzowani pracownicy firmy Microsoft znajdują się w Europejskim Obszarze Gospodarczym.

  • Powiadomienie i akcja: po potwierdzeniu progu obraźliwego zachowania na podstawie poprzednich trzech kroków klient jest informowany o ustaleniu przez e-mail. Z wyjątkiem przypadków poważnych lub powtarzających się nadużyć, klienci zazwyczaj mają możliwość wyjaśnienia lub skorygowania — i zaimplementowania mechanizmów zapobiegania cyklowi — obraźliwego zachowania. Brak rozwiązania problemu z zachowaniem — lub powtarzającym się lub poważnym nadużyciem — może spowodować zawieszenie lub zakończenie dostępu klienta do zasobów usługi Azure OpenAI i/lub możliwości.

Następne kroki