Share via

مراقبة إساءة الاستخدام

  • مقالة

تكتشف خدمة Azure OpenAI مثيلات المحتوى المتكرر و/أو السلوكيات التي تقترح استخدام الخدمة بطريقة قد تنتهك قواعد السلوك أو شروط المنتج الأخرى المعمول بها. يمكن العثور على تفاصيل حول كيفية معالجة البيانات في صفحة البيانات والخصوصية والأمان. تقدم بطلب لمراقبة إساءة الاستخدام المعدلة باستخدام هذا النموذج: مراجعة الوصول المحدود ل Azure OpenAI: مراقبة إساءة الاستخدام المعدلة.

مكونات مراقبة إساءة الاستخدام

هناك العديد من المكونات لمراقبة إساءة الاستخدام:

  • تصنيف المحتوى: تكتشف نماذج المصنف اللغة و/أو الصور الضارة في مطالبات المستخدم (المدخلات) والإكمال (المخرجات). يبحث النظام عن فئات الأضرار كما هو محدد في متطلبات المحتوى، ويعين مستويات الخطورة كما هو موضح بمزيد من التفصيل في صفحة تصفية المحتوى.

  • التقاط نمط إساءة الاستخدام: تبحث مراقبة إساءة استخدام خدمة Azure OpenAI في أنماط استخدام العملاء وتستخدم الخوارزميات والاستدلالات للكشف عن مؤشرات إساءة الاستخدام المحتملة. تأخذ الأنماط المكتشفة في الاعتبار، على سبيل المثال، التكرار والخطورة اللذين يتم عندهما الكشف عن المحتوى الضار في مطالبات العميل واكتماله.

  • المراجعة البشرية والقرار: عند وضع علامة على المطالبات و/أو الإكمال من خلال تصنيف المحتوى وتسجيل نمط إساءة الاستخدام كما هو موضح أعلاه، يمكن لموظفي Microsoft المعتمدين تقييم المحتوى الذي تم وضع علامة عليه، وإما تأكيد التصنيف أو التحديد أو تصحيحه استنادا إلى إرشادات وسياسات محددة مسبقا. يمكن الوصول إلى البيانات للمراجعة البشرية فقط من قبل موظفي Microsoft المعتمدين عبر محطات عمل الوصول الآمن (SAWs) مع طلب الموافقة في الوقت المناسب (JIT) الذي يمنحه مديرو الفريق. بالنسبة لموارد خدمة Azure OpenAI المنتشرة في المنطقة الاقتصادية الأوروبية، يوجد موظفو Microsoft المعتمدون في المنطقة الاقتصادية الأوروبية.

  • الإعلام والإجراء: عندما يتم تأكيد حد من السلوك المسيئة استنادا إلى الخطوات الثلاث السابقة، يتم إعلام العميل بالتقرير عن طريق البريد الإلكتروني. باستثناء حالات إساءة الاستخدام الشديدة أو المتكررة، عادة ما يتم منح العملاء فرصة للشرح أو المعالجة - وتنفيذ آليات لمنع تكرار - السلوك المسيئة. قد يؤدي الفشل في معالجة السلوك - أو إساءة الاستخدام المتكررة أو الشديدة - إلى تعليق وصول العميل إلى موارد و/أو قدرات Azure OpenAI أو إنهائها.

الخطوات التالية