جلب التعلم الآلي (ML) الخاص بك إلى Microsoft Sentinel

  • مقالة
  • قراءة خلال 7 دقائق

ملاحظة

يسمى Azure Sentinel الآن Microsoft Sentinel، وسنقوم بتحديث هذه الصفحات في الأسابيع القادمة. تعرف على المزيد حول التحسينات الأمنية الأخيرة لـ Microsoft.

ملاحظة

للحصول على معلومات حول توفر الميزات في السحابات الحكومية الأمريكية، راجع جداول Microsoft Sentinel في توفر ميزة السحابة لعملاء الحكومة الأمريكية.

التعلم الآلي (ML) هي واحدة من الأسس الرئيسية ل Microsoft Sentinel ، وواحدة من السمات الرئيسية التي تميزها. تقدم Microsoft Sentinel ML في العديد من التجارب: مضمنة في محرك ارتباط Fusion وأجهزة Jupyter المحمولة ، والنظام الأساسي Build-Your-own-Own ML (BYO ML) المتوفر حديثا.

يمكن لنماذج الكشف عن التعلم الآلي التكيف مع البيئات الفردية والتغيرات في سلوك المستخدم ، للحد من الإيجابيات الخاطئة وتحديد التهديدات التي لن يتم العثور عليها باستخدام نهج تقليدي. تدرك العديد من المؤسسات الأمنية قيمة ML للأمن ، على الرغم من أن الكثير منها لا يتمتع برفاهية المهنيين الذين لديهم خبرة في كل من الأمن والتعلم الآلي. لقد صممنا الإطار المعروض هنا للمؤسسات الأمنية والمهنيين للنمو معنا في رحلة التعلم الآلي الخاصة بهم. يمكن للمؤسسات الجديدة في مجال التعلم الآلي، أو التي تفتقر إلى الخبرة اللازمة، الحصول على قيمة حماية كبيرة من إمكانات التعلم الآلي المضمنة في Microsoft Sentinel.

machine learning framework

ما هي منصة إحضار التعلم الآلي الخاصة بك (BYO-ML)؟

بالنسبة للمؤسسات التي لديها موارد ML وترغب في إنشاء نماذج ML مخصصة لاحتياجات أعمالها الفريدة ، فإننا نقدم منصة BYO-ML. تستفيد المنصة من بيئة Azure DatabricksApache/Spark و Jupyter Notebooks لإنتاج بيئة ML. ويوفر المكونات التالية:

  • حزمة BYO-ML ، والتي تتضمن مكتبات لمساعدتك في الوصول إلى البيانات ودفع النتائج مرة أخرى إلى Log Analytics (LA) ، حتى تتمكن من دمج النتائج مع الكشف والتحقيق والصيد.

  • قوالب خوارزمية ML لتخصيصها لتناسب مشاكل أمان محددة في مؤسستك.

  • نماذج من دفاتر الملاحظات لتدريب النموذج وجدولة تسجيل النموذج.

إلى جانب كل هذا ، يمكنك إحضار طرازات ML الخاصة بك ، و / أو بيئة Spark الخاصة بك ، للتكامل مع Microsoft Sentinel.

باستخدام منصة BYO-ML ، يمكنك الحصول على بداية سريعة في بناء نماذج ML الخاصة بك:

  • يساعدك دفتر الملاحظات الذي يحتوي على نماذج بيانات في الحصول على تجربة عملية من البداية إلى النهاية، دون القلق بشأن التعامل مع بيانات الإنتاج.

  • تقلل الحزمة المدمجة مع بيئة Spark من التحديات والاحتكاكات في إدارة البنية التحتية.

  • تدعم المكتبات حركات البيانات. توضح دفاتر ملاحظات التدريب وتسجيل النقاط التجربة الشاملة وتعمل كقالب لك للتكيف مع بيئتك.

حالات الاستخدام

تعمل منصة وحزمة BYO-ML على تقليل الوقت والجهد اللذين ستحتاجهما لإنشاء اكتشافات ML الخاصة بك بشكل كبير ، كما أنها تطلق العنان للقدرة على معالجة مشكلات أمان محددة في Microsoft Sentinel. يدعم النظام الأساسي حالات الاستخدام التالية:

تدريب خوارزمية ML للحصول على نموذج مخصص: يمكنك أخذ خوارزمية ML موجودة (مشتركة بين Microsoft أو مجتمع المستخدمين) وتدريبها بسهولة على بياناتك الخاصة للحصول على نموذج ML مخصص يناسب بياناتك وبيئتك بشكل أفضل.

تعديل قالب خوارزمية ML للحصول على نموذج مخصص: يمكنك تعديل قالب خوارزمية ML (مشترك بين Microsoft أو مجتمع المستخدمين)، وتدريب الخوارزمية المعدلة على بياناتك الخاصة، لاشتقاق نموذج مخصص يتناسب مع مشكلتك المحددة.

إنشاء النموذج الخاص بك: قم بإنشاء نموذجك الخاص من الصفر باستخدام النظام الأساسي BYO-ML من Microsoft Sentinel والأدوات المساعدة.

دمج بيئة Databricks/Spark الخاصة بك: ادمج بيئة Databricks/Spark الحالية في Microsoft Sentinel، واستخدم مكتبات وقوالب BYO-ML لإنشاء نماذج ML لمواقفها الفريدة.

استيراد نموذج ML الخاص بك: يمكنك استيراد نماذج ML الخاصة بك واستخدام النظام الأساسي BYO-ML والأدوات المساعدة لدمجها مع Microsoft Sentinel.

مشاركة خوارزمية ML: شارك خوارزمية ML للمجتمع لاعتمادها وتكييفها.

استخدم ML لتمكين SecOps: استخدم نموذج ML المخصص الخاص بك والنتائج للصيد والكشف والتحقيق والاستجابة.

توضح لك هذه المقالة مكونات النظام الأساسي BYO-ML وكيفية الاستفادة من النظام الأساسي وخوارزمية الوصول إلى الموارد الشاذة لتقديم اكتشاف ML مخصص باستخدام Microsoft Sentinel.

Azure Databricks/Spark Environment

حققت Apache Spark قفزة إلى الأمام في تبسيط البيانات الضخمة من خلال توفير إطار موحد لبناء خطوط أنابيب البيانات. يأخذ Azure Databricks هذا الأمر إلى أبعد من ذلك من خلال توفير نظام أساسي سحابي بدون إدارة مبني حول Spark. نوصي باستخدام Databricks لمنصة BYO-ML الخاصة بك ، بحيث يمكنك التركيز على العثور على إجابات تحدث تأثيرا فوريا على عملك ، بدلا من معالجة خطوط أنابيب البيانات ومشكلات النظام الأساسي.

إذا كان لديك بالفعل Databricks أو أي بيئة Spark أخرى ، وتفضل استخدام الإعداد الحالي ، فستعمل حزمة BYO-ML بشكل جيد عليها أيضا.

باقة BYO-ML

تتضمن حزمة BYO ML أفضل الممارسات والأبحاث الخاصة ب Microsoft في الواجهة الأمامية ل ML للأمان. في هذه الحزمة، نقدم القائمة التالية من الأدوات المساعدة ودفاتر الملاحظات وقوالب الخوارزميات لمشاكل الأمان.

اسم الملف الوصف
azure_sentinel_utilities.whl يحتوي على أدوات مساعدة لقراءة النقاط من Azure والكتابة إلى Log Analytics.
AnomalousRASampleData يوضح دفتر الملاحظات استخدام نموذج الوصول إلى الموارد الشاذة في Microsoft Sentinel مع بيانات عينة التدريب والاختبار التي تم إنشاؤها.
AnomalousRATraining.ipynb دفتر ملاحظات لتدريب الخوارزمية وبناء النماذج وحفظها.
AnomalousRAScoring.ipynb دفتر الملاحظات لجدولة النموذج للتشغيل وتصور النتيجة وكتابة النتيجة مرة أخرى إلى Microsoft Sentinel.

أول قالب خوارزمية ML نقدمه هو للكشف عن الوصول إلى الموارد الشاذة. يعتمد على خوارزمية تصفية تعاونية ويتم تدريبه باستخدام سجلات الوصول إلى مشاركة الملفات Windows (أحداث الأمان باستخدام معرف الحدث 5140). المعلومات الأساسية التي تحتاجها لهذا النموذج في السجل هي إقران المستخدمين والموارد التي تم الوصول إليها.

مثال على الإرشادات التفصيلية: الكشف عن الوصول إلى مشاركة الملفات الشاذة

الآن بعد أن تعرفت على المكونات الرئيسية لمنصة BYO-ML ، إليك مثال يوضح لك كيفية استخدام النظام الأساسي والمكونات لتقديم اكتشاف ML مخصص.

إعداد بيئة Databricks/Spark

ستحتاج إلى إعداد بيئة Databricks الخاصة بك إذا لم يكن لديك بيئة بالفعل. ارجع إلى مستند التشغيل السريع Databricks للحصول على الإرشادات.

تعليمات التصدير التلقائي

لإنشاء نماذج ML مخصصة استنادا إلى بياناتك الخاصة في Microsoft Sentinel، ستحتاج إلى تصدير بياناتك من Log Analytics إلى وحدة تخزين Blob أو مورد مركز الأحداث، بحيث يمكن لنموذج ML الوصول إليها من Databricks. تعرف على كيفية استيعاب البيانات في Microsoft Sentinel.

على سبيل المثال، تحتاج إلى تسجيل بيانات التدريب الخاصة بك للوصول إلى مشاركة الملفات في وحدة تخزين Azure blob. يتم توثيق تنسيق البيانات في دفتر الملاحظات والمكتبات.

يمكنك تصدير بياناتك تلقائيا من Log Analytics باستخدام Azure CLI.

يجب تعيين دور المساهم في مساحة عمل Log Analytics وحساب التخزين ومورد EventHub لتشغيل الأوامر.

فيما يلي مجموعة نموذجية من الأوامر لإعداد التصدير التلقائي:


az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination “DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination “DESTINATION_NAME" --enable "true" --tables SecurityEvent Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

تصدير البيانات المخصصة

بالنسبة إلى البيانات المخصصة التي لا يدعمها التصدير التلقائي ل Log Analytics، يمكنك استخدام تطبيق Logic أو حلول أخرى لنقل بياناتك. يمكنك الرجوع إلى تصدير بيانات تحليلات السجل إلى مدونة Blob Store ونصها.

الارتباط بالبيانات خارج Microsoft Sentinel

يمكنك أيضا إحضار البيانات من خارج Microsoft Sentinel إلى وحدة تخزين blob أو Event Hub وربطها ببيانات Microsoft Sentinel لإنشاء نماذج ML الخاصة بك.

انسخ حزمة BYO-ML من مستودع Microsoft Sentinel GitHub المذكور سابقا إلى بيئة Databricks الخاصة بك. ثم افتح دفاتر الملاحظات واتبع الإرشادات الموجودة داخل دفتر الملاحظات لتثبيت المكتبات المطلوبة على مجموعاتك.

نموذج التدريب والتسجيل

اتبع الإرشادات الموجودة في دفتري الملاحظات لتغيير التكوينات وفقا للبيئة والموارد الخاصة بك، واتبع الخطوات لتدريب النموذج وإنشائه، ثم قم بجدولة النموذج لتسجيل سجلات الوصول إلى مشاركة الملفات الواردة.

كتابة النتائج إلى Log Analytics

بمجرد جدولة تسجيل النقاط، يمكنك استخدام الوحدة النمطية في دفتر ملاحظات تسجيل النقاط لكتابة نتائج النقاط إلى مساحة عمل Log Analytics المقترنة بمثيل Microsoft Sentinel الخاص بك.

تحقق من النتائج في Microsoft Sentinel

للاطلاع على النتائج التي تم تسجيلها مع تفاصيل السجل ذات الصلة، ارجع إلى مدخل Microsoft Sentinel. في سجلات> السجلات المخصصة، سترى النتائج في جدول AnomalousResourceAccessResult_CL (أو اسم الجدول المخصص الخاص بك). يمكنك استخدام هذه النتائج لتعزيز تجارب التحقيق والصيد.

anomalous resource access logs

إنشاء قاعدة تحليلات مخصصة باستخدام نتائج ML

بمجرد التأكد من أن نتائج ML موجودة في جدول السجلات المخصصة ، وتكون راضيا عن دقة النتائج ، يمكنك إنشاء اكتشاف استنادا إلى النتائج. انتقل إلى Analytics من مدخل Microsoft Sentinel وأنشئ قاعدة اكتشاف جديدة. فيما يلي مثال يوضح الاستعلام المستخدم لإنشاء الكشف.

create custom analytics rule for B Y O M L detections

عرض الحوادث والرد عليها

بمجرد إعداد قاعدة التحليلات استنادا إلى نتائج ML، إذا كانت هناك نتائج أعلى من الحد الأدنى الذي قمت بتعيينه في الاستعلام، إنشاء حادث وعرضه على صفحة الحوادث على Microsoft Sentinel.

الخطوات التالية

في هذا المستند، تعلمت كيفية استخدام النظام الأساسي BYO-ML من Microsoft Sentinel لإنشاء خوارزميات التعلم الآلي الخاصة بك أو استيرادها لتحليل البيانات واكتشاف التهديدات.

  • اطلع على المنشورات حول التعلم الآلي والكثير من الموضوعات الأخرى ذات الصلة في مدونة Microsoft Sentinel.