مشاركة عبر

استيعاب البيانات المخصصة وتحويلها في Microsoft Sentinel

  • مقالة

يعمل Log Analytics من Azure Monitor كنظام أساسي خلف مساحة عمل Microsoft Sentinel. يتم تخزين جميع السجلات التي تم إدخالها في Microsoft Sentinel افتراضياً في Log Analytics. من Microsoft Sentinel، يمكنك الوصول إلى السجلات المخزنة وتشغيل استعلامات Kusto Query Language (KQL) للكشف عن التهديدات ومراقبة نشاط الشبكة.

تمنحك عملية استيعاب البيانات المخصصة لـ Log Analytics مستوى عالياً من التحكم في البيانات التي يتم استيعابها. ويستخدم قواعد جمع البيانات (DCRs) لجمع بياناتك ومعالجتها حتى قبل تخزينها في مساحة العمل الخاصة بك. يسمح لك هذا بتصفية الجداول القياسية وإثرائها وإنشاء جداول قابلة للتخصيص بدرجة عالية لتخزين البيانات من المصادر التي تنتج تنسيقات سجل فريدة.

يمنحك Microsoft Sentinel أداتين للتحكم في هذه العملية:

  • تتيح لك واجهة برمجة التطبيقات استيعاب السجلات إرسال سجلات ذات تنسيق مخصص من أي مصدر بيانات إلى مساحة عمل Log Analytics الخاصة بك، وتخزين هذه السجلات إما في جداول قياسية معينة، أو في جداول منسقة مخصصة تقوم بإنشائها. لديك تحكم كامل في إنشاء هذه الجداول المخصصة، وصولاً إلى تحديد أسماء الأعمدة وأنواعها. يمكنك إنشاء قواعد تجميع البيانات (DCRs) لتعريف التحويلات وتكوينها وتطبيقها على تدفقات البيانات هذه.

  • يستخدم تحويل مجموعة البيانات DCRs لتطبيق استعلامات KQL الأساسية على السجلات القياسية الواردة (وأنواع معينة من السجلات المخصصة) قبل تخزينها في مساحة العمل الخاصة بك. يمكن لهذه التحويلات تصفية البيانات غير ذات الصلة، أو إثراء البيانات الموجودة بالتحليلات أو البيانات الخارجية، أو إخفاء المعلومات الحساسة أو الشخصية.

سيتم شرح هاتين الأداتين بمزيدٍ من التفصيل أدناه.

حالات الاستخدام وسيناريوهات العينة

التصفية

يوفر لك تحويل وقت الاستيعاب القدرة على تصفية البيانات غير ذات الصلة حتى قبل تخزينها للمرة الأولى في مساحة العمل الخاصة بك.

يمكنك التصفية على مستوى السجل (الصف)، عن طريق تحديد المعايير التي يجب تضمين السجلات لها، أو على مستوى الحقل (العمود)، عن طريق إزالة المحتوى لحقول معينة. يمكن لتصفية البيانات غير ذات الصلة ما يلي:

  • المساعدة في تقليل التكاليف، حيث تقوم بتقليل متطلبات التخزين
  • تحسين الأداء، حيث يلزم إجراء تعديلات أقل في وقت الاستعلام

يدعم تحويل بيانات وقت الاستيعاب سيناريوهات مساحة العمل المتعددة.

التسوية

يسمح لك تحويل Ingest-time أيضا بتطبيع السجلات عند استيعابها في جداول ASIM المضمنة أو العميل التي تمت تسويتها. يؤدي استخدام تسوية وقت الإدخال إلى تحسين أداء الاستعلامات التي تمت تسويتها.

لمزيد من المعلومات حول التطبيع في الوقت المناسب باستخدام التحويلات، راجع تسوية وقت الإدخال.

الإثراء ووضع العلامات

يتيح لك تحويل وقت الاستيعاب أيضاً تحسين التحليلات من خلال إثراء بياناتك بأعمدة إضافية تمت إضافتها إلى تحويل KQL المكوّن. قد تتضمن الأعمدة الإضافية بيانات موزعة أو محسوبة من أعمدة موجودة، أو بيانات مأخوذة من هياكل البيانات التي تم إنشاؤها أثناء التنقل.

على سبيل المثال، يمكنك إضافة معلومات إضافية مثل بيانات الموارد البشرية الخارجية أو وصف حدث موسع أو تصنيفات تعتمد على المستخدم أو الموقع أو نوع النشاط.

التقنيع

يمكن أيضاً استخدام تحويلات وقت الاستيعاب لإخفاء المعلومات الشخصية أو إزالتها. على سبيل المثال، قد تستخدم تحويل البيانات لإخفاء جميع الأرقام باستثناء الأرقام الأخيرة من رقم الضمان الاجتماعي أو رقم بطاقة الائتمان، أو يمكنك استبدال أنواع أخرى من البيانات الشخصية ببيانات فارغة أو نص قياسي أو بيانات وهمية. إخفاء معلوماتك الشخصية في وقت الاستيعاب لزيادة الأمان عبر شبكتك.

تدفق استيعاب البيانات في Microsoft Sentinel

توضح الصورة التالية المكان الذي يدخل فيه تحويل بيانات وقت الاستيعاب في تدفق استيعاب البيانات في Microsoft Sentinel.

يجمع Microsoft Sentinel البيانات في مساحة عمل Log Analytics من مصادر متعددة.

  • تتم معالجة البيانات من موصلات البيانات المضمنة في Log Analytics باستخدام مجموعة من مهام سير العمل ذات الترميز الثابت وتحويلات وقت الاستيعاب في DCR لمساحة العمل. يمكن تخزين هذه البيانات في جداول قياسية أو في مجموعة معينة من الجداول المخصصة.
  • تتم معالجة البيانات التي يتم استيعابها مباشرة في نقطة نهاية واجهة برمجة تطبيقات استيعاب السجلات بواسطة DCR قياسي قد يتضمن تحويل وقت الاستيعاب. يمكن بعد ذلك تخزين هذه البيانات في جداول قياسية أو مخصصة من أي نوع.

Diagram of the Microsoft Sentinel data transformation architecture.

دعم DCR في Microsoft Sentinel

في Log Analytics، تحدد قواعد جمع البيانات (DCRs) تدفق البيانات لتدفقات الإدخال المختلفة. يتضمن تدفق البيانات: دفق البيانات الذي سيتم تحويله (قياسي أو مخصص)، ومساحة العمل الوجهة، وتحويل KQL، وجدول الإخراج. بالنسبة إلى تدفقات الإدخال القياسية، يكون جدول الإخراج هو نفسه دفق الإدخال.

يتضمن دعم DCRs في Microsoft Sentinel ما يلي:

  • DCRs القياسية، المدعومة حاليا فقط للموصلات المستندة إلى AMA ومهام سير العمل باستخدام واجهة برمجة تطبيقات استيعاب السجلات الجديدة.

    يمكن أن يكون لكل موصل أو سير عمل مصدر سجل DCR قياسي مخصص خاص به، على الرغم من أن موصلات أو مصادر متعددة يمكن أن تشترك في DCR قياسي مشترك أيضاً.

  • تحويل مساحة عمل DCRs، لتدفقات العمل التي لا تدعم حالياً DCRs القياسية.

    يخدم تحويل مساحة عمل DCR الواحدة جميع مهام سير العمل المدعومة في مساحة عمل لا يتم تقديمها بواسطة DCRs القياسية. يمكن أن تحتوي مساحة العمل على DCR لتحويل مساحة عمل واحد فقط، ولكن يحتوي DCR على تحويلات منفصلة لكل دفق إدخال. أيضاً، يتم دعم DCR لتحويل مساحة العملفقط لمجموعة معينة من الجداول.

يعتمد دعم Microsoft Sentinel لتحويل وقت الاستيعاب على نوع موصل البيانات الذي تستخدمه. لمزيدٍ من المعلومات التفصيلية حول السجلات المخصصة وتحويل وقت الاستيعاب وقواعد جمع البيانات، راجع المقالات المرتبطة في قسم الخطوات التالية في نهاية هذه المقالة.

دعم DCR لموصلات بيانات Microsoft Sentinel

يصف الجدول التالي دعم DCR أنواع موصلات بيانات Microsoft Sentinel:

نوع موصل البيانات دعم DCR
الاستيعاب المباشر عبر واجهة برمجة تطبيقات استيعاب السجلات معيار DCRs
سجلات AMA القياسية، مثل:
  • أمن Windows الأحداث عبر AMA
  • أحداث Windows المُعاد توجيهها
  • بيانات CEF
  • بيانات Syslog
    		•  معيار DCRs
    سجلات MMA القياسية، مثل
  • بيانات Syslog
  • سجل الأمان المشترك
    		•  تحويل مساحة عمل DCRs
    الاتصالات المستندة إلى إعدادات التشخيص تحويل مساحة عمل DCRs، استناداً إلى جداول الإخراج المدعومة لموصلات بيانات محددة
    موصلات البيانات المضمنة من خدمة إلى خدمة، مثل:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  تحويل مساحة عمل DCRs، استناداً إلى جداول الإخراج المدعومة لموصلات بيانات محددة
    موصل بيانات مضمن يستند إلى واجهة برمجة التطبيقات، مثل:
  • موصلات البيانات المخصصة
    		•  معيار DCRs
    موصلات البيانات المضمنة المستندة إلى واجهة برمجة التطبيقات، مثل:
  • موصلات البيانات القديمة بدون تعليمات برمجية
  • موصلات البيانات المستندة إلى Azure Functions
    		•  غير مدعوم حاليًا

    دعم تحويل البيانات لموصلات البيانات المخصصة

    إذا قمت بإنشاء موصلات بيانات مخصصة لـ Microsoft Sentinel، فيمكنك استخدام DCRs لتكوين كيفية تحليل البيانات وتخزينها في Log Analytics في مساحة العمل الخاصة بك.

    يتم دعم الجداول التالية فقط في الوقت الحالي لاستيعاب السجل المخصص:

    لمزيد من المعلومات، راجع الجداول التي تدعم تحويلات وقت الاستيعاب.

    القيود

    يحتوي تحويل بيانات وقت الاستيعاب حالياً على المشكلات المعروفة التالية لموصلات بيانات Microsoft Sentinel:

    • يتم دعم تحويلات البيانات باستخدام DCRs لتحويل مساحة العمل فقط لكل جدول، وليس لكل موصل.

      يمكن أن يكون هناك DCR خاصة بتحويل مساحة عمل واحدة فقط لمساحة عمل بأكملها. ضمن DCR هذا، يمكن لكل جدول استخدام دفق إدخال منفصل مع تحويله الخاص. ومع ذلك، إذا كان لديك موصلا بيانات مختلفان مستندان إلى MMA يرسلان البيانات إلى جدول Syslog، فسيضطر كلاهما إلى استخدام نفس تكوين دفق الإدخال في DCR. لا يمكن تقسيم البيانات إلى وجهات متعددة (مساحات عمل Log Analytics) باستخدام DCR لتحويل مساحة العمل.

    • يتم دعم التكوينات التالية فقط عبر واجهة برمجة التطبيقات:

    • يستغرق تطبيق تكوينات تحويل البيانات ما يصل إلى 60 دقيقة.

    • بناء جملة KQL: لا يتم دعم جميع عوامل التشغيل. لمزيدٍ من المعلومات، راجع قيود KQLوميزات KQL المدعومة في وثائق Azure Monitor.

    • يمكنك فقط إرسال سجلات من مصدر بيانات محدد واحد إلى مساحة عمل واحدة. لإرسال البيانات من مصدر بيانات واحد إلى مساحات عمل متعددة (وجهات) باستخدام DCR قياسي، يرجى إنشاء DCR واحد لكل مساحة عمل.

    الخطوات التالية

    ابدأ في تكوين تحويل بيانات وقت الاستيعاب في Microsoft Sentinel.

    تعرَّف على المزيد حول أنواع موصلات بيانات Microsoft Sentinel. لمزيد من المعلومات، راجع:

    للحصول على مزيدٍ من المعلومات المفصلة حول تحويل وقت الاستيعاب وواجهة برمجة تطبيقات السجلات المخصصة وقواعد جمع البيانات، راجع المقالات التالية في وثائق Azure Monitor: