Azure Data Explorer output from Azure Stream Analytics (Preview)
يمكنك استخدام Azure Data Explorer كمخرج لتحليل كميات كبيرة من البيانات المتنوعة من أي مصدر بيانات، مثل مواقع الويب والتطبيقات وأجهزة إنترنت الأشياء والمزيد. إن Azure Data Explorer خدمة استكشاف بيانات قابلة للتكيف بدرجة عالية لتسجيل البيانات وقياسها عن بعد. يساعدك على التعامل مع العديد من تدفقات البيانات المنبعثة من البرامج الحديثة، حتى تتمكن من جمع البيانات وتخزينها وتحليلها. تُستخدم هذه البيانات في التشخيص والرصد والإبلاغ والتعلم الآلي وقدرات التحليلات الإضافية.
يدعم Azure Data Explorer العديد من طرق الابتلاع، بما في ذلك الموصلات إلى الخدمات الشائعة مثل مراكز الأحداث، والاستيعاب البرمجي باستخدام SDKs، مثل .NET وPython، والوصول المباشر إلى المحرك لأغراض الاستكشاف. يتكامل Azure Data Explorer مع خدمات التحليلات والنمذجة لإجراء تحليل إضافي وتصور للبيانات.
لمزيد من المعلومات حول مستكشف بيانات Azure، تفضل بزيارة وثائق ما هو مستكشف بيانات Azure.
لمعرفة المزيد حول كيفية إنشاء مستكشف بيانات Azure ونظام تجميعه باستخدام مدخل Azure، قم بزيارة: التشغيل السريع: إنشاء مجموعة وقاعدة بيانات Azure Data Explorer
ملاحظة
اتصال الاختبار غير مدعوم حاليا على مجموعات متعددة المستأجرين.
تكوين الإخراج
يسرد الجدول التالي أسماء الخصائص ووصفها لإنشاء مخرج Azure Data Explorer:
| اسم الخاصية | الوصف |
|---|---|
| اسم مستعار للإخراج | اسم مألوف يستخدم في الاستعلامات لتوجيه إخراج الاستعلام إلى قاعدة البيانات هذه. |
| الاشتراك | حدد اشتراك Azure الذي تريد استخدامه لمجموعتك. |
| نظام المجموعة | اختر اسما فريدا يحدد مجموعتك. يتم إلحاق اسم المجال [region].kusto.windows.net باسم الكتلة الذي توفره. يمكن أن يحتوي الاسم على أحرف وأرقام صغيرة فقط. يجب أن تحتوي على 4 إلى 22 حرفا. |
| قاعدة البيانات | اسم قاعدة البيانات حيث ترسل الإخراج الخاص بك. يجب أن يكون اسم قاعدة البيانات فريداً داخل الكتلة. |
| المصادقة | تسمح الهوية المدارة من Azure Active Directory لمجموعتك بالوصول بسهولة إلى الموارد الأخرى المحمية بواسطة Azure AD مثل Azure Key Vault. تتم إدارة الهوية بواسطة النظام الأساسي Azure ولا يتطلب منك توفير أي أسرار أو تدويرها. يتم حاليا دعم تكوين الهوية المدارة فقط لتمكين المفاتيح المدارة من قبل العميل لمجموعتك. |
| الجدول | اسم الجدول حيث تتم كتابة الإخراج. يكون اسم الجدول حساساً لحالة الأحرف. يجب أن يتطابق مخطط هذا الجدول تمامًا مع عدد الحقول وأنواعها التي يولدها ناتج عملك. |
التقسيم
يحتاج التقسيم إلى تمكين ويستند إلى بند PARTITION BY في الاستعلام. عند تمكين الخيار وراثة التقسيم، فإنه يتبع تقسيم الإدخال للاستعلامات المتوازية تماما.
متى تستخدم Azure Data Explorer و/أو Azure Stream Analytics
Azure Stream Analytics:
- محرك معالجة البث - تحليلات مستمرة / متدفقة في الوقت الفعلي
- على أساس الوظيفة
- لدى ASA فترة نافذة نظرة إلى الوراء من 1 مللي ثانية إلى 7 أيام للتحليلات الزمنية في الذاكرة / معالجة التدفق
- استيعاب من مراكز الأحداث ، IoTHub مع زمن انتقال أقل من الثانية
Azure Data Explorer:
- محرك تحليلي - تحليلات عند الطلب / تفاعلية في الوقت الفعلي
- تدفق استيعاب البيانات إلى مخزن البيانات المستمر جنبا إلى جنب مع قدرات الاستعلام
- استيعاب البيانات من مراكز الأحداث ، IoT Hub ، Blob ، Data Lake ، Kafka ، Logstash ، Spark ، ADF.
- زمن انتقال من 10 ثوان إلى 5 دقائق لأحمال العمل عالية الإنتاجية
- يمكن إجراء تحويل بسيط للبيانات باستخدام سياسة التحديث أثناء الابتلاع
يمكنك توسيع نطاق التحليلات في الوقت الفعلي بشكل كبير من خلال الاستفادة من ASA و ADX معا. فيما يلي بعض السيناريوهات:
- يحدد Stream Analytics الحالات الشاذة في الوقت الفعلي ويساعد مستكشف البيانات في تحديد كيفية وسبب حدوثها من خلال الاستكشاف التفاعلي
- يقوم Stream Analytics بإلغاء تسلسل تدفق البيانات الواردة لاستخدامها في مستكشف البيانات (على سبيل المثال ، استيعاب تنسيق Protobuff باستخدام deserializer مخصص وتنسيقات الثنائيات المخصصة وما إلى ذلك)
- يمكن ل Stream Analytics إجراء عمليات تجميع وتصفية وإثراء وتحويل تدفقات البيانات الواردة لاستخدامها في Data Explorer
القيود
لكي يعمل Ingestion بنجاح ، تحتاج إلى التأكد من:
- يجب أن يتطابق عدد الأعمدة في استعلام مهمة Azure Stream Analytics مع جدول Azure Data Explorer ويجب أن يكون بنفس الترتيب.
- يجب أن يتطابق اسم نوع بيانات الأعمدة & بين استعلام Azure Stream Analytics SQL وجدول Azure Data Explorer.
- يحتوي Azure Data Explorer على نهج تجميع (تجميع) لاستيعاب البيانات، مصمم لتحسين عملية الابتلاع. يتم تكوين النهج إلى 5 دقائق أو 1000 عنصر أو 1 غيغابايت من البيانات بشكل افتراضي، لذلك قد تواجه زمن وصول. راجع نهج التجميع للحصول على خيارات التجميع .