ما هو Apache Flink® في Azure HDInsight على AKS؟ (معاينة)
هام
هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.
Apache Flink هو إطار عمل ومحرك معالجة موزع للحسابات ذات الحالة عبر تدفقات البيانات غير المحدودة والمقيدة. تم تصميم Flink للتشغيل في جميع بيئات نظام المجموعة الشائعة، وإجراء الحسابات وتطبيقات الدفق ذات الحالة بسرعة في الذاكرة وعلى أي مقياس. يتم توازي التطبيقات في آلاف المهام التي يتم توزيعها وتنفيذها بشكل متزامن في نظام مجموعة. لذلك، يمكن للتطبيق استخدام كميات غير محدودة من وحدات المعالجة المركزية الظاهرية والذاكرة الرئيسية والقرص و IO الشبكة. علاوة على ذلك، يحافظ Flink بسهولة على حالة تطبيق كبيرة. تضمن خوارزمية نقاط التفتيش غير المتزامنة والتزايدية الحد الأدنى من التأثير على معالجة زمن الانتقال مع ضمان تناسق الحالة مرة واحدة بالضبط.
Apache Flink هو محرك تحليلات قابل للتطوير على نطاق واسع لمعالجة الدفق.
بعض الميزات الرئيسية التي يقدمها Flink هي:
- العمليات على تدفقات محددة وغير محدودة
- في أداء الذاكرة
- القدرة على كل من الحوسبة المتدفقة والدفعية
- زمن انتقال منخفض، وعمليات معدل نقل عالية
- معالجة مرة واحدة بالضبط
- قابلية الوصول العالية
- التسامح مع الحالة والخطأ
- متوافق تماما مع نظام Hadoop البيئي
- واجهات برمجة تطبيقات SQL الموحدة لكل من الدفق والدفعة
لماذا Apache Flink؟
يعد Apache Flink خيارا ممتازا لتطوير وتشغيل العديد من أنواع التطبيقات المختلفة نظرا لمجموعة ميزاته الواسعة. تتضمن ميزات Flink دعم معالجة الدفق والدفعات، وإدارة الحالة المتطورة، ودلالات معالجة وقت الحدث، وضمانات التناسق مرة واحدة بالضبط للحالة. لا يحتوي Flink على نقطة فشل واحدة. ثبت أن Flink يتوسع إلى آلاف النوى والتيرابايت من حالة التطبيق، ويقدم معدل نقل عاليا وزمن انتقال منخفض، ويدير بعض تطبيقات معالجة الدفق الأكثر تطلبا في العالم.
- الكشف عن الاحتيال: يمكن استخدام Flink للكشف عن المعاملات أو الأنشطة الاحتيالية في الوقت الفعلي من خلال تطبيق قواعد معقدة ونماذج التعلم الآلي على تدفق البيانات.
- الكشف عن الحالات الشاذة: يمكن استخدام Flink لتحديد القيم الخارجية أو الأنماط غير الطبيعية في دفق البيانات، مثل قراءات المستشعر أو حركة مرور الشبكة أو سلوك المستخدم.
- التنبيه المستند إلى القواعد: يمكن استخدام Flink لتشغيل التنبيهات أو الإعلامات استنادا إلى شروط أو حدود محددة مسبقا على تدفق البيانات، مثل درجة الحرارة أو الضغط أو أسعار الأسهم.
- مراقبة عمليات الأعمال: يمكن استخدام Flink لتعقب حالة وأداء العمليات التجارية أو مهام سير العمل وتحليلها في الوقت الفعلي، مثل تنفيذ الطلب أو التسليم أو خدمة العملاء.
- تطبيق ويب (شبكة اجتماعية): يمكن استخدام Flink لتشغيل تطبيقات الويب التي تتطلب معالجة في الوقت الفعلي للبيانات التي ينشئها المستخدم، مثل الرسائل أو الإعجابات أو التعليقات أو التوصيات.
اقرأ المزيد حول حالات الاستخدام الشائعة الموضحة في حالات استخدام Apache Flink
مجموعات Apache Flink في HDInsight على AKS هي خدمة مدارة بالكامل. يتم سرد فوائد إنشاء مجموعة Flink في HDInsight على AKS هنا.
| ميزة | الوصف |
|---|---|
| سهولة الإنشاء | يمكنك إنشاء مجموعة Flink جديدة في HDInsight في دقائق باستخدام مدخل Azure أو Azure PowerShell أو SDK. راجع بدء استخدام مجموعة Apache Flink في HDInsight على AKS. |
| سهولة الاستخدام | تتضمن مجموعات Flink في HDInsight على AKS إدارة التكوين المستندة إلى المدخل والتحجيم. بالإضافة إلى ذلك مع واجهة برمجة تطبيقات إدارة الوظائف، يمكنك استخدام واجهة برمجة تطبيقات REST أو مدخل Microsoft Azure لإدارة الوظائف. |
| واجهة برمجة تطبيقات REST | تتضمن مجموعات Flink في HDInsight على AKS واجهة برمجة تطبيقات إدارة الوظائف، وهي طريقة إرسال مهمة Flink المستندة إلى واجهة برمجة تطبيقات REST لإرسال المهام ومراقبتها عن بعد على مدخل Microsoft Azure. |
| نوع التوزيع | يمكن ل Flink تنفيذ التطبيقات في وضع الجلسة أو وضع التطبيق. يدعم HDInsight حاليا على AKS مجموعات الجلسة فقط. يمكنك تشغيل مهام Flink متعددة على مجموعة جلسة عمل. وضع التطبيق موجود على خارطة طريق HDInsight على مجموعات AKS |
| دعم Metastore | يمكن أن تدعم مجموعات Flink في HDInsight على AKS الكتالوجات باستخدام Hive Metastore بتنسيقات ملفات مفتوحة مختلفة مع نقاط التحقق عن بعد إلى Azure Data Lake Storage Gen2. |
| الحصول على دعم لـ Azure Storage | يمكن لمجموعات Flink في HDInsight استخدام Azure Data Lake Storage Gen2 كمتلقي ملفات. لمزيد من المعلومات حولData Lake Storage Gen2، راجع Azure Data Lake Storage Gen2. |
| التكامل مع خدمات Azure | يأتي نظام مجموعة Flink في HDInsight على AKS مع تكامل ل Kafka جنبا إلى جنب مع Azure Event Hubs وAzure HDInsight. يمكنك إنشاء تطبيقات دفق باستخدام مراكز الأحداث أو HDInsight. |
| التوافق | يتيح لك HDInsight على AKS توسيع نطاق عقد نظام مجموعة Flink استنادا إلى الجدول الزمني باستخدام ميزة التحجيم التلقائي. راجع تغيير حجم Azure HDInsight تلقائيا على مجموعات AKS. |
| الواجهة الخلفية للحالة | يستخدم HDInsight على AKS RocksDB ك StateBackend افتراضي. RocksDB هو مخزن قيم مفاتيح ثابتة قابل للتضمين للتخزين السريع. |
| Checkpoints | يتم تمكين نقاط التحقق في HDInsight على مجموعات AKS بشكل افتراضي. تحتفظ الإعدادات الافتراضية على HDInsight على AKS بنقاط التحقق الخمسة الأخيرة في التخزين المستمر. في حالة فشل مهمتك، يمكن إعادة تشغيل المهمة من أحدث نقطة تحقق. |
| نقاط التحقق المتزايدة | يدعم RocksDB نقاط التحقق التزايدية. نحن نشجع استخدام نقاط التحقق التزايدية للحالة الكبيرة، تحتاج إلى تمكين هذه الميزة يدويا. تعيين افتراضي في flink-conf.yaml: state.backend.incremental: true نقاط التحقق التزايدية التي يمكنها، ما لم يتجاوز التطبيق هذا الإعداد في التعليمات البرمجية. هذه العبارة صحيحة بشكل افتراضي. يمكنك بدلا من ذلك تكوين هذه القيمة مباشرة في التعليمات البرمجية (يتجاوز التكوين الافتراضي) EmbeddedRocksDBStateBackend` backend = new `EmbeddedRocksDBStateBackend(true); . بشكل افتراضي، نحتفظ بنقاط التحقق الخمسة الأخيرة في نقطة التحقق التي تم تكوينها. يمكن تغيير هذه القيمة عن طريق تغيير التكوين في قسم إدارة التكوين state.checkpoints.num-retained: 5 |
تتضمن مجموعات Apache Flink في HDInsight على AKS المكونات التالية، وهي متوفرة على المجموعات بشكل افتراضي.
راجع المخطط حول ما سيتوفر قريبا!
Apache Flink Job Management
يقوم Flink بجدولة المهام باستخدام ثلاثة مكونات موزعة، مدير الوظيفة، مدير المهام، وعميل الوظيفة، والتي تم تعيينها في نمط Leader-Follower.
وظيفة Flink: تتكون وظيفة أو برنامج Flink من مهام متعددة. المهام هي الوحدة الأساسية للتنفيذ في Flink. تحتوي كل مهمة Flink على مثيلات متعددة اعتمادا على مستوى التوازي ويتم تنفيذ كل مثيل على TaskManager.
مدير الوظيفة: يعمل مدير الوظيفة كمجدول ويجدول المهام على مديري المهام.
مدير المهام: يأتي مديرو المهام مع فتحة واحدة أو أكثر لتنفيذ المهام بالتوازي.
عميل الوظيفة: يتصل عميل الوظيفة بمدير الوظيفة لإرسال وظائف Flink
واجهة مستخدم ويب Flink: يتميز Flink بواجهة مستخدم ويب لفحص التطبيقات قيد التشغيل ومراقبتها وتصحيحها.
المرجع
- موقع ويب Apache Flink
- Apache وApache Kafka وKafka وApache Flink وFlink وأسماء مشاريع مصدر مفتوح المرتبطة هي علامات تجارية ل Apache Software Foundation (ASF).