البرنامج التعليمي: الكتابة إلى جدول دلتا المخزن في Azure Data Lake Storage Gen2

يوضح هذا البرنامج التعليمي كيف يمكنك إنشاء وظيفة Stream Analytics للكتابة إلى جدول Delta في Azure Data Lake Storage Gen2. في هذا البرنامج التعليمي، تتعلم كيفية:

• نشر منشئ حدث يرسل بيانات نموذجية إلى مركز الأحداث
• إنشاء مشروع وظائف Stream Analytics
• تكوين Azure Data Lake Storage Gen2 باستخدام جدول دلتا
• تشغيل وظيفة Stream Analytics

المتطلبات الأساسية

قبل البدء، أكمل الخطوات التالية:

• إذا لم يكن لديك اشتراك Azure، فأنشئ حسابًا مجانًا.
• قم بتوزيع منشئ أحداث TollApp على Azure، استخدم هذا الرابط لتوزيع قالب TollApp Azure. اضبط معلمة "الفاصل الزمني" على 1. إنشاء مجموعة موارد جديدة لهذه الخطوة واستخدامها.
• إنشاء حساب Data Lake Storage Gen2.

إنشاء مشروع وظائف Stream Analytics

1. قم بتسجيل الدخول إلى بوابة Azure.

2. حدد كل الخدمات في القائمة اليسرى.

3. حرك الماوس فوق وظائف Stream Analytics في قسم Analytics ، وحدد + (plus).

   

4. حدد"Create a resource"من الزاوية العلوية اليسرى من مدخل Azure.

5. حدد "Analytics"> "Stream Analytics job" من قائمة النتائج.

6. اتبع الخطوات التالية في صفحة "وظيفة Stream Analytics جديدة":

   1. للاشتراك: تحديد اشتراك Azure الخاص بك.
   2. بالنسبة إلى Resource group، حدد نفس المورد الذي استخدمته سابقا في نشر TollApp.
   3. بالنسبة إلى "الاسم "، أدخل اسمًا للوظيفة. من الممكن أن يحتوي اسم وظيفة Stream Analytics على أحرف أبجدية رقمية وواصلات وشرطات سفلية فقط ويجب أن يتراوح طولها بين 3 و 63 حرفًا.
   4. بالنسبة إلى "بيئة الاستضافة"، تأكد من تحديد "السحابة".
   5. بالنسبة إلى "لوحدات البث"، حدد "1". تمثل وحدات البث موارد الحوسبة المطلوبة لتنفيذ مهمة ما. لمعرفة المزيد عن قياس وحدات البث، راجع مقالة فهم وضبط وحدات البث .

   

7. حدد مراجعة + إنشاء عند أسفل الصفحة.

8. في صفحة "مراجعة + إنشاء"، راجع الإعدادات ثم حدد "إنشاء" لإنشاء صفحة "Stream Analytics".

9. في صفحة "التوزيع"، حدد "الانتقال إلى مورد" للانتقال إلى صفحة "وظيفة Stream Analytics".

تكوين إدخال المهمة

الخطوة التالية هي تحديد مصدر إدخال للمهمة لقراءة البيانات باستخدام مركز الحدث الذي تم إنشاؤه في نشر تطبيق المكالمات الهاتفية.

1. ابحث عن وظيفة Stream Analytics التي تم إنشاؤها في القسم السابق.

2. في قسم Job Topology في وظيفة Stream Analytics، حدد Inputs.

3. حدد + Add input و Event hub.

   

4. املأ نموذج الإدخال بالقيم التالية التي تم إنشاؤها من خلال قالب Azure ل TollApp:

   1. بالنسبة إلى الاسم المستعار للإدخل، أدخل entrystream.

   2. اختر تحديد Event Hub من اشتراكاتك.

   3. للاشتراك: تحديد اشتراك Azure الخاص بك.

   4. بالنسبة لمساحة اسم Event Hub، حدد مساحة اسم مركز الأحداث التي أنشأتها في القسم السابق.

   5. استخدم الخيارات الافتراضية في الإعدادات المتبقية وحدد حفظ.

      

تكوين إخراج المهمة

الخطوة التالية هي تحديد مصدر إخراج حيث يمكن للوظيفة كتابة البيانات إليه. في هذا البرنامج التعليمي، يمكنك كتابة الإخراج إلى جدول Delta في Azure Data Lake Storage Gen2.

1. في قسم Job Topology من وظيفة Stream Analytics، حدد خيار Outputs .

2. حدد + Add output>Blob storage/ADLS Gen2.

   

3. املأ نموذج الإخراج بالتفاصيل التالية وحدد حفظ:

   1. بالنسبة إلى الاسم المستعار للإخراج، أدخل DeltaOutput.

   2. اختر Select Blob storage/ADLS Gen2 من اشتراكاتك.

   3. للاشتراك: تحديد اشتراك Azure الخاص بك.

   4. بالنسبة إلى حساب التخزين، اختر حساب ADLS Gen2 (الحساب الذي يبدأ ب tollapp) الذي أنشأته.

   5. بالنسبة للحاوية، حدد Create new وقم بتوفير اسم حاوية فريد.

   6. بالنسبة لتنسيق تسلسل الأحداث، حدد Delta Lake. على الرغم من أن Delta lake مدرج كأحد الخيارات هنا، إلا أنه ليس تنسيق بيانات. يستخدم Delta Lake ملفات Parquet التي تم إصدارها لتخزين بياناتك. لمعرفة المزيد حول Delta lake.

   7. بالنسبة لمسار جدول Delta، أدخل مجلد البرنامج التعليمي/جدول دلتا.

   8. استخدم الخيارات الافتراضية في الإعدادات المتبقية وحدد حفظ.

      

إنشاء استعلامات

في هذه المرحلة لديك وظيفة Stream Analytics مُعدة لقراءة تدفق البيانات الواردة. الخطوة التالية هي إنشاء استعلام يقوم بتحليل البيانات في الوقت الفعلي. تستخدم الاستعلامات لغة شبيهة بلغة SQL لها بعض الإضافات الخاصة بـ Stream Analytics.

1. حدد "استعلام" ضمن "مخطط الوظيفة" من القائمة اليسرى.

2. أدخل الاستعلام التالي في نافذة الاستعلام. في هذا المثال، يقرأ الاستعلام البيانات من مراكز الأحداث وينسخ القيم المحددة إلى جدول Delta في ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. حدد "حفظ الاستعلام" في شريط الأدوات.

   

ابدأ وظيفة Stream Analytics وتحقق من الإخراج

1. ارجع إلى صفحة "نظرة عامة على الوظيفة" في مدخل Microsoft Azure، وحدد "بدء".

   

2. في صفحة Start job ، تأكد من تحديد Now لوقت بدء إخراج الوظيفة، ثم حدد Start في أسفل الصفحة.

   

3. بعد بضع دقائق، في المدخل، ابحث عن حساب التخزين والحاوية التي قمت بتكوينها كإخراج للوظيفة. يمكنك الآن رؤية جدول دلتا في المجلد المحدد في الحاوية. تستغرق المهمة بضع دقائق للبدء في المرة الأولى، وستستمر في العمل بعد أن تبدأ مع استمرار وصول البيانات.

   

تنظيف الموارد

احذف مجموعة الموارد ووظيفة Stream Analytics وجميع الموارد ذات الصلة عندما لا تحتاج لهم. يؤدي حذف الوظيفة إلى تجنب فوترة الوحدات المتدفقة التي تستهلكها الوظيفة. إذا كنت تخطط لاستخدام المهمة في المستقبل، فيمكنك إيقافها وإعادة تشغيلها لاحقاً عند الحاجة. إذا كنت لن تستمر في استخدام هذه المهمة، فاحذف جميع الموارد التي تم إنشاؤها بواسطة هذا البرنامج التعليمي باستخدام الخطوات التالية:

1. حدد "مجموعات الموارد" من القائمة اليمنى في بوابة Azure، ثم حدد اسم المورد الذي قمت بإنشائه.
2. في صفحة مجموعة الموارد، حدد "حذف"، واكتب اسم المورد المطلوب حذفه في مربع النص، ثم حدد "حذف".

الخطوات التالية

في هذا البرنامج التعليمي، قمت بإنشاء مهمة Stream Analytics بسيطة، وتصفية البيانات الواردة، وكتابة النتائج في جدول Delta في حساب ADLS Gen2. لمعرفة المزيد حول وظائف Stream Analytics:

يكتب ASA إلى إخراج Delta Lake