Share via

جدولة مهام U-SQL باستخدام خدمات تكامل SQL Server (SSIS)

  • مقالة

في هذا المستند، ستتعلم كيفية تنسيق مهام U-SQL وإنشاءها باستخدام SQL Server Integration Service (SSIS).

هام

تم إيقاف Azure Data Lake Analytics في 29 فبراير 2024. تعرف على المزيد من خلال هذا الإعلان.

بالنسبة لتحليلات البيانات، يمكن لمؤسستك استخدام Azure Synapse Analytics أو Microsoft Fabric.

المتطلبات الأساسية

توفر Azure Feature Pack لخدمات التكاملمهمة Azure Data Lake Analyticsإدارة الاتصالات Azure Data Lake Analytics التي تساعد على الاتصال بخدمة Azure Data Lake Analytics. لاستخدام هذه المهمة، تأكد من تثبيت:

مهمة Azure Data Lake Analytics

تتيح مهمة Azure Data Lake Analytics للمستخدمين إرسال مهام U-SQL إلى حساب Azure Data Lake Analytics.

تعرف على كيفية تكوين مهمة Azure Data Lake Analytics.

مهمة Azure Data Lake Analytics في SSIS

يمكنك الحصول على البرنامج النصي U-SQL من أماكن مختلفة باستخدام وظائف ومهام SSIS المضمنة، توضح السيناريوهات أدناه كيف يمكنك تكوين البرامج النصية U-SQL لحالات مستخدم مختلفة.

السيناريو 1-استخدام البرامج النصية المضمنة لاستدعاء tvfs والوكلاء المخزنين

في المحرر مهمة Azure Data Lake Analytics، قم بتكوين SourceType ك DirectInput، وضع عبارات U-SQL في USQLStatement.

لسهولة الصيانة وإدارة التعليمات البرمجية، ضع فقط برنامج U-SQL النصي القصير كنصوص مضمنة، على سبيل المثال، يمكنك استدعاء دالات قيم الجدول الموجودة والإجراءات المخزنة في قواعد بيانات U-SQL الخاصة بك.

تحرير البرنامج النصي U-SQL المضمن في مهمة SSIS

مقالة ذات صلة: كيفية تمرير المعلمة إلى الإجراءات المخزنة

السيناريو 2- استخدام ملفات U-SQL في Azure Data Lake Store

يمكنك أيضا استخدام ملفات U-SQL في Azure Data Lake Store باستخدام مهمة نظام ملفات Azure Data Lake Store في Azure Feature Pack. يمكنك هذا الأسلوب من استخدام البرامج النصية المخزنة على السحابة.

اتبع الخطوات التالية لإعداد الاتصال بين مهمة نظام ملفات Azure Data Lake Store ومهمة Azure Data Lake Analytics.

تعيين تدفق التحكم بالمهمة

في طريقة عرض تصميم حزمة SSIS، أضف مهمة نظام ملفات Azure Data Lake Storeوحاوية Foreach Loopومهمة Azure Data Lake Analytics في حاوية Foreach Loop. تساعد مهمة نظام ملفات Azure Data Lake Store على تنزيل ملفات U-SQL في حساب ADLS الخاص بك إلى مجلد مؤقت. تساعد حاوية Foreach Loop ومهمة Azure Data Lake Analytics على إرسال كل ملف U-SQL ضمن المجلد المؤقت إلى حساب Azure Data Lake Analytics كمهمة U-SQL.

رسم تخطيطي يوضح مهمة نظام ملفات Azure Data Lake Store التي تتم إضافتها إلى حاوية Foreach Loop.

تكوين مهمة نظام ملفات Azure Data Lake Store

  1. تعيين العملية إلى CopyFromADLS.
  2. إعداد AzureDataLakeConnection، تعرف على المزيد حول Azure Data Lake Store إدارة الاتصالات.
  3. تعيين AzureDataLakeDirectory. أشر إلى المجلد الذي يخزن البرامج النصية U-SQL. استخدم المسار النسبي المرتبط بالمجلد الجذر لحساب Azure Data Lake Store.
  4. قم بتعيين الوجهة إلى مجلد يقوم بتخزين البرامج النصية U-SQL التي تم تنزيلها مؤقتا. سيتم استخدام مسار المجلد هذا في حاوية Foreach Loop لتقديم مهمة U-SQL.

تكوين مهمة نظام ملفات Azure Data Lake Store

تعرف على المزيد حول مهمة نظام ملفات Azure Data Lake Store.

تكوين حاوية Foreach Loop

  1. في صفحة Collection ، قم بتعيين Enumerator إلى Foreach File Enumerator.

  2. قم بتعيين المجلد ضمن مجموعة تكوين قائمة التعداد إلى المجلد المؤقت الذي يتضمن البرامج النصية U-SQL التي تم تنزيلها.

  3. قم بتعيين الملفات ضمن تكوين قائمة التعداد إلى *.usql بحيث تلتقط حاوية التكرار الحلقي فقط الملفات التي تنتهي ب .usql.

    لقطة شاشة تعرض المحرر Foreach Loop مع تحديد

  4. في صفحة تعيينات المتغيرات ، أضف متغيرا معرفا من قبل المستخدم للحصول على اسم الملف لكل ملف U-SQL. قم بتعيين الفهرس إلى 0 للحصول على اسم الملف. في هذا المثال، حدد متغيرا يسمى User::FileName. سيتم استخدام هذا المتغير للحصول على اتصال ملف البرنامج النصي U-SQL ديناميكيا وتعيين اسم مهمة U-SQL في مهمة Azure Data Lake Analytics.

    تكوين Foreach Loop Container للحصول على اسم الملف

تكوين مهمة Azure Data Lake Analytics

  1. تعيين SourceType إلى FileConnection.

  2. قم بتعيين FileConnection إلى اتصال الملف الذي يشير إلى كائنات الملف التي تم إرجاعها من حاوية Foreach Loop.

    لإنشاء اتصال الملف هذا:

    1. اختر <اتصال جديد...> في إعداد FileConnection.

    2. قم بتعيين نوع الاستخدام إلى ملف موجود، وقم بتعيين الملف إلى مسار ملف أي ملف موجود.

      لقطة شاشة تعرض إدارة الاتصالات المحرر الملف مع تحديد

    3. في طريقة عرض إدارة الاتصال ، انقر بزر الماوس الأيمن فوق اتصال الملف الذي تم إنشاؤه، واختر خصائص.

    4. في نافذة Properties ، قم بتوسيع Expressions، وقم بتعيين ConnectionString إلى المتغير المحدد في Foreach Loop Container، على سبيل المثال، @[User::FileName].

      تكوين حاوية Foreach Loop

  3. قم بتعيين AzureDataLakeAnalyticsConnection إلى حساب Azure Data Lake Analytics الذي تريد إرسال المهام إليه. تعرف على المزيد حول إدارة الاتصالات Azure Data Lake Analytics.

  4. تعيين تكوينات الوظائف الأخرى. ⁧⁩تعرّف على المزيد⁧⁩.

  5. استخدم التعبيرات لتعيين اسم وظيفة U-SQL ديناميكيا:

    1. في صفحة Expressions ، أضف تعبيرا جديدا زوجا من قيم المفاتيح ل JobName.

    2. قم بتعيين قيمة JobName إلى المتغير المحدد في Foreach Loop Container، على سبيل المثال، @[User::FileName].

      تكوين تعبير SSIS لاسم وظيفة U-SQL

السيناريو 3- استخدام ملفات U-SQL في Azure Blob Storage

يمكنك استخدام ملفات U-SQL في Azure Blob Storage باستخدام مهمة تنزيل Azure Blob في Azure Feature Pack. يمكنك هذا الأسلوب من استخدام البرامج النصية على السحابة.

تتشابه الخطوات مع السيناريو 2: استخدام ملفات U-SQL في Azure Data Lake Store. تغيير مهمة نظام ملفات Azure Data Lake Store إلى مهمة تنزيل Azure Blob. تعرف على المزيد حول مهمة تنزيل Azure Blob.

تدفق عنصر التحكم كما يلي:

استخدام ملفات U-SQL في Azure Data Lake Store

السيناريو 4- استخدام ملفات U-SQL على الجهاز المحلي

بالإضافة إلى استخدام ملفات U-SQL المخزنة على السحابة، يمكنك أيضا استخدام الملفات على جهازك المحلي أو الملفات المنشورة مع حزم SSIS الخاصة بك.

  1. انقر بزر الماوس الأيمن فوق Connection Managers في مشروع SSIS واختر New إدارة الاتصالات.

  2. حدد نوع الملف وحدد إضافة....

  3. قم بتعيين نوع الاستخدام إلى ملف موجود، ثم قم بتعيين الملف إلى الملف على الجهاز المحلي.

    إضافة اتصال ملف إلى الملف المحلي

  4. إضافة مهمة Azure Data Lake Analytics و:

    1. تعيين SourceType إلى FileConnection.
    2. قم بتعيين FileConnection إلى File Connection الذي تم إنشاؤه.

  5. إنهاء التكوينات الأخرى لمهمة Azure Data Lake Analytics.

السيناريو 5-استخدام عبارة U-SQL في متغير SSIS

في بعض الحالات، قد تحتاج إلى إنشاء عبارات U-SQL ديناميكيا. يمكنك استخدام متغير SSIS مع تعبير SSIS ومهام SSIS الأخرى، مثل مهمة البرنامج النصي، لمساعدتك في إنشاء عبارة U-SQL ديناميكيا.

  1. افتح نافذة أداة المتغيرات من خلال قائمة المستوى الأعلى لمتغيرات SSIS>.

  2. أضف متغير SSIS وقم بتعيين القيمة مباشرة أو استخدم Expression لإنشاء القيمة.

  3. إضافة مهمة Azure Data Lake Analytics و:

    1. تعيين SourceType إلى متغير.
    2. تعيين SourceVariable إلى متغير SSIS الذي تم إنشاؤه الآن.

  4. إنهاء التكوينات الأخرى لمهمة Azure Data Lake Analytics.

السيناريو 6-تمرير المعلمات إلى البرنامج النصي U-SQL

في بعض الحالات، قد تحتاج إلى تعيين قيمة متغير U-SQL ديناميكيا في البرنامج النصي U-SQL. تساعد ميزة تعيين المعلمات في مهمة Azure Data Lake Analytics في هذا السيناريو. عادة ما تكون هناك حالتان نموذجيتان للمستخدم:

  • قم بتعيين متغيرات مسار ملف الإدخال والإخراج ديناميكيا استنادا إلى التاريخ والوقت الحاليين.
  • تعيين المعلمة للإجراءات المخزنة.

تعرف على المزيد حول كيفية تعيين معلمات للبرنامج النصي U-SQL.

الخطوات التالية