استخدام أدوات Azure Data Lake Tools لـ Visual Studio Code

هام

لم يعد من الممكن إنشاء حسابات Azure Data Lake Analytics الجديدة ما لم يتم تمكين اشتراكك. إذا كنت بحاجة إلى تمكين اشتراكك، فاتصل بالدعم وقدم سيناريو عملك.

إذا كنت تستخدم Azure Data Lake Analytics بالفعل، فستحتاج إلى إنشاء خطة ترحيل إلى Azure Synapse Analytics لمؤسستك بحلول 29 فبراير 2024.

في هذه المقالة، تعرف على كيفية استخدام Azure Data Lake Tools ل Visual Studio Code (VS Code) لإنشاء البرامج النصية U-SQL واختبارها وتشغيلها. يتم أيضا تغطية المعلومات في الفيديو التالي:

المتطلبات الأساسية

تدعم أدوات Azure Data Lake ل VS Code Windows وLinux وmacOS. يعمل التشغيل المحلي U-SQL وتصحيح الأخطاء المحلي فقط في Windows.

• تعليمة Visual Studio برمجية

بالنسبة إلى macOS وLinux:

• .NET 5.0 SDK
• Mono 5.2.x

تثبيت Azure Data Lake Tools

بعد تثبيت المتطلبات الأساسية، يمكنك تثبيت Azure Data Lake Tools ل VS Code.

لتثبيت Azure Data Lake Tools

1. فتح Visual Studio Code

2. حدد Extensions في الجزء الأيمن. أدخل Azure Data Lake Tools في مربع البحث.

3. حدد Install بجوار Azure Data Lake Tools.

   

   بعد بضع ثوان، يتغير الزر تثبيت إلى إعادة التحميل.

4. حدد Reload لتنشيط ملحق Azure Data Lake Tools .

5. حدد Reload Window للتأكيد. يمكنك مشاهدة Azure Data Lake Tools في جزء Extensions .

تنشيط Azure Data Lake Tools

قم بإنشاء ملف .usql أو افتح ملف .usql موجود لتنشيط الملحق.

العمل مع U-SQL

للعمل مع U-SQL، تحتاج إلى فتح ملف U-SQL أو مجلد.

لفتح نموذج البرنامج النصي

افتح لوحة الأوامر (Ctrl+Shift+P) وأدخل ADL: افتح نموذج البرنامج النصي. يفتح مثيلا آخر من هذه العينة. يمكنك أيضا تحرير برنامج نصي وتكوينه وإرساله على هذا المثيل.

لفتح مجلد لمشروع U-SQL

1. من Visual Studio Code، حدد قائمة File ، ثم حدد Open Folder.

2. حدد مجلدا، ثم حدد تحديد مجلد.

3. حدد القائمة ملف ، ثم حدد جديد. تتم إضافة ملف بدون عنوان-1 إلى المشروع.

4. أدخل التعليمات البرمجية التالية في ملف Untitled-1:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   الإخراج @departments إلى "/output/departments.csv" باستخدام Outputters.Csv()؛

   يقوم البرنامج النصي بإنشاء ملف departments.csv مع بعض البيانات المضمنة في مجلد /output.

5. احفظ الملف ك myUSQL.usql في المجلد المفتوح.

لتحويل برنامج نصي U-SQL برمجيا

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.
2. أدخل ADL: التحويل البرمجي للبرنامج النصي. تظهر نتائج التحويل البرمجي في نافذة الإخراج . يمكنك أيضا النقر بزر الماوس الأيمن فوق ملف برنامج نصي، ثم تحديد ADL: التحويل البرمجي للبرنامج النصي لتحويل مهمة U-SQL برمجيا. تظهر نتيجة التحويل البرمجي في جزء الإخراج .

لإرسال برنامج نصي U-SQL

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.
2. أدخل ADL: إرسال الوظيفة. يمكنك أيضا النقر بزر الماوس الأيمن فوق ملف برنامج نصي، ثم تحديد ADL: إرسال الوظيفة.

بعد إرسال مهمة U-SQL، تظهر سجلات الإرسال في نافذة الإخراج في VS Code. تظهر طريقة عرض المهمة في الجزء الأيمن. إذا نجح الإرسال، يظهر عنوان URL للوظيفة أيضا. يمكنك فتح عنوان URL للوظيفة في مستعرض ويب لتتبع حالة الوظيفة في الوقت الحقيقي.

في علامة التبويب SUMMARY في طريقة عرض الوظيفة، يمكنك مشاهدة تفاصيل الوظيفة. تتضمن الوظائف الرئيسية إعادة إرسال برنامج نصي، وتكرار برنامج نصي، وفتحه في المدخل. في علامة التبويب DATA في طريقة عرض الوظيفة، يمكنك الرجوع إلى ملفات الإدخال وملفات الإخراج وملفات الموارد. يمكن تنزيل الملفات على الكمبيوتر المحلي.

لتعيين السياق الافتراضي

يمكنك تعيين السياق الافتراضي لتطبيق هذا الإعداد على جميع ملفات البرنامج النصي إذا لم تقم بتعيين معلمات للملفات بشكل فردي.

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.

2. أدخل ADL: تعيين السياق الافتراضي. أو انقر بزر الماوس الأيمن فوق محرر البرنامج النصي وحدد ADL: تعيين السياق الافتراضي.

3. اختر الحساب وقاعدة البيانات والمخطط الذي تريده. يتم حفظ الإعداد في ملف التكوين xxx_settings.json.

   

لتعيين معلمات البرنامج النصي

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.

2. أدخل ADL: تعيين معلمات البرنامج النصي.

3. يتم فتح ملف xxx_settings.json بالخصائص التالية:

   • الحساب: حساب Azure Data Lake Analytics ضمن اشتراك Azure الخاص بك المطلوب لتحويل مهام U-SQL برمجيا وتشغيلها. تحتاج إلى تكوين حساب الكمبيوتر قبل التحويل البرمجي وتشغيل مهام U-SQL.
   • قاعدة البيانات: قاعدة بيانات ضمن حسابك. الإعداد الافتراضي رئيسي.
   • المخطط: مخطط ضمن قاعدة البيانات الخاصة بك. الافتراضي هو dbo.
   • إعدادات اختيارية:
     • الأولوية: يتراوح نطاق الأولوية من 1 إلى 1000، مع 1 كأولوية قصوى. القيمة الافتراضية هي 1000.
     • degreeOfParallelism: نطاق التوازي هو من 1 إلى 150. القيمة الافتراضية هي الحد الأقصى للتوازي المسموح به في حساب Azure Data Lake Analytics.

   

ملاحظة

بعد حفظ التكوين، تظهر معلومات الحساب وقاعدة البيانات والمخطط على شريط الحالة في الزاوية السفلية اليمنى من ملف .usql المقابل إذا لم يكن لديك إعداد سياق افتراضي.

لتعيين تجاهل Git

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.

2. أدخل ADL: تعيين Git Ignore.

   • إذا لم يكن لديك ملف .gitIgnore في مجلد عمل VS Code، يتم إنشاء ملف يسمى .gitIgnore في المجلد الخاص بك. تتم إضافة أربعة عناصر (usqlCodeBehindReferenceوusqlCodeBehindGeneratedو.cache و obj) في الملف بشكل افتراضي. يمكنك إجراء مزيد من التحديثات إذا لزم الأمر.
   • إذا كان لديك بالفعل ملف .gitIgnore في مجلد عمل VS Code الخاص بك، فإن الأداة تضيف أربعة عناصر (usqlCodeBehindReference، usqlCodeBehindGenerated، .cache، obj) في ملف .gitIgnore إذا لم يتم تضمين العناصر الأربعة في الملف.

   

العمل مع ملفات التعليمات البرمجية الخلفية: C Sharp وPython وR

تدعم Azure Data Lake Tools رموزا مخصصة متعددة. للحصول على الإرشادات، راجع تطوير U-SQL باستخدام Python وR وC Sharp ل Azure Data Lake Analytics في VS Code.

العمل مع التجميعات

للحصول على معلومات حول تطوير التجميعات، راجع تطوير تجميعات U-SQL لوظائف Azure Data Lake Analytics.

يمكنك استخدام Data Lake Tools لتسجيل تجميعات التعليمات البرمجية المخصصة في كتالوج Data Lake Analytics.

لتسجيل تجميع

يمكنك تسجيل التجميع من خلال الأمر ADL: تسجيل التجميع أو ADL: تسجيل التجميع (متقدم).

للتسجيل من خلال أمر ADL: تسجيل التجميع

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.
2. أدخل ADL: تسجيل التجميع.
3. حدد مسار التجميع المحلي.
4. حدد حساب Data Lake Analytics.
5. حدد قاعدة بيانات.

يتم فتح المدخل في مستعرض ويعرض عملية تسجيل التجميع.

طريقة أكثر ملاءمة لتشغيل أمر ADL: تسجيل التجميع هي النقر بزر الماوس الأيمن فوق ملف .dll في مستكشف الملفات.

للتسجيل من خلال الأمر ADL: تسجيل التجميع (متقدم)

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.

2. أدخل ADL: تسجيل التجميع (متقدم).

3. حدد مسار التجميع المحلي.

4. يتم عرض ملف JSON. مراجعة وتحرير تبعيات التجميع ومعلمات الموارد، إذا لزم الأمر. يتم عرض الإرشادات في نافذة الإخراج . لمتابعة تسجيل التجميع، احفظ (Ctrl+S) ملف JSON.

   

ملاحظة

• تكتشف أدوات Azure Data Lake تلقائيا ما إذا كان DLL يحتوي على أي تبعيات تجميع. يتم عرض التبعيات في ملف JSON بعد اكتشافها.
• يمكنك تحميل موارد DLL الخاصة بك (على سبيل المثال، .txt .png .csv) كجزء من تسجيل التجميع.

هناك طريقة أخرى لتشغيل الأمر ADL: تسجيل التجميع (متقدم) وهي النقر بزر الماوس الأيمن فوق ملف .dll في مستكشف الملفات.

توضح التعليمات البرمجية U-SQL التالية كيفية استدعاء تجميع. في العينة، يتم اختبار اسم التجميع.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

استخدام التشغيل المحلي U-SQL وتصحيح الأخطاء المحلي لمستخدمي Windows

يختبر التشغيل المحلي U-SQL بياناتك المحلية ويتحقق من صحة البرنامج النصي محليا قبل نشر التعليمات البرمجية الخاصة بك إلى Data Lake Analytics. يمكنك استخدام ميزة تتبع الأخطاء المحلية لإكمال المهام التالية قبل إرسال التعليمات البرمجية إلى Data Lake Analytics:

• تصحيح أخطاء التعليمات البرمجية ل C# في الخلف.
• التنقل عبر التعليمات البرمجية.
• تحقق من صحة البرنامج النصي محليا.

تعمل ميزة التشغيل المحلي وتصحيح الأخطاء المحلية فقط في بيئات Windows، وهي غير مدعومة على أنظمة التشغيل المستندة إلى macOS وLinux.

للحصول على إرشادات حول التشغيل المحلي وتصحيح الأخطاء المحلي، راجع التشغيل المحلي U-SQL وتصحيح الأخطاء المحلي باستخدام Visual Studio Code.

قم بالاتصال بـ Azure

قبل أن تتمكن من تحويل البرامج النصية U-SQL وتشغيلها في Data Lake Analytics، يجب الاتصال بحساب Azure الخاص بك.

للاتصال ب Azure باستخدام أمر

1. حدد ⁧⁩Ctrl+Shift+P⁧⁩ لفتح لوحة الأوامر.

2. أدخل ADL: تسجيل الدخول. تظهر معلومات تسجيل الدخول في أسفل اليمين.

   

   

3. حدد Copy & Open لفتح صفحة ويب تسجيل الدخول. الصق التعليمات البرمجية في المربع، ثم حدد متابعة.

   

4. اتبع الإرشادات لتسجيل الدخول من صفحة الويب. عند الاتصال، يظهر اسم حساب Azure على شريط المعلومات في الزاوية السفلية اليمنى من نافذة VS Code.

ملاحظة

• يقوم Data Lake Tools بتسجيل دخولك تلقائيا في المرة التالية إذا لم تقم بتسجيل الخروج.
• إذا تم تمكين عاملين لحسابك، نوصي باستخدام مصادقة الهاتف بدلا من استخدام رمز PIN.

لتسجيل الخروج، أدخل الأمر ADL: تسجيل الخروج.

للاتصال ب Azure من المستكشف

قم بتوسيع AZURE DATALAKE، وحدد تسجيل الدخول إلى Azure، ثم اتبع الخطوة 3 والخطوة 4 للاتصال ب Azure باستخدام أمر.

لا يمكنك تسجيل الخروج من المستكشف. لتسجيل الخروج، راجع للاتصال ب Azure باستخدام أمر.

إنشاء برنامج نصي للاستخراج

يمكنك إنشاء برنامج نصي للاستخراج لملفات .csv و.tsv .txt باستخدام الأمر ADL: إنشاء برنامج نصي للاستخراج أو من مستكشف Azure Data Lake.

لإنشاء برنامج نصي للاستخراج باستخدام أمر

1. حدد Ctrl+Shift+P لفتح لوحة الأوامر، وأدخل ADL: Create EXTRACT Script.
2. حدد المسار الكامل لملف Azure Storage، وحدد مفتاح Enter.
3. حدد حسابا واحدا.
4. بالنسبة إلى ملف .txt، حدد محددا لاستخراج الملف.

يتم إنشاء البرنامج النصي للاستخراج استنادا إلى الإدخالات الخاصة بك. بالنسبة إلى برنامج نصي لا يمكنه الكشف عن الأعمدة، اختر واحدا من الخيارين. إذا لم يكن الأمر كما هو، فسيتم إنشاء برنامج نصي واحد فقط.

لإنشاء برنامج نصي للاستخراج من المستكشف

هناك طريقة أخرى لإنشاء البرنامج النصي للاستخراج وهي من خلال قائمة النقر بزر الماوس الأيمن (اختصار) على ملف .csv أو .tsv أو .txt في Azure Data Lake Store أو تخزين Azure Blob.

الخطوات التالية

• تطوير U-SQL باستخدام Python وR وC Sharp ل Azure Data Lake Analytics في VS Code
• تشغيل U-SQL المحلي وتصحيح الأخطاء المحلي باستخدام Visual Studio Code
• البرنامج التعليمي: بدء استخدام Azure Data Lake Analytics
• البرنامج التعليمي: تطوير البرامج النصية U-SQL باستخدام أدوات Data Lake ل Visual Studio