تشغيل البرامج النصية U-SQL على جهازك المحلي
عند تطوير البرامج النصية U-SQL، يمكنك توفير الوقت والنفقات عن طريق تشغيل البرامج النصية محليا. يدعم Azure Data Lake Tools for Visual Studio تشغيل البرامج النصية U-SQL على جهازك المحلي.
المفاهيم الأساسية للركض المحلي
يوضح المخطط التالي مكونات التشغيل المحلي وكيفية تعيين هذه المكونات إلى تشغيل السحابة.
| المكونات | تشغيل داخلي | تشغيل السحابة |
|---|---|---|
| التخزين | المجلد الجذر للبيانات المحلية | حساب Azure Data Lake Store الافتراضي |
| Compute | محرك تشغيل محلي U-SQL | خدمة Azure Data Lake Analytics |
| تشغيل البيئة | دليل العمل على الجهاز المحلي | Azure Data Lake Analytics cluster |
توفر الأقسام التالية مزيدا من المعلومات حول مكونات التشغيل المحلية.
المجلدات الجذرية للبيانات المحلية
المجلد الجذر للبيانات المحلية هو مخزن محلي لحساب الحوسبة المحلي. يمكن أن يكون أي مجلد في نظام الملفات المحلي على جهازك المحلي مجلدا جذر بيانات محليا. إنه نفس حساب Azure Data Lake Store الافتراضي لحساب Data Lake Analytics. يشبه التبديل إلى مجلد جذر بيانات مختلف التبديل إلى حساب متجر افتراضي مختلف.
يتم استخدام المجلد الجذر للبيانات على النحو التالي:
- تخزين البيانات الوصفية. ومن الأمثلة على ذلك قواعد البيانات والجداول والدالات ذات القيمة للجدول والتجميعات.
- ابحث عن مسارات الإدخال والإخراج التي تم تعريفها كمسارات نسبية في البرامج النصية U-SQL. باستخدام المسارات النسبية، يصبح من الأسهل نشر البرامج النصية U-SQL إلى Azure.
محركات تشغيل محلية U-SQL
محرك التشغيل المحلي U-SQL هو حساب حوسبة محلي لوظائف U-SQL. يمكن للمستخدمين تشغيل وظائف U-SQL محليا من خلال أدوات بحيرة بيانات Azure Visual Studio. يتم دعم عمليات التشغيل المحلية أيضا من خلال Azure Data Lake U-SQL سطر الأوامر SDK وواجهات البرمجة. تعرف على المزيد حول Azure Data Lake U-SQL SDK.
أدلة العمل
عند تشغيل برنامج نصي U-SQL، يلزم وجود مجلد دليل عمل لتخزين نتائج التحويل البرمجي مؤقتا وتشغيل السجلات وتنفيذ وظائف أخرى. في Azure Data Lake Tools for Visual Studio، يكون دليل العمل هو دليل عمل مشروع U-SQL. انها تقع تحت <U-SQL project root path>/bin/debug>. يتم تنظيف دليل العمل في كل مرة يتم فيها تشغيل تشغيل جديد.
عمليات التشغيل المحلية في Microsoft Visual Studio
تحتوي Azure Data Lake Tools for Visual Studio على محرك تشغيل محلي مدمج. تعرض الأدوات المحرك كحساب حساب محلي. لتشغيل برنامج نصي U-SQL محليا، حدد حساب الجهاز المحلي أو حساب المشروع المحلي في القائمة المنسدلة هامش محرر البرنامج النصي. ثم حدد إرسال.
عمليات التشغيل المحلية باستخدام حساب الجهاز المحلي
حساب الجهاز المحلي هو حساب حوسبة محلي مشترك مع مجلد جذر بيانات محلي واحد كحساب متجر محلي. بشكل افتراضي، يوجد المجلد الجذر للبيانات في C:\Usersusername<>\AppData\Local\USQLDataRoot. كما أنه قابل للتكوين من خلال ToolsData>LakeOptions>و الإعدادات.
مطلوب مشروع U-SQL للتشغيل المحلي. يتم استخدام دليل عمل مشروع U-SQL لدليل العمل المحلي U-SQL. يتم إنشاء نتائج التجميع وسجلات التشغيل والملفات الأخرى المتعلقة بتشغيل المهام وتخزينها ضمن مجلد دليل العمل أثناء التشغيل المحلي. في كل مرة تقوم فيها بإعادة تشغيل البرنامج النصي، يتم تنظيف كافة الملفات الموجودة في دليل العمل وإعادة إنشائها.
عمليات التشغيل المحلية باستخدام حساب مشروع محلي
حساب المشروع المحلي هو حساب حساب محلي معزول عن المشروع لكل مشروع يحتوي على مجلد جذر بيانات محلي معزول. كل مشروع U-SQL نشط يفتح في مستكشف الحلول في Visual Studio لديه حساب مطابق(Local-project: <project name>). يتم سرد الحسابات في كل من مستكشف الخادم في Visual Studio وهامش محرر البرنامج النصي U-SQL.
يوفر حساب المشروع المحلي بيئة تطوير نظيفة ومعزولة. يحتوي حساب الجهاز المحلي على مجلد جذر بيانات محلي مشترك يخزن بيانات التعريف وبيانات الإدخال والإخراج لجميع المهام المحلية. ولكن يقوم حساب المشروع المحلي بإنشاء مجلد جذر بيانات محلي مؤقت ضمن دليل عمل مشروع U-SQL في كل مرة يتم فيها تشغيل برنامج نصي U-SQL. يتم تنظيف هذا المجلد الجذر المؤقت للبيانات عند حدوث إعادة إنشاء أو إعادة تشغيل.
يدير مشروع U-SQL بيئة التشغيل المحلية المعزولة من خلال مرجع المشروع وممتلكاته. يمكنك تكوين مصادر بيانات الإدخال للبرامج النصية U-SQL في كل من المشروع وبيئات قاعدة البيانات المشار إليها.
إدارة مصدر بيانات الإدخال لحساب مشروع محلي
يقوم مشروع U-SQL بإنشاء مجلد جذر بيانات محلي وإعداد بيانات لحساب مشروع محلي. يتم تنظيف مجلد جذر بيانات مؤقت وإعادة إنشائه ضمن دليل عمل مشروع U-SQL في كل مرة تحدث فيها إعادة إنشاء وتشغيل محلي. يتم نسخ كافة مصادر البيانات التي تم تكوينها بواسطة مشروع U-SQL إلى مجلد جذر البيانات المحلي المؤقت هذا قبل تشغيل المهمة المحلية.
يمكنك تكوين المجلد الجذر لمصادر البيانات الخاصة بك. انقر بزر الماوس الأيمن فوق U-SQLProjectPropertyTest>>مصدر البيانات. عند تشغيل برنامج نصي U-SQL على حساب مشروع محلي، يتم نسخ كافة الملفات والمجلدات الفرعية في المجلد "مصدر بيانات الاختبار" إلى المجلد الجذر للبيانات المحلية المؤقتة. يتم تضمين الملفات ضمن المجلدات الفرعية. بعد تشغيل مهمة محلية، يمكن أيضا العثور على نتائج المخرجات ضمن المجلد الجذر للبيانات المحلية المؤقتة في دليل عمل المشروع. يتم حذف كل هذا الإخراج وتنظيفه عند إعادة بناء المشروع وتنظيفه.
إدارة بيئة قاعدة بيانات مرجعية لحساب مشروع محلي
إذا كان استعلام U-SQL يستخدم أو يستعلم مع كائنات قاعدة بيانات U-SQL، فيجب أن تجعل بيئات قاعدة البيانات جاهزة محليا قبل تشغيل البرنامج النصي U-SQL محليا. بالنسبة لحساب المشروع المحلي، يمكن إدارة تبعيات قاعدة بيانات U-SQL بواسطة مراجع مشروع U-SQL. يمكنك إضافة مراجع مشروع قاعدة بيانات U-SQL إلى مشروع U-SQL الخاص بك. قبل تشغيل البرامج النصية U-SQL على حساب مشروع محلي، يتم نشر كافة قواعد البيانات المشار إليها إلى المجلد الجذر للبيانات المحلية المؤقتة. ولكل تشغيل، يتم تنظيف المجلد الجذر المؤقت للبيانات كبيئة معزولة جديدة.
انظر هذا المقال ذو الصلة:
- تعرف على كيفية إدارة تعريفات ومراجع قاعدة بيانات U-SQL في مشاريع قاعدة بيانات U-SQL.
الفرق بين حسابات الجهاز المحلي وحسابات المشاريع المحلية
يحاكي حساب الجهاز المحلي حساب Azure Data Lake Analytics على الأجهزة المحلية للمستخدمين. وهي تشترك في نفس التجربة مع حساب Azure Data Lake Analytics. يوفر حساب المشروع المحلي بيئة تنمية محلية سهلة الاستخدام. تساعد هذه البيئة المستخدمين على نشر مراجع قاعدة البيانات وإدخال البيانات قبل تشغيل البرامج النصية محليا. يوفر حساب الجهاز المحلي بيئة دائمة مشتركة يمكن الوصول إليها من خلال جميع المشاريع. يوفر حساب المشروع المحلي بيئة تطوير معزولة لكل مشروع. يتم تحديثه لكل شوط. يوفر حساب المشروع المحلي تجربة تطوير أسرع من خلال تطبيق التغييرات الجديدة بسرعة.
يتم عرض المزيد من الاختلافات بين حسابات الجهاز المحلي وحسابات المشروع المحلي في الجدول التالي:
| زاوية الفرق | آلة محلية | مشروع محلي |
|---|---|---|
| الوصول المحلي | يمكن الوصول إليها من قبل جميع المشاريع. | يمكن للمشروع المقابل فقط الوصول إلى هذا الحساب. |
| المجلد الجذر للبيانات المحلية | مجلد محلي دائم. تم تكوينه من خلال ToolsData>LakeOptions>و الإعدادات. | مجلد مؤقت تم إنشاؤه لكل تشغيل محلي ضمن دليل عمل مشروع U-SQL. يتم تنظيف المجلد عند حدوث إعادة إنشاء أو إعادة تشغيل. |
| إدخال البيانات لبرنامج نصي U-SQL | المسار النسبي ضمن المجلد الجذر للبيانات المحلية الدائمة. | تعيين من خلال خاصية >المشروع U-SQLاختبار مصدر البيانات. يتم نسخ كافة الملفات والمجلدات الفرعية إلى المجلد الجذر المؤقت للبيانات قبل التشغيل المحلي. |
| بيانات الإخراج لبرنامج نصي U-SQL | المسار النسبي ضمن المجلد الجذر للبيانات المحلية الدائمة. | الإخراج إلى المجلد الجذر المؤقت للبيانات. يتم تنظيف النتائج عند حدوث إعادة إنشاء أو إعادة تشغيل. |
| نشر قاعدة البيانات المشار إليها | لا يتم نشر قواعد البيانات المرجعية تلقائيا عند تشغيلها مقابل حساب جهاز محلي . الأمر نفسه بالنسبة للإرسال إلى حساب Azure Data Lake Analytics. | يتم نشر قواعد البيانات المشار إليها إلى حساب المشروع المحلي تلقائيا قبل التشغيل المحلي. يتم تنظيف كافة بيئات قواعد البيانات وإعادة نشرها عند حدوث إعادة إنشاء أو إعادة تشغيل. |
تشغيل محلي مع U-SQL SDK
يمكنك تشغيل البرامج النصية U-SQL محليا في Visual Studio وكذلك استخدام Azure Data Lake U-SQL SDK لتشغيل البرامج النصية U-SQL محليا باستخدام واجهات سطر الأوامر والبرمجة. من خلال هذه الواجهات ، يمكنك أتمتة U-SQL عمليات التشغيل والاختبارات المحلية.
تعرف على المزيد حول Azure Data Lake U-SQL SDK.