ترحيل Azure Data Lake Storage من Gen1 إلى Gen2 باستخدام مدخل Microsoft Azure
توضح لك هذه المقالة كيفية تبسيط الترحيل باستخدام مدخل Microsoft Azure.
إشعار
تم الآن إيقاف Azure Data Lake Storage Gen1. انظر إعلان التقاعد هنا. لم يعد من الممكن الوصول إلى موارد Data Lake Storage Gen1. إذا كنت بحاجة إلى مساعدة خاصة، فيرجى الاتصال بنا.
إليك مقطع فيديو يخبرك بالمزيد عن ذلك.
الفصول:
00.37 - مقدمة
01:16 - التحضير للترحيل
07:15 - نسخ الترحيل
17:40 - النسخ مقابل الترحيل الكامل
19:43 - الترحيل الكامل
33:15 - ما بعد الترحيل
قبل أن تبدأ، تأكد من قراءة الإرشادات العامة بشأن كيفية الترحيل من Gen1 إلى Gen2 في إرشادات وأنماط ترحيل Azure Data Lake Storage.
قد لا يكون حسابك مؤهلا للترحيل المستند إلى المدخل استنادا إلى قيود معينة. عندما لا يتم تمكين الزر Migrate data في مدخل Microsoft Azure لحساب Gen1 الخاص بك، إذا كانت لديك خطة دعم، يمكنك تقديم طلب دعم. يمكنك أيضا الحصول على إجابات من خبراء المجتمع في Microsoft Q&A.
إشعار
لتسهيل القراءة، تستخدم هذه المقالة مصطلح Gen1للإشارة إلى Azure Data Lake Storage Gen1، ومصطلح Gen2 للإشارة إلى Azure Data Lake Storage Gen2.
الخطوة 1: إنشاء حساب تخزين مع قدرات Gen2
Azure Data Lake Storage Gen2 ليس حساب تخزين مخصصا أو نوع خدمة. وهي مجموعة من القدرات التي تقوم بإلغاء تأمينها عن طريق تمكين ميزة مساحة الأسماء الهرمية لحساب Azure Storage. لإنشاء حساب يحتوي على إمكانات Gen2، راجع إنشاء حساب تخزين لاستخدامه مع Azure Data Lake Storage Gen2.
أثناء إنشاء الحساب، تأكد من تكوين الإعدادات باستخدام القيم التالية.
| الإعداد | القيمة |
|---|---|
| Storage account name | أي اسم تريده. لا يجب أن يتطابق هذا الاسم مع اسم حساب Gen1 الخاص بك ويمكن أن يكون في أي اشتراك من اختيارك. |
| Location | نفس المنطقة التي يستخدمها حساب Data Lake Storage Gen1 |
| النسخ المتماثل | LRS أو ZRS |
| الحد الأدنى لإصدار TLS | 1.0 |
| NFS v3 | مُعطل |
| مساحة الاسم الهرمية | مُمَكّن |
إشعار
لا تنقل أداة الترحيل في مدخل Azure إعدادات الحساب. لذلك، بعد إنشاء الحساب، سيتعين عليك تكوين الإعدادات يدويا مثل التشفير وجدران حماية الشبكة وحماية البيانات.
هام
تأكد من استخدام حساب تخزين جديد تم إنشاؤه حديثًا وليس له محفوظات استخدام. لا تقم بالترحيل إلى حساب مستخدم سابقًا أو تستخدم حسابًا تم حذف الحاويات فيه لجعل الحساب فارغًا.
الخطوة 2: التحقق من تعيينات دور التحكم في الوصول استنادا إلى الدور في Azure (Azure RBAC)
بالنسبة إلى Gen2، تأكد من تعيين دور Storage Blob Data Owner إلى هوية مستخدم Microsoft Entra في نطاق حساب التخزين أو مجموعة الموارد الأصل أو الاشتراك.
بالنسبة إلى Gen1، تأكد من تعيين دور المالك إلى هوية Microsoft Entra في نطاق حساب Gen1 أو مجموعة الموارد الأصل أو الاشتراك.
الخطوة 3: ترحيل أحمال عمل Azure Data Lake Analytics
إن Azure Data Lake Storage Gen2 لا يدعم Azure Data Lake Analytics. سيتم إيقاف العمل بـ Azure Data Lake Analytics في 29 فبراير 2024. إذا حاولت استخدام مدخل Microsoft Azure لترحيل حساب Azure Data Lake Storage Gen1 الذي يتم استخدامه لـ Azure Data Lake Analytics، فمن المحتمل أن تقاطع أحمال عمل Azure Data Lake Analytics. يجب عليك أولاً ترحيل أحمال عمل Azure Data Lake Analytics إلى Azure Synapse Analytics أو نظام حساب أساسي آخر مدعوم قبل محاولة ترحيل حساب Gen1 الخاص بك.
لمزيد من المعلومات، راجع إدارة Azure Data Lake Analytics باستخدام مدخل Microsoft Azure.
الخطوة 4: إعداد حساب Gen1
أسماء الملفات أو الدلائل ذات المسافات أو علامات التبويب فقط، والتي تنتهي ب .أو تحتوي على :، أو مع عدة شرطة مائلة للأمام متتالية (//) غير متوافقة مع Gen2. تحتاج إلى إعادة تسمية هذه الملفات أو الدلائل قبل الترحيل.
للحصول على أداء أفضل، ضع في اعتبارك تأخير الترحيل لمدة عشرة أيام على الأقل من وقت عملية الحذف الأخيرة. في حساب Gen1، تصبح الملفات المحذوفة ملفات محذوفة مبدئيا ، ولن يقوم "جامع البيانات المهملة" بإزالتها نهائيا حتى سبعة أيام وسيستغرق الأمر بضعة أيام إضافية لمعالجة التنظيف. يعتمد الوقت المستغرق للتنظيف على عدد الملفات. تتم معالجة جميع الملفات، بما في ذلك الملفات المحذوفة مبدئيا، أثناء الترحيل. إذا انتظرت حتى يقوم "جامع البيانات المهملة" بإزالة الملفات المحذوفة نهائيا، يمكن أن يتحسن وقت الانتظار.
الخطوة 5: تنفيذ الترحيل
قبل أن تبدأ، راجع خياري الترحيل أدناه، وحدد ما إذا كنت تريد نسخ البيانات فقط من Gen1 إلى Gen2 (موصى به) أو إجراء ترحيل كامل.
الخيار 1: نسخ البيانات فقط (موصى به). في هذا الخيار، يتم نسخ البيانات من Gen1 إلى Gen2. أثناء نسخ البيانات، يصبح حساب Gen1 للقراءة فقط. بعد نسخ البيانات، سيتم الوصول إلى حسابات Gen1 وGen2. ومع ذلك، يجب تحديث التطبيقات واحسب أحمال العمل لاستخدام نقطة نهاية Gen2 الجديدة.
الخيار 2: إجراء ترحيل كامل. في هذا الخيار، يتم نسخ البيانات من Gen1 إلى Gen2. بعد نسخ البيانات، سيتم إعادة توجيه كل نسبة استخدام الشبكة من حساب Gen1 إلى حساب Gen2 الممكّن. تستخدم الطلبات المعاد توجيهها طبقة توافق Gen1 لترجمة استدعاءات واجهة برمجة تطبيقات Gen1 إلى مكافئات Gen2. أثناء الترحيل، يصبح حساب Gen1 للقراءة فقط. بعد اكتمال الترحيل، لن يمكن الوصول إلى حساب Gen1.
أياً كان الخيار الذي تختاره، بعد أن قمت بالترحيل والتحقق من أن جميع أحمال العمل الخاصة بك تعمل كما هو متوقع، يمكنك حذف حساب Gen1.
الخيار الأول: نسخ البيانات من Gen1 إلى Gen2
حدد موقع حساب Data Lake Storage Gen1 الخاص بك واعرض نظرة عامة على الحساب.
حدد الزر ترحيل البيانات.
حدد نسخ البيانات إلى حساب Gen2 جديد.
امنح Microsoft الموافقة على إجراء ترحيل البيانات عن طريق تحديد خانة الاختيار. ثم حدد الزر تطبيق .
يظهر شريط تقدم مع رسالة حالة فرعية. يمكنك استخدام هذه المؤشرات لقياس تقدم الترحيل. نظرا لأن وقت إكمال كل مهمة يختلف، فلن يتقدم شريط التقدم بمعدل متناسق. على سبيل المثال، قد يتقدم شريط التقدم بسرعة إلى 50 بالمائة، ولكن بعد ذلك يستغرق وقتا أطول قليلا لإكمال 50 بالمائة المتبقية.
هام
أثناء ترحيل بياناتك، يصبح حسابك على Gen1 للقراءة فقط ويتم تعطيل حسابك الذي يدعم Gen2. عند الانتهاء من الترحيل، يمكنك القراءة والكتابة إلى كلا الحسابين.
يمكنك إيقاف الترحيل في أي وقت عن طريق تحديد الزر إيقاف الترحيل.
الخيار 2: إجراء ترحيل كامل
حدد موقع حساب Data Lake Storage Gen1 الخاص بك واعرض نظرة عامة على الحساب.
حدد الزر ترحيل البيانات.
حدد Complete migration to a new Gen2 account.
امنح Microsoft الموافقة على إجراء ترحيل البيانات عن طريق تحديد خانة الاختيار. ثم حدد الزر تطبيق .
يظهر شريط تقدم مع رسالة حالة فرعية. يمكنك استخدام هذه المؤشرات لقياس تقدم الترحيل. نظرا لأن وقت إكمال كل مهمة يختلف، فلن يتقدم شريط التقدم بمعدل متناسق. على سبيل المثال، قد يتقدم شريط التقدم بسرعة إلى 50 بالمائة، ولكن بعد ذلك يستغرق وقتا أطول قليلا لإكمال 50 بالمائة المتبقية.
هام
أثناء ترحيل بياناتك، يصبح حسابك على Gen1 للقراءة فقط ويتم تعطيل حسابك الذي يدعم Gen2.
أيضا، أثناء إعادة توجيه Gen1 URI، يتم تعطيل كلا الحسابين.
عند الانتهاء من الترحيل، سيتم تعطيل حساب Gen1 الخاص بك. لن يمكن الوصول إلى البيانات الموجودة في حساب Gen1 وسيتم حذفها بعد 30 يوماً. سيكون حساب Gen2 الخاص بك متوفراً للقراءة والكتابة.
يمكنك إيقاف الترحيل في أي وقت قبل إعادة توجيه عنوان URI عن طريق تحديد الزر إيقاف الترحيل.
الخطوة 6: تحقق من اكتمال الترحيل
إذا اكتمل الترحيل بنجاح، فسيتم إنشاء حاوية تسمى gen1 في الحساب الممكن ل Gen2، وسيتم نسخ جميع البيانات من حساب Gen1 إلى حاوية gen1 الجديدة هذه. للعثور على البيانات على مسار موجود على Gen1، يجب إضافة البادئة gen1/ إلى نفس المسار للوصول إليها على Gen2. على سبيل المثال، سيكون المسار الذي تمت تسميته "FolderRoot/FolderChild/FileName.csv" على Gen1 متوفرا في "gen1/FolderRoot/FolderChild/FileName.csv" على Gen2. لا يمكن إعادة تسمية أسماء الحاويات على Gen2، لذلك لا يمكن إعادة تسمية حاوية gen1 هذه على Gen2 بعد الترحيل. ومع ذلك، يمكن نسخ البيانات إلى حاوية جديدة في Gen2 إذا لزم الأمر.
إذا لم يكتمل الترحيل بنجاح، تظهر رسالة تنص على أن الترحيل متوقف بسبب عدم التوافق. إذا كنت ترغب في المساعدة في الخطوة التالية، فيرجى الاتصال بدعم Microsoft. يمكن أن تظهر هذه الرسالة إذا تم استخدام الحساب الممكن ل Gen2 مسبقا أو عندما تستخدم الملفات والدلائل في حساب Gen1 اصطلاحات تسمية غير متوافقة.
قبل الاتصال بالدعم، تأكد من استخدام حساب تخزين جديد تم إنشاؤه حديثا وليس له تاريخ استخدام. تجنب الترحيل إلى حساب مستخدم مسبقا أو حساب تم حذف الحاويات فيه لجعل الحساب فارغا. في حساب Gen1 الخاص بك، تأكد من إعادة تسمية أي أسماء ملفات أو أدلة تحتوي على مسافات أو علامات تبويب فقط، أو تنتهي ب .، أو تحتوي على ، أو تحتوي :على عدة شرطة مائلة للأمام (//).
الخطوة 7: ترحيل أحمال العمل والتطبيقات
قم بتكوين الخدمات في أحمال العمل الخاصة بك للإشارة إلى نقطة نهاية Gen2 الخاصة بك. للحصول على ارتباطات بالمقالات التي تساعدك في تكوين Azure Databricks وHDInsight وخدمات Azure الأخرى لاستخدام Gen2، راجع خدمات Azure التي تدعم Azure Data Lake Storage Gen2.
تحديث التطبيقات لاستخدام واجهات برمجة تطبيقات Gen2. انظر هذه الإرشادات:
حدّث البرامج النصية لاستخدام أوامر Data Lake Storage Gen2 PowerShell cmdlets، وAzure CLI commands.
ابحث عن مراجع URI التي تحتوي على السلسلة
adl://في ملفات التعليمات البرمجية، أو في دفاتر ملاحظات Databricks أو ملفات Apache Hive HQL أو أي ملف آخر يستخدم كجزء من أحمال العمل. استبدل هذه المراجع بعنوان URI المنسق Gen2 لحساب التخزين الجديد. على سبيل المثال: Gen1 URI:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileقد تصبحabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
طبقة توافق Gen1
تحاول هذه الطبقة توفير توافق التطبيق بين Gen1 وGen2 كوسيلة راحة أثناء الترحيل، بحيث يمكن للتطبيقات الاستمرار في استخدام Gen1 APIs للتفاعل مع البيانات في حساب Gen2 الممكّن. تتمتع هذه الطبقة بوظائف محدودة وينصح بالتحقق من صحة أحمال العمل باستخدام حسابات الاختبار إذا كنت تستخدم هذا النهج كجزء من الترحيل. تعمل طبقة التوافق على الخادم، لذلك لا يوجد شيء يحتاج إلى تثبيت.
هام
لا توصي Microsoft بهذه الإمكانية كبديل لترحيل أحمال العمل والتطبيقات. سينتهي دعم طبقة التوافق Gen1 عند توقف Gen1 في 29 فبراير 2024.
لمواجهة أقل عدد من المشكلات في طبقة التوافق، تأكد من أن Gen1 SDK تستخدم الإصدارات التالية (أو أعلى).
| اللغة | إصدار SDK |
|---|---|
| NET. | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
الوظيفة التالية غير مدعومة في طبقة التوافق.
خيار واجهة برمجة تطبيقات ListStatus إلى إدخال ListBefore.
إن ListStatus API مع أكثر من 4000 ملف دون رمز استمرار.
ترميز القطع لعمليات الإلحاق.
أي استدعاءات API تستخدم
https://management.azure.com/كجمهور الرمز المميز ل Microsoft Entra.أسماء الملفات أو الأدلة التي تحتوي على مسافات أو علامات تبويب فقط، وتنتهي بـ
.، تحتوي على:، أو بشرطة مائلة للأمام متتالية متعددة (//).
الأسئلة الشائعة
كم من الوقت سيستغرق الترحيل؟
يتم ترحيل البيانات وبيانات التعريف بالتوازي. الوقت الإجمالي المطلوب لإكمال الترحيل يساوي أي من هاتين العمليتين اكتملتا أخيرا.
يوضح الجدول التالي السرعة التقريبية لكل مهمة معالجة ترحيل.
إشعار
هذه التقديرات الزمنية تقريبية ويمكن أن تختلف. على سبيل المثال، يمكن أن يؤدي نسخ عدد كبير من الملفات الصغيرة إلى إبطاء الأداء.
| مهمة المعالجة | السرعة |
|---|---|
| نسخ البيانات | 9 ТБ في الساعة |
| التحقق من صحة البيانات | 9 ملايين ملف أو مجلد في الساعة |
| نسخ بيانات التعريف | 4 ملايين ملف أو مجلد في الساعة |
| معالجة بيانات التعريف | 25 مليون ملف أو مجلد في الساعة |
| معالجة بيانات التعريف الإضافية (خيار نسخ البيانات)1 | 50 مليون ملف أو مجلد في الساعة |
1 ينطبق وقت معالجة بيانات التعريف الإضافي فقط إذا اخترت خيار نسخ البيانات إلى حساب Gen2 جديد. لا ينطبق وقت المعالجة هذا إذا اخترت خيار إكمال الترحيل إلى حساب gen2 جديد.
مثال: معالجة كمية كبيرة من البيانات وبيانات التعريف
يفترض هذا المثال 300 ТБ من البيانات و200 مليون عنصر بيانات وبيانات تعريف.
| مهمة | الوقت المقدر |
|---|---|
| نسخ البيانات | 300 ТБ / 9 ТБ = 33.33 ساعة |
| تحقق من صحة البيانات | 200 مليون / 9 ملايين = 22.22 ساعة |
| إجمالي وقت ترحيل البيانات | 33.33 + 22.2 = 55.55 ساعة |
| نسخ بيانات التعريف | 200 مليون / 4 ملايين = 50 ساعة |
| معالجة بيانات التعريف | 200 مليون / 25 مليون = 8 ساعات |
| معالجة بيانات التعريف الإضافية - خيار نسخ البيانات فقط | 200 مليون / 50 مليون = 4 ساعات |
| إجمالي وقت ترحيل بيانات التعريف | 50 + 8 + 4 = 62 ساعة |
| إجمالي الوقت لإجراء ترحيل البيانات فقط | 62 ساعة |
| إجمالي الوقت لإجراء ترحيل كامل | 62 - 4 = 58 ساعة |
مثال: معالجة كمية صغيرة من البيانات وبيانات التعريف
يفترض هذا المثال أن 2 ТБ من البيانات و56 ألف عنصر بيانات وبيانات تعريف.
| مهمة | الوقت المقدر |
|---|---|
| نسخ البيانات | (2 ТБ / 9 ТБ) * 60 دقيقة = 13.3 دقيقة |
| تحقق من صحة البيانات | (56000 / 9 ملايين) * 3600 ثانية = 22.4 ثانية |
| إجمالي وقت ترحيل البيانات | 13.3 دقيقة + 22.4 ثانية = 14 دقيقة تقريبا |
| نسخ بيانات التعريف | (56000 / 4 ملايين) * 3600 ثانية = حوالي 51 ثانية |
| معالجة بيانات التعريف | 56,000/ 25 مليون = 8 ثوان |
| معالجة بيانات التعريف الإضافية - خيار نسخ البيانات فقط | (56,000 / 50 مليون) * 3,600 ثانية = 4 ثوان |
| إجمالي وقت ترحيل بيانات التعريف | 51 + 8 + 4 = 63 ثانية |
| إجمالي الوقت لإجراء ترحيل البيانات فقط | 14 دقيقة |
| إجمالي الوقت لإجراء ترحيل كامل | 14 دقيقة - 4 ثوان = 13 دقيقة و56 ثانية (حوالي 14 دقيقة) |
كم تبلغ تكلفة ترحيل البيانات؟
لا توجد تكلفة لاستخدام أداة الترحيل المستندة إلى المدخل، ومع ذلك سيتم محاسبتك على استخدام خدمات Azure Data Lake Gen1 وGen2. أثناء ترحيل البيانات، ستتم محاسبتك على تخزين البيانات ومعاملات حساب Gen1.
بعد الترحيل، إذا اخترت الخيار الذي ينسخ البيانات فقط، فستتم محاسبتك على تخزين البيانات والمعاملات لكل من حسابات Azure Data Lake Gen1 وGen2. لتجنب دفع رسوم حساب Gen1، احذف حساب Gen1 بعد تحديث تطبيقاتك للإشارة إلى Gen2. إذا اخترت إجراء ترحيل كامل، فستتم محاسبتك فقط على تخزين البيانات ومعاملات الحساب الممكن ل Gen2.
أثناء تقديم الموافقة، واجهت رسالة الخطأ فشل بدء الترحيل. ماذا علي أن أفعل بعد ذلك؟
تأكد من ترحيل جميع حسابات Azure Data lake Analytics إلى Azure Synapse Analytics أو نظام حساب أساسي آخر مدعوم. بمجرد ترحيل حسابات Azure Data Lake Analytics، أعد محاولة الموافقة. إذا رأيت المشكلة أكثر وكانت لديك خطة دعم، يمكنك تقديم طلب دعم. يمكنك أيضا الحصول على إجابات من خبراء المجتمع في Microsoft Q&A.
بعد اكتمال الترحيل، هل يمكنني العودة إلى استخدام حساب Gen1؟
إذا كنت تستخدم الخيار 1: نسخ البيانات من Gen1 إلى Gen2 المذكور أعلاه، فسيتوفر كل من حسابات Gen1 وGen2 للقراءة والكتابة بعد الترحيل. ومع ذلك، إذا استخدمت الخيار 2: إجراء ترحيل كامل، فإن العودة إلى حساب Gen1 غير مدعومة. في الخيار 2، بعد اكتمال الترحيل، لن يمكن الوصول إلى البيانات الموجودة في حساب Gen1 وسيتم حذفها بعد 30 يوماً. يمكنك الاستمرار في عرض حساب Gen1 في مدخل Microsoft Azure، وعندما تكون مستعداً، يمكنك حذف حساب Gen1.
أرغب في تمكين التخزين الجغرافي المتكرر (GRS) على الحساب الممكن ل Gen2. كيف أفعل ذلك؟
بمجرد اكتمال الترحيل، في كل من خياري "نسخ البيانات" و"إكمال الترحيل"، يمكنك المضي قدما وتغيير خيار التكرار إلى مساحة التخزين الزائدة جغرافيا طالما أنك لا تخطط لاستخدام طبقة توافق التطبيقات. لن يعمل توافق التطبيق على الحسابات التي تستخدم تكرار GRS.
لا يحتوي Gen1 على حاويات و Gen2 يحتوي عليها - ماذا يجب أن أتوقع؟
عندما ننسخ البيانات إلى حسابك الذي يدعم Gen2، نقوم تلقائيا بإنشاء حاوية باسم "Gen1". في Gen2 لا يمكن إعادة تسمية أسماء الحاويات ومن ثم يمكن نسخ بيانات ما بعد الترحيل إلى حاوية جديدة في Gen2 حسب الحاجة.
ما الذي يجب مراعاته من حيث أداء الترحيل؟
عند نسخ البيانات إلى حسابك الذي تم تمكين Gen2 له، هناك عاملان يمكن أن يؤثرا على الأداء هما عدد الملفات وكمية بيانات التعريف لديك. على سبيل المثال، يمكن أن تؤثر العديد من الملفات الصغيرة على أداء الترحيل.
هل سيتم دعم واجهات برمجة تطبيقات نظام ملفات WebHDFS على حساب Gen2 بعد الترحيل؟
سيتم دعم واجهات برمجة تطبيقات نظام ملفات WebHDFS من Gen1 على Gen2 ولكن مع انحرافات معينة، ويتم دعم وظائف محدودة فقط عبر طبقة التوافق. يجب على العملاء التخطيط للاستفادة من واجهات برمجة التطبيقات الخاصة ب Gen2 للحصول على أداء وميزات أفضل.
ماذا يحدث لحساب Gen1 الخاص بي بعد تاريخ الإيقاف؟
يصبح الحساب غير قابل للوصول. لن تتمكن من:
إدارة الحساب
الوصول إلى البيانات في الحساب
تلقي تحديثات الخدمة لواجهات برمجة تطبيقات Gen1 أو Gen1 أو SDKs أو أدوات العميل
الوصول إلى دعم عملاء Gen1 عبر الإنترنت أو عبر الهاتف أو عبر البريد الإلكتروني
راجع الإجراء المطلوب: التبديل إلى Azure Data Lake Storage Gen2 بحلول 29 فبراير 2024.
الخطوات التالية
- تعرف على الهجرة بشكل عام. لمزيد من المعلومات، راجع ترحيل Azure Data Lake Storage من Gen1 إلى Gen2.