ترحيل Azure Data Lake Analytics إلى Azure Synapse Analytics
سيتم إيقاف Azure Data Lake Analytics في 29 فبراير 2024. تعرف على المزيد من خلال هذا الإعلان.
إذا كنت تستخدم Azure Data Lake Analytics بالفعل، يمكنك إنشاء خطة ترحيل إلى Azure Synapse Analytics لمؤسستك.
أطلقت Microsoft Azure Synapse Analytics التي تهدف إلى جمع كل من مستودعات البيانات ومستودع البيانات معا للحصول على تجربة فريدة من نوعها لتحليل البيانات الضخمة. سيساعدك على جمع بياناتك وتحليلها لحل عدم كفاءة البيانات، ومساعدة فرقك على العمل معا. علاوة على ذلك، سيسمح تكامل Synapse مع التعلم الآلي من Microsoft Azure وPower BI بالقدرة المحسنة للمؤسسات على الحصول على رؤى من بياناتها وتنفيذ التعلم الآلي لجميع تطبيقاتها الذكية.
يوضح لك المستند كيفية إجراء الترحيل من Azure Data Lake Analytics إلى Azure Synapse Analytics.
النهج المُستحسن
- الخطوة 1: تقييم الجاهزية
- الخطوة 2: الاستعداد للترحيل
- الخطوة 3: ترحيل البيانات وأحمال عمل التطبيق
- الخطوة 4: الانتقال من Azure Data Lake Analytics إلى Azure Synapse Analytics
الخطوة 1: تقييم الجاهزية
انظر إلى Apache Spark على Azure Synapse Analytics، وافهم الاختلافات الرئيسية في Azure Data Lake Analytics وSpark على Azure Synapse Analytics.
Item Azure Data Lake Analytics Spark على Synapse التسعير لكل ساعة وحدة تحليلية لكل ساعة vCore محرك Azure Data Lake Analytics Apache Spark لغة البرمجة الافتراضية U-SQL T-SQL وPython وSc scala وSpark SQL و.NET مصادر البيانات Azure Data Lake Storage Gen2 Azure Blob Storage، Azure Data Lake Storage راجع الاستبيان لتقييم الترحيل وأدرج تلك المخاطر المحتملة للنظر فيها.
الخطوة 2: الاستعداد للترحيل
حدد الوظائف والبيانات التي ستقوم بترحيلها.
- اغتنم هذه الفرصة لتنظيف تلك الوظائف التي لم تعد تستخدمها. ما لم تكن تخطط لترحيل جميع وظائفك في وقت واحد، خذ هذا الوقت لتحديد المجموعات المنطقية من الوظائف التي يمكنك ترحيلها على مراحل.
- تقييم حجم البيانات وفهم تنسيق بيانات Apache Spark. راجع البرامج النصية U-SQL وقم بتقييم جهود إعادة كتابة البرامج النصية وفهم مفهوم التعليمات البرمجية Apache Spark.
حدد التأثير الذي سيُحدثه الترحيل على عملك. على سبيل المثال، ما إذا كان يمكنك تحمل أي وقت تعطل أثناء إجراء الترحيل.
إنشاء خطة ترحيل.
الخطوة 3: ترحيل البيانات وعبء عمل التطبيق
ترحيل بياناتك من Azure Data Lake Storage Gen1 إلى Azure Data Lake Storage Gen2.
Azure Data Lake Storage سيتم إيقاف Gen1 في فبراير 2024، راجع الإعلان الرسمي. نقترح ترحيل البيانات إلى Gen2 في المقام الأول. راجع فهم تنسيقات بيانات Apache Spark لمطوري Azure Data Lake Analytics U-SQL ونقل كل من الملف والبيانات المخزنة في جداول U-SQL لجعلها قابلة للوصول إلى Azure Synapse Analytics. يمكن العثور على مزيد من التفاصيل حول دليل الترحيل هنا.تحويل البرامج النصية U-SQL إلى Spark. راجع فهم مفاهيم التعليمات البرمجية Apache Spark لمطوري Azure Data Lake Analytics U-SQL لتحويل البرامج النصية U-SQL إلى Spark.
تحويل أو إعادة إنشاء مسارات تنسيق الوظيفة إلى برنامج Spark جديد.
الخطوة 4: الانتقال من Azure Data Lake Analytics إلى Azure Synapse Analytics
بعد أن تكون واثقا من أن تطبيقاتك وأحمال العمل الخاصة بك مستقرة، يمكنك البدء في استخدام Azure Synapse Analytics لتلبية سيناريوهات عملك. قم بإيقاف تشغيل أي مسارات متبقية تعمل على Azure Data Lake Analytics وإيقاف حسابات Azure Data Lake Analytics.
استبيان لتقييم الترحيل
| الفئة | أسئلة | المرجع |
|---|---|---|
| تقييم حجم الترحيل | كم عدد حسابات Azure Data Lake Analytics لديك؟ كم عدد المسارات قيد الاستخدام؟ كم عدد البرامج النصية U-SQL قيد الاستخدام؟ | كلما زاد عدد البيانات والبرامج النصية التي سيتم ترحيلها، زاد استخدام UDO/UDF في البرامج النصية، زادت صعوبة الترحيل. يجب التخطيط جيدا للوقت والموارد المطلوبة للترحيل وفقا لحجم المشروع. |
| مصدر البيانات | ما هو حجم مصدر البيانات؟ ما أنواع تنسيق البيانات للمعالجة؟ | فهم تنسيقات بيانات Apache Spark لمطوري Azure Data Lake Analytics U-SQL |
| إخراج البيانات | هل ستحتفظ ببيانات الإخراج لاستخدامها لاحقا؟ إذا تم حفظ بيانات الإخراج في جداول U-SQL، فكيف تتعامل معها؟ | إذا كان سيتم استخدام بيانات الإخراج غالبا وحفظها في جداول U-SQL، فأنت بحاجة إلى تغيير البرامج النصية وتغيير بيانات الإخراج إلى تنسيق البيانات المدعوم من Spark. |
| ترحيل البيانات | هل قمت بإجراء خطة ترحيل التخزين؟ | ترحيل Azure Data Lake Storage من Gen1 إلى Gen2 |
| تحويل البرامج النصية U-SQL | هل تستخدم UDO/UDF (.NET، python، وما إلى ذلك)؟ إذا كانت الإجابة أعلاه هي نعم، فما هي اللغة التي تستخدمها في UDO/UDF وأي مشكلات للتحويل أثناء التحويل؟ هل يتم استخدام الاستعلام الموحد في U-SQL؟ | فهم مفاهيم التعليمات البرمجية Apache Spark لمطوري Azure Data Lake Analytics U-SQL |