استيعاب البيانات في Azure Data Lake Storage Gen2

  • مقالة
  • قراءة خلال 3 دقائق

في هذه المقالة، ستتعرف على كيفية استيعاب البيانات من موقع إلى آخر في حساب تخزين Azure Data Lake Gen 2 (Azure Data Lake Gen 2) باستخدام Azure Synapse Analytics.

المتطلبات الأساسية

  • اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فقم بإنشاء حساب Azure مجاني قبل البدء.
  • حساب Azure Storage: يمكنك استخدام Azure Data Lake Gen 2 كمخزن بيانات مصدر . إذا لم يكن لديك حساب تخزين، فراجع إنشاء حساب تخزين Azure للحصول على خطوات لإنشاء حساب.

إنشاء linked services

في Azure Synapse Analytics، تعد الخدمة المرتبطة هي المكان الذي تحدد فيه معلومات الاتصال بالخدمات الأخرى. في هذا القسم، ستضيف Azure Synapse Analytics وAzure Data Lake Gen 2 كخدمات مرتبطة.

  1. افتح تجربة مستخدم Azure Synapse Analytics وانتقل إلى علامة التبويب إدارة .
  2. ضمن External connections، حدد Linked services.
  3. لإضافة خدمة مرتبطة، حدد New.
  4. حدد لوحة Azure Data Lake Storage Gen2 من القائمة وحدد Continue.
  5. أدخل بيانات اعتماد المصادقة. مفتاح الحساب وأصل الخدمة والهوية المدارة هي أنواع مصادقة مدعومة حاليا. حدد اختبار الاتصال للتحقق من صحة بيانات الاعتماد.
  6. حدد إنشاء عند الانتهاء.

إنشاء مسار تدفق

تحتوي التدفقات على التدفق المنطقي لتنفيذ مجموعة من الأنشطة. في هذا القسم، ستقوم بإنشاء خط أنابيب يحتوي على نشاط نسخ يستوعب البيانات من Azure Data Lake Gen 2 في تجمع SQL مخصص.

  1. انتقل إلى علامة التبويب تنسيق . حدد أيقونة علامة الجمع بجوار رأس خطوط الأنابيب وحدد خط الأنابيب.
  2. ضمن نقل وتحويل في جزء الأنشطة، اسحب نسخ البيانات إلى لوحة خط الأنابيب.
  3. حدد نشاط النسخ وانتقل إلى علامة التبويب المصدر . حدد جديد لإنشاء مجموعة بيانات مصدر جديدة.
  4. حدد Azure Data Lake Storage Gen2 كمخزن للبيانات وحدد متابعة.
  5. حدد DelimitedText كتنسيقك وحدد متابعة.
  6. في جزء خصائص المجموعة، حدد الخدمة المرتبطة ADLS التي قمت بإنشائها. حدد مسار ملف بيانات المصدر وحدد ما إذا كان الصف الأول يحتوي على رأس أم لا. يمكنك استيراد المخطط من مخزن الملفات أو نموذج ملف. حدد OK عند الانتهاء.
  7. انتقل إلى علامة تبويب Sink. حدد New لإنشاء مجموعة بيانات متلقي جديدة.
  8. حدد Azure Data Lake Storage gen2 كمخزن للبيانات وحدد متابعة.
  9. حدد DelimitedText كتنسيقك وحدد متابعة.
  10. في جزء خصائص المجموعة، حدد الخدمة المرتبطة ADLS التي قمت بإنشائها. حدد مسار المجلد الذي ترغب في كتابة البيانات فيه. حدد OK عند الانتهاء.

تصحيح الأخطاء ونشر خط الأنابيب

بمجرد الانتهاء من تكوين التدفقات الخاص بك، يمكنك تنفيذ تشغيل تصحيح الأخطاء قبل نشر القطع الأثرية الخاصة بك للتحقق من صحة كل شيء.

  1. لتصحيح أخطاء التدفقات، حدد Debug على شريط الأدوات. تشاهد حالة تشغيل البنية الأساسية في علامة التبويب ⁧⁩Output⁧⁩ أسفل النافذة.
  2. بمجرد تشغيل خط الأنابيب بنجاح، في شريط الأدوات العلوي، حدد نشر الكل. ينشر هذا الإجراء الكيانات (مجموعات البيانات والتدفقات) التي أنشأتها لخدمة Synapse Analytics.
  3. انتظر حتى ترى رسالة تم النشر بنجاح. لمشاهدة رسائل الإشعارات، حدد زر الجرس في الجزء الأيمن العلوي.

تشغيل ومراقبة التدفقات

في هذه الخطوة، يمكنك تشغيل خط الأنابيب المنشور يدويا في الخطوة السابقة.

  1. حدد Add Trigger على شريط الأدوات، ثم حدد Trigger Now. في الصفحة تشغيل خط الأنابيب ، حدد إنهاء.
  2. انتقل إلى علامة التبويب Monitor الموجودة في الشريط الجانبي الأيسر. ترى تشغيل البنية الأساسية الذي يتم تشغيله بواسطة مشغل يدوي. يمكنك استخدام الروابط الموجودة في عمود Actions لعرض تفاصيل النشاط وإعادة تشغيل خط التدفق.
  3. للاطلاع على عمليات تشغيل النشاط المقترنة بتشغيل خط الأنابيب، حدد الارتباط عرض عمليات تشغيل النشاط في عمود الإجراءات . لا يوجد في هذا المثال سوى نشاط واحد، لذلك لن ترى سوى إدخال واحد في القائمة. للحصول على تفاصيل حول عملية النسخ، حدد رابط التفاصيل (أيقونة النظارات) في عمود الإجراءات . حدد تشغيل خط الأنابيب في الجزء العلوي للعودة إلى طريقة العرض عمليات تشغيل خط الأنابيب. لإعادة تنشيط طريقة العرض، حدد Refresh.
  4. تحقق من أن بياناتك مكتوبة بشكل صحيح في مجموعة SQL المخصصة.

الخطوات التالية

لمزيد من المعلومات حول تكامل البيانات ل Azure Synapse Analytics، راجع مقالة استيعاب البيانات في تجمع SQL مخصص.