نسخ البيانات من Azure Blob storage إلى SQL Database باستخدام أداة نسخ البيانات

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

يمكنك في هذا التشغيل السريع استخدام مدخل Azure لإنشاء مصنع بيانات. ثم يمكنك استخدام أداة نسخ البيانات إنشاء بنية أساسية تقوم بنسخ البيانات من Azure Blob storage إلىSQL Database.

إشعار

إذا كنت جديداً في استخدام Azure Data Factory، فراجع مقدمة لـ Azure Data Factory.

في هذا البرنامج التعليمي، يمكنك تنفيذ الخطوات التالية:

  • إنشاء data factory.
  • استخدام أداة Copy Data لإنشاء مسار.
  • مراقبة تشغيل التدفق والنشاط.

المتطلبات الأساسية

  • اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فأنشئ حسابمجاني قبل أن تبدأ.
  • حساب Azure Storage : استخدام Azure Storage كمخزن بيانات المصدر. إذا لم يكن لديك حسابAzure Storage، فراجع الإرشادات الموجودة في إنشاء حساب تخزين.
  • Azure SQL Database: استخدم Azure SQL Database كمخزن بيانات المصدر. إذا لم يكن لديك Azure SQL Database، فراجع الإرشادات الموجودة في إنشاء Azure SQL Database.

إعداد قاعدة بيانات SQL

السماح لخدمات Azure بالوصول إلى SQL Server المنطقي لقاعدة بيانات Azure SQL.

  1. تحقق من تمكين الإعداد السماح لـAzure services and resources بالوصول إلى هذا الخادم الخادم الخاص بك الذي يقوم بتشغيل قاعدة بيانات SQL. يتيح هذا الإعداد لـData Factory بكتابة بيانات لمثيل قاعدة البيانات الخاصة بك. للتحقق من هذا الإعداد وتشغيله، انتقل إلى خادم SQL المنطقي > Security > Firewalls and virtual networks > واضبط الخيار Allow Azure services and resources to access this server على ON.

    إشعار

    يتيح خيار السماح لAzure services and resources بالوصول إلى هذا الخادم يمكن وصول الشبكة إلى SQL Server الخاص بك من أيAzure resource، وليس فقط تلك الموجودة في اشتراكك. قد لا يكون مناسبا لجميع البيئات، ولكنه مناسب لهذا البرنامج التعليمي المحدود. لمزيد من المعلومات، راجع قواعد جدار حماية azure SQL Server. بدلاً من ذلك، يمكنك استخدام نقاط النهاية الخاصة للاتصال بAzure PaaS services دون استخدام IPs عامة.

إنشاء كائن ثنائي كبير الحجم وجدول SQL

قم بإعدادBlob storage وSQL Database الخاصة بك من أجل البرنامج التعليمي من خلال تنفيذ هذه الخطوات.

قم بإنشاء نقطة مصدر

  1. قم بإطلاق Notepad. قم بنسخ النص التالي وحفظه في ملف اسمه inputEmp.txt على القرص:

    FirstName|LastName
John|Doe
Jane|Doe

  2. قم بإنشاء حاوية تسمى adfv2tutorial وحمل ملف inputEmp.txt إلى الحاوية. يمكنك استخدام مدخل Microsoft Azure أو أدوات مختلفة مثل Azure Storage Explorer لتنفيذ هذه المهام.

إنشاء جدولsink SQL

  1. استخدم البرنامج النصي SQL التالي لإنشاء جدول مسمى dbo.emp في قاعدة بيانات SQL:

    CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

إنشاء مصدرًا للبيانات

  1. في القائمة اليسرى، حدد Create a resource >Integration>Data Factory:

    Screenshot of the New data factory creation.

  2. في صفحة New data factory، أدخِل ADFTutorialDataFactory في خانة Name.

    يجب أن يكون اسم مصنع البيانات الخاص بك فريداً عالمياً. قد تتلقى رسالة الخطأ التالية:

    Screenshot of the New data factory error message for duplicate name.

    إذا تلقيت رسالة خطأ حول قيمة الاسم، فأدخل اسماً مختلفاً لمصنع البيانات. على سبيل المثال، استخدم الاسم yournameADFTutorialDataFactory. للحصول على قواعد التسمية لData Factory artifacts، راجع قواعد تسمية مصنع البيانات.

  3. حدد اشتراك Azure لإنشاء مصنع بيانات جديد.

  4. بالنسبة إلى مجموعة الموارد، نفِّذ إحدى الخطوات التالية:

    أ. حدد Use existing واختر مجموعة موارد موجودة من القائمة المنسدلة.

    ب. حدد Create new وأدخل اسم مجموعة الموارد.

    للتعرف على مجموعات الموارد، راجع استخدام مجموعات الموارد لإدارة موارد Azure التابعة لك.

  5. ضمن الإصدار، حدد V2 للإصدار.

  6. ضمن location، حدد موقع مصنع البيانات. يتم عرض المواقع المعتمدة فقط في القائمة المنسدلة. يمكن أن تكون مخازن البيانات (على سبيل المثال،Azure Storage وSQL Database) والحسابات (على سبيل المثال، Azure HDInsight) التي يستخدمها مصنع البيانات الخاص بك في مواقع ومناطق أخرى.

  7. حدد إنشاء.

  8. بعد الانتهاء من الإنشاء، يتم عرض الصفحة الرئيسية لData Factory.

    Screenshot of the Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  9. لبدء تشغيل واجهة مستخدم مصنع بيانات Azure (UI) في علامة تبويب منفصلة، حدد Open على الإطار المتجانب لـOpen Azure Data Factory Studio.

استخدام أداة Copy Data لإنشاء مسار

  1. في الصفحة الرئيسية لAzure Data Factory حدد الإطار المتجانب Ingest لبدء تشغيل أداة نسخ البيانات.

    Screenshot that shows the Azure Data Factory home page.

  2. في صفحة Properties أداة Copy Data، اختر Built-in copy task الموجودة أسفل Task typeثم حدد Next.

    Screenshot that shows the Properties page.

  3. في صفحة Source data store، أكمل الخطوات التالية:

    أ. انقر فوق + Create new connection لإضافة اتصال.

    ب. حدد Azure Blob Storage من المعرض، ثم حدد Continue.

    ج. في صفحة New connection (Azure Blob Storage)، حدد اشتراك Azure من قائمة Azure subscription، وحدد حساب التخزين الخاص بك من قائمة Storage account name. اختبر الاتصال ثم حدد إنشاء.

    د. حدد الخدمة المرتبطة المنشأة حديثا كمصدر في كتلة الاتصال.

    هـ. في قسم File or folder، حدد Browse للانتقال إلى مجلد adfv2tutorial وحدد ملف inputEmp.txt ثم انقر فوق OK.

    و. حدد Next للانتقال إلى الخطوة التالية.

    Screenshot of the page to Configure the source.

  4. في صفحة File format settings، قم بتمكين خانة الاختيار للصف الأول كرأس. قم بملاحظة أن الأداة تقوم تلقائياً بالكشف عن محددات الأعمدة والصفوف، ويمكنك معاينة البيانات وعرض مخطط بيانات الإدخال عن طريق تحديد معاينة زر البيانات في هذه الصفحة. ثم حدد التالي.

    Screenshot of the File format settings.

  5. في صفحة Destination data store، أكمل الخطوات التالية:

    أ. انقر فوق + Create new connection لإضافة اتصال.

    ب. حدد Azure SQL Database من المعرض، ثم حدد Continue.

    ج. في صفحة New connection (Azure SQL Database)، حدد اشتراك Azure واسم الخادم واسم قاعدة البيانات من القائمة المنسدلة. ثم حدد SQL authentication ضمن Authentication type، حدد اسم المستخدم وكلمة المرور. اختبر الاتصال ثم حدد Create.

    Screenshot of the Configure Azure SQL Database page.

    د. حدد الخدمة المرتبطة المنشأة حديثا كsink، ثم حدد Next.

  6. في صفحة مخزن بيانات الوجهة، حدد استخدام الجدول الموجود وحدد dbo.emp الجدول. ثم حدد التالي.

  7. في صفحة Column mapping لاحظ أنه يتم تعيين العمودين الثاني والثالث في ملف الإدخال إلى عمودينFirstName وLastName من جدول emp. قم بضبط التعيين للتأكد من عدم وجود خطأ، ثم حدد Next.

    Screenshot of the column mapping page.

  8. في صفحة Settings، ضمن Task name، أدخل CopyFromBlobToSqlPipeline، ثم حدد Next.

    Screenshot of the settings.

  9. في صفحة الملخص، راجع الإعدادات، ثم حدد Next.

  10. في صفحة Deployment، حدد Monitor لمراقبة المسار الذي أنشأته (مهمة).

    Screenshot of Monitoring the pipeline.

  11. في صفحةPipeline runs حدد Refresh لتحديث القائمة. حدد الرابط الموجود ضمن Pipeline name لعرض تفاصيل تشغيل النشاط أو إعادة تشغيل المسار.

    Screenshot of the Pipeline run.

  12. في صفحة"Activity runs"، حدد رابط Details (أيقونة النظارات) أسفل عمود Activity name للحصول على مزيدٍ من التفاصيل حول عملية النسخ. للعودة إلى عرض "Pipeline runs"، حدد الرابط All pipeline runs في قائمة breadcrumb. لإعادة تنشيط طريقة العرض، حدد Refresh.

    Screenshot of monitoring activity runs.

  13. تحقق من إدراج البيانات في جدول dbo.emp في SQL Database الخاصة بك.

  14. حدد علامة تبويب Author على اليسار للتبديل إلى وضع المحرر. يمكنك تحديث الخدمات المرتبطة ومجموعات البيانات وبنيات الأساسية التي تم إنشاؤها عبر الأداة باستخدام المحرر. للحصول على تفاصيل حول تحرير هذه الكيانات في Data Factory UI، راجع إصدار مدخل Microsoft Azure من هذا البرنامج التعليمي.

    Screenshot of the Select Author tab.

المحتوى ذو الصلة

البنية الأساسية في هذا النموذج تنسخ البيانات من Blob storage إلى قاعدة SQL Database. لقد تعرفت على كيفية:

  • إنشاء data factory.
  • استخدام أداة Copy Data لإنشاء مسار.
  • مراقبة تشغيل التدفق والنشاط.

تقدم إلى البرنامج التعليمي التالي لمعرفة كيفية نسخ البيانات من الموقع إلى السحابة:

نسخ البيانات من الموقع المحلي إلى السحابة