التقاط البيانات التي تم تغييرها من Azure Data Lake Storage Gen2 إلى قاعدة بيانات Azure SQL باستخدام مورد التقاط بيانات التغيير

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

في هذه المقالة، يمكنك استخدام واجهة مستخدم Azure Data Factory لإنشاء مورد التقاط بيانات التغيير (CDC). يلتقط المورد البيانات التي تم تغييرها من مصدر Azure Data Lake Storage Gen2 ويضيفها إلى قاعدة بيانات Azure SQL في الوقت الفعلي.

في هذه المقالة، ستتعرف على كيفية:

  • إنشاء مورد CDC.
  • مراقبة نشاط التقاط بيانات التغيير.

يمكنك تعديل نمط التكوين وتوسيعه في هذه المقالة.

المتطلبات الأساسية

قبل أن تبدأ الإجراءات الواردة في هذه المقالة، تأكد من أن لديك هذه الموارد:

  • اشتراك Azure. إذا لم يكن لديك اشتراك في Azure، يمكنك إنشاء حساب Azure مجاني.
  • قاعدة بيانات SQL. يمكنك استخدام قاعدة بيانات Azure SQL كمخزن بيانات مصدر. إذا لم يكن لديك قاعدة بيانات SQL، فبادر بإنشاء قاعدة بيانات في مدخل Microsoft Azure.
  • حساب التخزين. يمكنك استخدام Delta Lake المخزنة في Azure Data Lake Storage Gen2 كمخزن بيانات مستهدف. إذا لم يكن لديك حساب تخزين، فشاهد إنشاء حساب تخزين للاطلاع على خطوات إنشاء حساب.

إنشاء أداة التقاط بيانات التغيير

  1. انتقل إلى جزء Author في مصنع البيانات. أسفل البنية الأساسية لبرنامج ربط العمليات التجارية، تظهر أداة جديدة من المستوى الأعلى تسمى Change Data Capture (preview).

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. مرر مؤشر الماوس فوق Change Data Capture (preview) حتى تظهر ثلاث نقاط. ثم حدد تغيير إجراءات التقاط البيانات (معاينة).

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. حدد New CDC (preview). تفتح هذه الخطوة قائمة منبثقة لبدء العملية الإرشادية.

    Screenshot of a list of change data capture actions.

  4. تتم مطالبتك بتسمية مورد التقاط بيانات التغيير. بشكل افتراضي، الاسم هو "adfcdc" مع رقم يتزايد بمقدار 1. يمكنك استبدال هذا الاسم الافتراضي باسم تختاره.

    Screenshot of the text box to update the name of a resource.

  5. استخدم القائمة المنسدلة لاختيار مصدر البيانات. لهذه المقالة، حدد DelimitedText.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. تتم مطالبتك بتحديد خدمة مرتبطة. إنشاء خدمة مرتبطة جديدة أو تحديد خدمة موجودة.

    Screenshot of the box to choose or create a linked service.

  7. استخدم منطقة إعدادات المصدر لتعيين تكوينات المصدر المتقدمة اختياريا، بما في ذلك محددات الأعمدة والصفوف.

    Screenshot of advanced source settings to set delimiters.

    إذا لم تقم بتحرير إعدادات المصدر هذه يدويا، فسيتم تعيينها إلى الإعدادات الافتراضية.

  8. استخدم الزر استعراض لتحديد مجلد البيانات المصدر.

    Screenshot of a folder icon to browse for a folder path.

  9. بعد تحديد مسار مجلد، حدد متابعة لتعيين هدف البيانات.

    Screenshot of the Continue button in the guided process to select data targets.

    يمكنك اختيار إضافة مجلدات مصدر متعددة باستخدام زر الجمع (+). يجب أن تستخدم المصادر الأخرى أيضا نفس الخدمة المرتبطة التي حددتها بالفعل.

  10. حدد قيمة Target type باستخدام القائمة المنسدلة. لهذه المقالة، حدد Azure SQL Database.

    Screenshot of a dropdown menu of all data target types.

  11. تتم مطالبتك بتحديد خدمة مرتبطة. إنشاء خدمة مرتبطة جديدة أو تحديد خدمة موجودة.

    Screenshot of the box to choose or create a linked service to your data target.

  12. بالنسبة للجداول الهدف، يمكنك إنشاء جدول هدف جديد أو تحديد جدول موجود:

    • لإنشاء جدول هدف، حدد علامة التبويب كيانات جديدة، ثم حدد تحرير جداول جديدة.

      Screenshot of the tab to create new tables for your target.

    • لتحديد جدول موجود، حدد علامة التبويب الكيانات الموجودة، ثم استخدم خانة الاختيار لاختيار جدول. استخدم الزر معاينة لعرض بيانات الجدول.

      Screenshot of the tab to choose tables for your target.

    إذا كانت الجداول الموجودة في الهدف تحتوي على أسماء مطابقة، يتم تحديدها بشكل افتراضي ضمن الكيانات الموجودة. إذا لم يكن الأمر كما هو، يتم إنشاء جداول جديدة بأسماء مطابقة ضمن كيانات جديدة. بالإضافة إلى ذلك، يمكنك تحرير جداول جديدة باستخدام الزر تحرير جداول جديدة.

  13. يمكنك استخدام خانات الاختيار لاختيار جداول هدف متعددة من قاعدة بيانات SQL. بعد الانتهاء من اختيار الجداول الهدف، حدد متابعة.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  14. تظهر علامة تبويب جديدة لالتقاط بيانات التغيير. علامة التبويب هذه هي استوديو التقاط بيانات التغيير، حيث يمكنك تكوين المورد الجديد.

    Screenshot of the change data capture studio.

    يتم إنشاء تعيين جديد تلقائيا لك. يمكنك تحديث تحديدات الجدول المصدر والجدول الهدف لتعيينك باستخدام القوائم المنسدلة.

    Screenshot of the source-to-target mapping in the change data capture studio.

  15. بعد تحديد الجداول، يتم تعيين أعمدةها بشكل افتراضي مع تشغيل تبديل الخريطة التلقائية. يعين التعيين التلقائي الأعمدة تلقائيا حسب الاسم في المتلقي، ويلتقط تغييرات العمود الجديدة عند تطور مخطط المصدر، ويتدفق هذه المعلومات إلى أنواع المتلقي المدعومة.

    إذا كنت تريد استخدام التعيين التلقائي وعدم تغيير أي تعيينات أعمدة، فانتقل مباشرة إلى الخطوة 18.

    Screenshot of the toggle for automatic mapping turned on.

    إذا كنت تريد تمكين تعيينات الأعمدة، فحدد التعيينات وقم بإيقاف تشغيل تبديل التعيين التلقائي. ثم حدد الزر Column mappings لعرض التعيينات.

    Screenshot of mapping selection, the toggle for automatic mapping turned off, and the button for column mappings.

    يمكنك التبديل مرة أخرى إلى التعيين التلقائي في أي وقت عن طريق تشغيل تبديل الخريطة التلقائية.

  16. عرض تعيينات الأعمدة. استخدم القوائم المنسدلة لتحرير تعيينات الأعمدة لأسلوب التعيين وعمود المصدر والعمود الهدف.

    Screenshot of the page for editing column mappings.

    من هذه الصفحة، يمكنك:

    • أضف المزيد من تعيينات الأعمدة باستخدام الزر تعيين جديد. استخدم القوائم المنسدلة لإجراء تحديدات لأسلوب التعيين وعمود المصدر والعمود الهدف.
    • حدد عمود Keys إذا كنت تريد تعقب عملية الحذف لنوع المتلقي المدعوم.
    • حدد الزر Refresh ضمن Data preview لتصور كيفية ظهور البيانات في الهدف.

    Screenshot of the button for adding column mappings, the dropdown list for mapping methods, the Keys column, and the Refresh button.

  17. عند اكتمال التعيين، حدد زر السهم للعودة إلى لوحة التقاط بيانات التغيير الرئيسية.

    Screenshot of the button to go back to the table mapping page.

  18. يمكنك إضافة المزيد من التعيينات من مصدر إلى هدف في عنصر CDC واحد. استخدم الزر تحرير لإضافة المزيد من مصادر البيانات والأهداف. ثم حدد تعيين جديد واستخدم القوائم المنسدلة لتعيين مصدر وهدف جديدين. يمكنك تشغيل التعيين التلقائي أو إيقاف تشغيله لكل تعيين من هذه التعيينات بشكل مستقل.

    Screenshot of the button to add new sources and the button to set a new source-to-target mapping.

  19. بعد اكتمال التعيينات، قم بتعيين زمن انتقال التقاط بيانات التغيير باستخدام الزر تعيين زمن الانتقال .

    Screenshot of the Set Latency button at the top of the canvas.

  20. حدد زمن انتقال التقاط بيانات التغيير، ثم حدد تطبيق لإجراء التغييرات.

    بشكل افتراضي، يتم تعيين زمن الانتقال إلى 15 دقيقة. يستخدم المثال في هذه المقالة خيار الوقت الحقيقي لزمن الانتقال. يلتقط زمن الانتقال في الوقت الحقيقي باستمرار التغييرات في بيانات المصدر على فترات أقل من دقيقة واحدة.

    بالنسبة لأزمنة الانتقال الأخرى (على سبيل المثال، إذا حددت 15 دقيقة)، فسيعالج التقاط بيانات التغيير بيانات المصدر ويلتقط أي بيانات تم تغييرها منذ آخر وقت تمت معالجته.

    Screenshot of the options for setting latency.

    إشعار

    إذا تم توسيع الدعم لتكامل البيانات المتدفقة (Azure Event Hubs ومصادر بيانات Kafka)، فسيتم تعيين زمن الانتقال إلى الوقت الحقيقي بشكل افتراضي.

  21. بعد الانتهاء من تكوين التقاط بيانات التغيير، حدد نشر الكل لنشر التغييرات.

    Screenshot of the publish button at the top of the canvas.

    إشعار

    إذا لم تنشر التغييرات، فلن تتمكن من بدء تشغيل مورد التقاط بيانات التغيير. لن يتوفر زر البدء في الخطوة التالية.

  22. حدد البدء لبدء تشغيل التقاط بيانات التغيير.

    Screenshot of the Start button at the top of the canvas.

مراقبة التقاط بيانات التغيير

  1. افتح جزء Monitor باستخدام أي من هذه الطرق:

    • حدد Monitor في مدخل Microsoft Azure.

      Screenshot of the Monitor button in the Azure portal.

    • حدد أيقونة المراقبة من مصمم التقاط بيانات التغيير.

      Screenshot of the monitoring icon at the top of the CDC canvas.

  2. حدد تغيير التقاط البيانات (معاينة) لعرض موارد التقاط بيانات التغيير.

    Screenshot of the Change Data Capture button.

    يعرض جزء Change Data Capture المعلومات المصدر والهدف والحالة وآخر معلومات تمت معالجتها لتسجيل بيانات التغيير.

    Screenshot of an overview of the change data capture monitoring page.

  3. حدد اسم التقاط بيانات التغيير للاطلاع على مزيد من التفاصيل. يمكنك معرفة عدد التغييرات (الإدراج أو التحديث أو الحذف) التي تمت قراءتها وكتابتها، بالإضافة إلى معلومات تشخيصية أخرى.

    Screenshot of the detailed monitoring of a selected change data capture.

    إذا قمت بإعداد تعيينات متعددة في التقاط بيانات التغيير، يظهر كل تعيين بلون مختلف. حدد الشريط للاطلاع على تفاصيل محددة لكل تعيين، أو استخدم معلومات التشخيص في أسفل الجزء.

    Screenshot of the detailed monitoring information for a change data capture with multiple source-to-target mappings.

    Screenshot of a detailed breakdown of each mapping in a change data capture artifact.

المحتوى ذو الصلة