Share via

نظرة عامة وبنية قدرات SAP CDC

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

تعرف على قدرات التقاط بيانات تغيير SAP (CDC) في Azure Data Factory وفهم البنية.

Azure Data Factory هو منصة تكامل بيانات ETL وELT كخدمة (PaaS). لتكامل بيانات SAP، يوفر Data Factory حاليًا ستة موصلات توفر عامة:

Screenshot of the six general availability connectors for SAP systems in Data Factory.

احتياجات استخراج البيانات

تستخرج موصلات SAP في Data Factory بيانات مصدر SAP على دفعات فقط. تعالج كل دفعة البيانات الموجودة والجديدة بنفس الطريقة. في استخراج البيانات في وضع الدفعة، لا يتم تحديد التغييرات بين مجموعات البيانات الحالية والجديدة. هذا النوع من وضع الاستخراج ليس مثاليًا عندما يكون لديك مجموعات بيانات كبيرة مثل الجداول التي تحتوي على ملايين أو مليارات السجلات التي تتغير في كثير من الأحيان.

يمكنك الاحتفاظ بنسختك من بيانات SAP حديثة ومحدثة عن طريق استخراج مجموعة البيانات الكاملة بشكل متكرر، ولكن هذا النهج مكلف وغير فعال. يمكنك أيضًا استخدام حل بديل يدوي محدود لاستخراج السجلات الجديدة أو المحدثة في الغالب. في عملية تسمى العلامة المائية، يتطلب الاستخراج استخدام عمود طابع زمني، وزيادة القيم بشكل رتيب، وتتبع أعلى قيمة باستمرار منذ الاستخراج الأخير. ولكن لا تحتوي بعض الجداول على عمود يمكنك استخدامه للعلامات المائية. لا تحدد هذه العملية أيضا سجلاً محذوفًا كتغير في مجموعة البيانات.

قدرات SAP CDC

يشير عملاء Microsoft إلى أنهم بحاجة إلى موصل يمكنه استخراج دلتا فقط بين مجموعتين من البيانات. في البيانات، دلتا هي أي تغيير في مجموعة بيانات نتيجة تحديث أو إدراج أو حذف في مجموعة البيانات. يستخدم موصل استخراج دلتا ميزة التقاط بيانات تغيير SAP (CDC) الموجودة في معظم أنظمة SAP لتحديد دلتا في مجموعة بيانات. تستخدم قدرات SAP CDC في Data Factory إطار عمل SAP Operational Data Provisioning (ODP) لنسخ دلتا نسخا متماثلا في مجموعة بيانات مصدر SAP.

توفر هذه المقالة بنية عالية المستوى لقدرات SAP CDC في Azure Data Factory. احصل على مزيد من المعلومات حول قدرات SAP CDC:

كيفية استخدام قدرات SAP CDC

موصل SAP CDC هو جوهر قدرات SAP CDC. يمكنه الاتصال بجميع أنظمة SAP التي تدعم ODP، والتي تتضمن SAP ECC وSAP S/4HANA وSAP BW وSAP BW/4HANA. الحل يعمل إما مباشرة في طبقة التطبيق أو بشكل غير مباشر عبر SAP Landscape Transformation Replication Server (SLT) كوكيل. لا يعتمد على العلامات المائية لاستخراج بيانات SAP إما بشكل كامل أو تزايدي. تتضمن البيانات التي يستخرجها موصل SAP CDC ليس فقط الجداول الفعلية ولكن أيضا الكائنات المنطقية التي يتم إنشاؤها باستخدام الجداول. مثال على عنصر يستند إلى جدول هو طريقة عرض SAP Advanced Business Application Programming (ABAP) Core Data Services (CDS).

استخدم موصل SAP CDC مع ميزات Data Factory مثل تعيين أنشطة تدفق البيانات ومشغلات النافذة الهابطة لحل النسخ المتماثل ل SAP CDC ذي زمن انتقال منخفض في البنية الأساسية لبرنامج ربط العمليات التجارية المدارة ذاتيا.

بنية SAP CDC

حل SAP CDC في Azure Data Factory هو موصل بين SAP وAzure. جانب SAP يتضمن موصل SAP ODP الذي يستدعي واجهة برمجة تطبيقات ODP عبر وحدات استدعاء الدالة البعيدة القياسية (RFC) لاستخراج بيانات SAP الأولية الكاملة والدلتا.

يتضمن جانب Azure تدفق بيانات التعيين الذي يمكنه تحويل بيانات SAP وتحميلها في أي مصدر بيانات مدعوم من خلال تعيين تدفقات البيانات. بعض هذه الخيارات هي وجهات تخزين مثل Azure Data Lake Storage Gen2 أو قواعد بيانات مثل Azure SQL Database أو Azure Synapse Analytics. يمكن لنشاط تدفق بيانات التعيين أيضا تحميل النتائج في Data Lake Storage Gen2 بتنسيق دلتا. يمكنك استخدام ميزة Delta Lake Time Travel لإنتاج لقطات من بيانات SAP لفترة معينة. يمكنك تشغيل تدفقات البيانات الخاصة بك وتعيين تدفقات البيانات بشكل متكرر باستخدام مشغل نافذة التدوير Data Factory لنسخ بيانات SAP نسخا متماثلا في Azure مع زمن انتقال منخفض ودون استخدام العلامة المائية.

Diagram of the architecture of the SAP CDC solution.

للبدء، قم بإنشاء خدمة مرتبطة ب SAP CDC، ومجموعة بيانات مصدر SAP CDC، ومسار مع نشاط تدفق بيانات التعيين الذي تستخدم فيه مجموعة بيانات مصدر SAP CDC. لاستخراج البيانات من SAP، يلزم وقت تشغيل تكامل مستضاف ذاتيا لتثبيته على كمبيوتر محلي أو على جهاز ظاهري (VM) له خط رؤية لأنظمة مصدر SAP أو خادم SLT الخاص بك. يتم تشغيل نشاط تعيين تدفق البيانات على نظام مجموعة Azure Databricks بلا خادم أو Apache Spark، أو على وقت تشغيل تكامل Azure. يلزم تكوين تخزين مرحلي في تعيين نشاط تدفق البيانات لجعل وقت تشغيل التكامل المستضاف ذاتيا يعمل بسلاسة مع تعيين وقت تشغيل تكامل تدفق البيانات.

يستخدم موصل SAP CDC إطار عمل SAP ODP لاستخراج أنواع مصادر البيانات المختلفة، بما في ذلك:

  • مستخرجات SAP، التي تم إنشاؤها في الأصل لاستخراج البيانات من SAP ECC وتحميلها فـي SAP Business Warehouse
  • طرق عرض ABAP CDS، معيار استخراج البيانات الجديد لـ SAP S/4HANA
  • InfoProviders ومجموعات بيانات InfoObjects في SAP BW وSAP BW/4HANA
  • جداول تطبيق SAP، عند استخدام خادم النسخ المتماثل SAP LT (SLT) كوكيل

في هذه العملية، مصادر بيانات SAP هي موفرات. تعمل الموفرات على أنظمة SAP لإنتاج بيانات كاملة أو تزايدية في قائمة انتظار دلتا التشغيلية (ODQ). مصدر تدفق بيانات التعيين هو مشترك في ODQ.

Diagram of the architecture of the SAP ODP framework through a self-hosted integration runtime.

لأن توفير البيانات التشغيلية يقوم بفصل الموفرين تمامًا عن المشتركين، فإن أي وثائق SAP تقدم تكوينات الموفر قابلة للتطبيق على Data Factory كمشترك. لمزيد مـن المعلومات حول توفير البيانات التشغيلية، راجع مقدمة حول توفير البيانات التشغيلية.

المحتوى ذو الصلة

المتطلبات الأساسية والإعداد لحل SAP CDC