تحميل البيانات بشكل متزايد من مخزن بيانات مصدر إلى مخزن بيانات وجهة
ينطبق على:
Azure Data Factory Azure Synapse Analytics
تلميح
جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!
في حل تكامل البيانات، تحميل البيانات بشكل متزايد (أو "دلتا") بعد تحميل بيانات كامل أولي هو سيناريو مستخدم على نطاق واسع. تظهر لك الدروس في هذا القسم طرقا مختلفة لتحميل البيانات بشكل متزايد باستخدام Azure Data Factory.
تحميل بيانات "دلتا" من قاعدة البيانات باستخدام علامة مائية
في هذه الحالة، يمكنك تعريف علامة مائية في قاعدة البيانات المصدر. العلامة المائية هي عمود له آخر طابع زمني محدث أو مفتاح متزايد. يقوم حل تحميل "دلتا" بتحميل البيانات التي تم تغييرها بين علامة مائية قديمة وعلامة مائية جديدة. يتم تصوير سير العمل لهذا الأسلوب في الرسم التخطيطي التالي:
للحصول على إرشادات خطوة بخطوة، راجع الدروس التالية:
- نسخ البيانات بشكل متزايد من جدول واحد في قاعدة بيانات azure SQL إلى تخزين Azure Blob
- نسخ البيانات بشكل متزايد من جداول متعددة في مثيل SQL Server إلى قاعدة بيانات azure SQL
بالنسبة للقوالب، راجع التالي:
تحميل بيانات "دلتا" من SQL DB باستخدام تقنية تعقب التغيير
تكنولوجيا تعقب التغيير هو حل خفيف الوزن في SQL Server وقاعدة بيانات azure SQL التي توفر آلية فعالة لتتبع التغيير للتطبيقات. وهو يمكن التطبيق من التعرف بسهولة على البيانات التي تم إدراجها أو تحديثها أو حذفها.
يتم تصوير سير العمل لهذا الأسلوب في الرسم التخطيطي التالي:
للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:
تحميل الملفات الجديدة والمتغيرة فقط باستخدام LastModifiedDate
يمكنك نسخ الملفات الجديدة والمتغيرة فقط باستخدام LastModifiedDate إلى المخزن الوجهة. سيقوم ADF بمسح جميع الملفات من مخزن المصدر وتطبيق عامل تصفية الملف بواسطة LastModifiedDate الخاص بهم ونسخ الملف الجديد والمحدث فقط منذ آخر مرة إلى المخزن الوجهة. يُرجى العلم أنه إذا تركت ADF تفحص كميات هائلة من الملفات ولكنك قمت بنسخ بعض الملفات فقط إلى الوجهة، فسيستغرق ذلك وقتا طويلا بسبب عملية مسح الملفات.
للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:
بالنسبة للقوالب، راجع التالي:
تحميل ملفات جديدة فقط باستخدام مجلد مقسمة زمنيا أو اسم الملف.
يمكنك نسخ ملفات جديدة فقط، حيث تم تقسيم الملفات أو المجلدات مسبقاً بمعلومات ذات طابع زمني كجزء من اسم الملف أو المجلد (على سبيل المثال، /yyyy/mm/dd/file.csv). وهو الأسلوب الأكثر أداء لتحميل الملفات الجديدة بشكل متزايد.
للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:
المحتوى ذو الصلة
تقدم إلى البرنامج التعليمي التالي: