Muat data secara bertahap dari penyimpanan data sumber ke penyimpanan data tujuan
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Dalam solusi integrasi data, secara bertahap (atau delta) memuat data setelah muatan data lengkap awal adalah skenario yang banyak digunakan. Tutorial di bagian ini menunjukkan kepada Anda berbagai cara memuat data secara bertahap dengan menggunakan Microsoft Azure Data Factory.
Pemuatan data Delta dari database dengan menggunakan marka air
Dalam hal ini, Anda menentukan marka air di database sumber Anda. Marka air adalah kolom yang memiliki stempel waktu terakhir diperbarui atau kunci tahapan. Solusi pemuatan delta memuat data yang diubah antara marka air lama dan marka air baru. Alur kerja untuk pendekatan ini digambarkan dalam diagram berikut:
Lihat tutorial berikut untuk instruksi langkah demi langkah:
- Menyalin data secara bertahap dari satu tabel di Microsoft Azure SQL Database ke penyimpanan Microsoft Azure Blob
- Menyalin data secara bertahap dari beberapa tabel dalam instans SQL Server ke Microsoft Azure SQL Database
Untuk templat, lihat berikut:
Pemuatan data Delta dari SQL DB dengan menggunakan teknologi Pelacakan Perubahan
Teknologi Pelacakan Perubahan adalah solusi ringan di SQL Server dan Microsoft Azure SQL Database yang menyediakan mekanisme pelacakan perubahan yang efisien untuk aplikasi. Hal ini memungkinkan aplikasi untuk mudah mengidentifikasi data yang disisipkan, diperbarui, atau dihapus.
Alur kerja untuk pendekatan ini digambarkan dalam diagram berikut:
Untuk instruksi langkah demi langkah, lihat tutorial berikut:
Memuat file baru dan yang diubah hanya dengan menggunakan LastModifiedDate
Anda dapat menyalin file baru dan yang diubah hanya dengan menggunakan LastModifiedDate ke penyimpanan tujuan. ADF akan memindai semua file dari penyimpanan sumber, menerapkan filter file oleh LastModifiedDate mereka, dan hanya menyalin file baru dan yang diperbarui sejak terakhir kali ke penyimpanan tujuan. Perlu diketahui bahwa jika Anda membiarkan ADF memindai sejumlah besar file tetapi Anda hanya menyalin beberapa file ke tujuan, ini masih akan memakan waktu lama karena proses pemindaian file.
Untuk instruksi langkah demi langkah, lihat tutorial berikut:
Untuk templat, lihat berikut:
Memuat file baru hanya dengan menggunakan folder atau nama file yang dipartisi waktu.
Anda hanya dapat menyalin file baru, di mana file atau folder telah dipartisi dengan informasi {i>timeslice
Untuk instruksi langkah demi langkah, lihat tutorial berikut:
Konten terkait
Lanjutkan ke tutorial berikut: