Bir kaynak veri deposundan hedef veri deposuna artımlı olarak veri yükleme
Uygulama hedefi:
Azure SYNAPSE Analytics 'i Azure Data Factory
İlk veriler yüklendikten sonra verileri artımlı olarak (veya delta) yükleme senaryosu, veri tümleştirme çözümlerinde sıkça kullanılır. Bu bölümdeki öğreticiler, Azure Data Factory kullanarak artımlı veri yüklemenin farklı yollarını gösterir.
Filigran kullanarak veritabanından delta veri yükleme
Bu durumda, kaynak veritabanında bir filigran tanımlayın. Filigran, en son güncelleştirilen zaman damgası veya artan bir anahtarı olan bir sütundur. Delta yükleme çözümü, eski bir filigran ile yeni bir filigran arasında değiştirilen verileri yükler. Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:
Adım adım yönergeler için şu öğreticilere bakın:
- Azure SQL Veritabanı’ndaki bir tablodan Azure Blob depolama Alanı’na artımlı olarak veri kopyalama
- Bir SQL Server örneğinde yer alan birden çok tablodan verileri artımlı olarak Azure SQL Veritabanı
Şablonlar için aşağıdakilere bakın:
SQL teknolojisi kullanılarak Değişiklik İzleme DB'den delta veri yükleme
Değişiklik İzleme teknolojisi, SQL Server ve Azure SQL Veritabanı’nda bulunan, uygulamalar için verimli bir değişiklik izleme mekanizması sağlayan basit bir çözümdür. Bir uygulamanın eklenen, güncelleştirilen veya silinen verileri kolayca tanımlamasına olanak sağlar.
Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:
Adım adım yönergeler için şu öğreticilere bakın:
Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak yükleme
Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak hedef depoya kopyaabilirsiniz. ADF, kaynak depodan tüm dosyaları tarar, LastModifiedDate değerlerine göre dosya filtresini uygulayacak ve yalnızca son zamandan bu yana güncelleştirilmiş yeni ve güncelleştirilmiş dosyayı hedef depoya kopyalar. ADF'nin çok miktarda dosyayı taramasına izin verdiyebilirsiniz ancak hedefe yalnızca birkaç dosya kopyalarsanız, dosya tarama işlemi nedeniyle bu işlem hala uzun zaman alır.
Adım adım yönergeler için şu öğreticilere bakın:
Şablonlar için aşağıdakilere bakın:
Yeni dosyaları yalnızca zaman bölümlenmiş klasörü veya dosya adını kullanarak yükleme.
Dosya veya klasör adı (örneğin, /yyyy/mm/dd/file.csv) kapsamında dosya veya klasörlerin zaman bilgileriyle bölümlenmiş olduğu yeni dosyaları yalnızca kopyaabilirsiniz. Bu, yeni dosyaların artımlı olarak yüklenmesi için en iyi yaklaşımdır.
Adım adım yönergeler için şu öğreticilere bakın:
Sonraki adımlar
Şu öğreticiye ilerleyin: