Bir kaynak veri deposundan hedef veri deposuna artımlı olarak veri yükleme

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

İlk veriler yüklendikten sonra verileri artımlı olarak (veya delta) yükleme senaryosu, veri tümleştirme çözümlerinde sıkça kullanılır. Bu bölümdeki öğreticiler, Azure Data Factory kullanarak artımlı veri yüklemenin farklı yollarını gösterir.

Filigran kullanarak veritabanından delta veri yükleme

Bu durumda, kaynak veritabanında bir filigran tanımlayın. Filigran, en son güncelleştirilen zaman damgası veya artan bir anahtarı olan bir sütundur. Delta yükleme çözümü, eski bir filigran ile yeni bir filigran arasında değiştirilen verileri yükler. Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Filigran kullanmaya yönelik iş akışı

Adım adım yönergeler için şu öğreticilere bakın:

Şablonlar için aşağıdakilere bakın:

SQL teknolojisi kullanılarak Değişiklik İzleme DB'den delta veri yükleme

Değişiklik İzleme teknolojisi, SQL Server ve Azure SQL Veritabanı’nda bulunan, uygulamalar için verimli bir değişiklik izleme mekanizması sağlayan basit bir çözümdür. Bir uygulamanın eklenen, güncelleştirilen veya silinen verileri kolayca tanımlamasına olanak sağlar.

Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Değişiklik İzleme kullanmaya yönelik iş akışı

Adım adım yönergeler için şu öğreticilere bakın:

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak yükleme

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak hedef depoya kopyaabilirsiniz. ADF, kaynak depodan tüm dosyaları tarar, LastModifiedDate değerlerine göre dosya filtresini uygulayacak ve yalnızca son zamandan bu yana güncelleştirilmiş yeni ve güncelleştirilmiş dosyayı hedef depoya kopyalar. ADF'nin çok miktarda dosyayı taramasına izin verdiyebilirsiniz ancak hedefe yalnızca birkaç dosya kopyalarsanız, dosya tarama işlemi nedeniyle bu işlem hala uzun zaman alır.

Adım adım yönergeler için şu öğreticilere bakın:

Şablonlar için aşağıdakilere bakın:

Yeni dosyaları yalnızca zaman bölümlenmiş klasörü veya dosya adını kullanarak yükleme.

Dosya veya klasör adı (örneğin, /yyyy/mm/dd/file.csv) kapsamında dosya veya klasörlerin zaman bilgileriyle bölümlenmiş olduğu yeni dosyaları yalnızca kopyaabilirsiniz. Bu, yeni dosyaların artımlı olarak yüklenmesi için en iyi yaklaşımdır.

Adım adım yönergeler için şu öğreticilere bakın:

Sonraki adımlar

Şu öğreticiye ilerleyin: