Veri akışlarını Azure Data Factory

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Veri akışlarını eşleme nedir?

Eşleme veri akışları, veri akışlarında görsel olarak Azure Data Factory. Veri akışları, veri mühendislerinin kod yazmadan veri dönüştürme mantığı geliştirmesine olanak sağlar. Sonuçta elde edilen veri akışları, kümeler için Azure Data Factory işlem hatları içinde etkinlikler olarak Apache Spark yürütülür. Veri akışı etkinlikleri zamanlama, denetim, akış Azure Data Factory izleme özellikleri kullanılarak çalışır duruma Azure Data Factory olabilir.

Eşleme veri akışları kodlama gerekmeden tamamen görsel bir deneyim sağlar. Veri akışlarınız, ölçeği ölçeklendiren veri işleme için ADF tarafından yönetilen yürütme kümelerde çalıştırıldı. Azure Data Factory tüm kod çevirisini, yol iyileştirmesini ve veri akışı işlerinizi yürütmeyi işler.

Başlarken

Veri akışları, işlem hatları ve veri kümeleri gibi fabrika kaynakları bölmesinden oluşturulur. Veri akışı oluşturmak için Fabrika Kaynakları'nın yanındaki artı işaretine ve ardından Veri akışı'Flow.

Bu eylem sizi dönüştürme mantığınızı oluşturabilirsiniz veri akışı tuvale alır. Kaynak dönüştürmenizi yapılandırmaya başlamak için Kaynak ekle'yi seçin. Daha fazla bilgi için bkz. Kaynak dönüşümü.

Veri akışları yazma

Eşleme veri akışı, dönüşüm mantığı oluşturmayı kolaylaştıracak şekilde tasarlanmış benzersiz bir yazma tuvali içerir. Veri akışı tuvali üç parçaya ayrılmıştır: üst çubuk, grafik ve yapılandırma paneli.

Graf

Grafikte dönüştürme akışı görüntülenir. Bir veya daha fazla havuza akan kaynak veri verisi verisi verisi verisi çizgilerini gösterir. Yeni kaynak eklemek için Kaynak ekle'yi seçin. Yeni bir dönüşüm eklemek için var olan bir dönüşümün sağ alt köşesindeki artı işaretine tıklayın. Veri akışı grafiğini yönetme hakkında daha fazla bilgi.

Yapılandırma paneli

Yapılandırma panelinde seçili olan dönüştürmeye özgü ayarlar gösterilir. Hiçbir dönüştürme seçilmezse veri akışı görüntülenir. Genel veri akışı yapılandırmasında Parametreler sekmesi aracılığıyla parametreler ekleyebilirsiniz. Daha fazla bilgi için bkz. Veri akışı parametrelerini eşleme.

Her dönüştürme en az dört yapılandırma sekmesi içerir.

Dönüştürme ayarları

Her dönüşümün yapılandırma bölmesindeki ilk sekme, bu dönüştürmeye özgü ayarları içerir. Daha fazla bilgi için dönüşümün belge sayfasına bakın.

İyileştirme

İyileştir sekmesi bölümleme düzenlerini yapılandırmak için ayarları içerir. Veri akışlarınızı iyileştirme hakkında daha fazla bilgi edinmek için eşleme veri akışı performans kılavuzuna bakın.

Incelemek

Inspect sekmesi, dönüştürmekte olduğunu veri akışının meta verilerine bir görünüm sağlar. Sütun sayılarını, değiştirilen sütunları, eklenen sütunları, veri türlerini, sütun sıralamalarını ve sütun başvurularını görebilir. Inspect, meta verileri salt okunur bir görünümde görüntüler. İnceleme bölmesinde meta verileri görmek için hata ayıklama modunun etkinleştirilmesi gerekir.

Dönüşümler aracılığıyla verilerinizin şeklini değiştirirken, Meta veri değişiklikleri akışını Incele bölmesinde görebilirsiniz. Kaynak dönüştürmede tanımlı bir şema yoksa, meta veriler İnceleme bölmesinde görünmez. Şema kayması senaryolarında meta veri eksikliği yaygındır.

Veri önizlemesi

Hata ayıklama modu açıksa, Veri Önizleme sekmesi her dönüştürmede verilerin etkileşimli bir anlık görüntüsünü sağlar. Daha fazla bilgi için bkz. Hata ayıklama modunda veri önizlemesi.

Üst çubuk

Üst çubuk, kaydetme ve doğrulama gibi veri akışının tamamını etkileyen eylemler içerir. Dönüştürme mantığının temel alınan JSON kodunu ve veri akışı betiklerini de görüntüebilirsiniz. Daha fazla bilgi için veri akışı betiği hakkında bilgi edinebilirsiniz.

Kullanılabilir dönüştürmeler

Kullanılabilir dönüşümlerin bir listesini almak için eşleme veri akışı dönüştürmeye genel bakışı görüntüleme.

Veri akışı veri türleri

• array
• ikili
• boolean
• Karmaşık
• ondalık (duyarlık dahil)
• date
• float
• tamsayı
• long
• map
• short
• string
• timestamp

Veri akışı etkinliği

Eşleme veri akışları, veri akışı etkinliği kullanılarak ADF işlem hatlarında çalışır duruma getirildi. Kullanıcının tek yapmaları gereken, hangi tümleştirme çalışma zamanının kullanacağız ve parametre değerlerinin geçeceği belirtebilirsiniz. Daha fazla bilgi için Azure tümleştirme çalışma zamanı hakkında bilgi edinin.

Hata ayıklama modu

Hata ayıklama modu, veri akışlarınızı derleme ve hata ayıklama sırasında her dönüştürme adımının sonuçlarını etkileşimli olarak görmenizi sağlar. Hata ayıklama oturumu hem veri akışı mantığınızı sağlarken hem de veri akışı etkinlikleriyle işlem hattı hata ayıklama çalıştırmalarını çalıştırırken kullanılabilir. Daha fazla bilgi edinmek için hata ayıklama modu belgelerine bakın.

Veri akışlarını izleme

Eşleme veri akışı, mevcut veri Azure Data Factory tümleştirilmiştir. Veri akışı izleme çıkışını anlama hakkında bilgi edinmek için bkz. eşleme veri akışlarını izleme.

Azure Data Factory ekibi, iş mantığınızı oluşturduktan sonra veri akışlarınızı yürütme sürenizi iyileştirmenize yardımcı olacak bir performans ayarlama kılavuzu oluşturdu.

Kullanılabilir bölgeler

Eşleme veri akışları ADF'de aşağıdaki bölgelerde kullanılabilir:

Sonraki adımlar

• Kaynak dönüştürmeoluşturmayı öğrenin.
• Veri akışlarınızı hata ayıklama modundaoluşturmayı öğrenin.