Eşleme veri akışı hata ayıklama modu

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Genel Bakış

Azure Data Factory ve SYNAPSE Analytics eşleme veri akışının hata ayıklama modu, veri akışlarınızı oluştururken ve hata ayıkladığınızda veri şekli dönüşümünü etkileşimli bir şekilde izlemenize olanak sağlar. hata ayıklama oturumu hem veri Flow tasarım oturumlarında hem de veri akışlarının işlem hattı hata ayıklamada yürütülmesi sırasında kullanılabilir. hata ayıklama modunu açmak için veri akışı aktivitenleriniz olduğunda veri akışı tuvalinin veya işlem hattı tuvalinin üst çubuğundaki veri Flow hata ayıklama düğmesini kullanın.

Kaydırıcıyı açtıktan sonra hangi tümleştirme çalışma zamanı yapılandırmasını kullanmak istediğinizi seçmeniz istenir. Oto Resolveıntegrationruntime seçilirse, varsayılan 60 dakikalık bir zamana kadar genel işlem içeren sekiz çekirdekli bir küme, ön uca olur. Oturumunuz zaman aşımına uğramadan önce daha fazla boşta takımına izin vermek isterseniz, daha yüksek bir TTL ayarı seçebilirsiniz. Veri akışı tümleştirme çalışma zamanları hakkında daha fazla bilgi için bkz. Integration Runtime Performance.

Hata ayıklama modu açık olduğunda, etkin bir Spark kümesi ile veri akışınızı etkileşimli olarak oluşturacaksınız. Hata ayıklama devre dışı olduktan sonra oturum kapanır. Hata ayıklama oturumunun açık olduğu süre boyunca Data Factory tarafından tahakkuk edilen saatlik ücretlerden haberdar olmanız gerekir.

Çoğu durumda, iş mantığınızı doğrulayabilmeniz ve işinizi yayımlamadan önce veri dönüştürmelerinizi görüntüleyebilmeniz için veri akışlarınızı hata ayıklama modunda oluşturmak iyi bir uygulamadır. Veri akışınızı bir ardışık düzende test etmek için işlem hattı panelinde "hata ayıkla" düğmesini kullanın.

Küme durumu

Küme hata ayıklamaya hazırlanışında tasarım yüzeyinin en üstündeki küme durumu göstergesi yeşil olur. Kümeniz zaten ısınma olursa yeşil gösterge neredeyse anında görünür. Hata ayıklama moduna girdiğinizde kümeniz zaten çalışmıyorsa, Spark kümesi soğuk bir önyükleme yapar. Bu gösterge, ortam etkileşimli hata ayıklama için hazırlanana kadar dönmesini sağlar.

Hata ayıklamanız ile işiniz bittiğinde, Spark kümenizin sonlanabilir olması için hata ayıklama anahtarını kapatın ve artık hata ayıklama etkinliği için faturalandırılırsınız.

Hata ayıklama ayarları

Hata ayıklama modunu etkinleştirdikten sonra, veri akışı verilerinin nasıl önizlebildiğini düzenleyebilirsiniz. hata ayıklama ayarları, veri Flow tuvali araç çubuğunda "hata ayıkla Ayarlar" öğesine tıklanarak düzenlenebilirler. Burada kaynak dönüşümlerinizin her biri için kullanılacak satır sınırını veya dosya kaynağını seçebilirsiniz. Bu ayarda bulunan satır limitleri yalnızca geçerli hata ayıklama oturumu içindir. Azure SYNAPSE Analytics kaynağı için kullanılacak hazırlama bağlantılı hizmetini de seçebilirsiniz.

veri Flow veya başvurulan veri kümelerinin herhangi birinde parametrelere sahipseniz, parametreler sekmesini seçerek hata ayıklama sırasında kullanılacak değerleri belirtebilirsiniz.

Kaynak veri kümelerinizi değiştirmek zorunda kalmaması için örnek dosyaları veya örnek veri tablolarını işaret etmek üzere buradaki örnekleme ayarlarını kullanın. Burada örnek bir dosya veya tablo kullanarak, veri alt kümesiyle test edilirken veri akışınızda aynı mantık ve özellik ayarlarını koruyabilirsiniz.

Veri akışlarında hata ayıklama modu için kullanılan varsayılan IR, 4 çekirdekli tek sürücü düğümüne sahip küçük 4 çekirdekli tek çalışan düğümüdür. Bu, veri akışı mantığınızı sınarken daha küçük veri örnekleriyle sorunsuz bir şekilde çalışabilir. Veri önizleme sırasında hata ayıklama ayarlarınızda satır sınırlarını genişlettikten veya ardışık düzen hata ayıklaması sırasında kaynağınıza daha fazla sayıda örneklenmiş satır ayarlarsanız, yeni bir Azure Integration Runtime daha büyük bir işlem ortamı ayarlamayı düşünebilirsiniz. Daha sonra, hata ayıklama oturumunuzu daha büyük işlem ortamını kullanarak yeniden başlatabilirsiniz.

Veri önizlemesi

Hata ayıklama tarihinde, veri Önizleme sekmesi alt panelde açılır. veri Flow, üzerinde hata ayıklama modu olmadan, inceleme sekmesindeki dönüştürmelerinizin her birinin içindeki ve çıkan yalnızca geçerli meta verileri gösterir. Veri önizleme, yalnızca hata ayıklama ayarlarınızda sınırınız olarak ayarlamış olduğunuz satır sayısını sorgular. Veri önizlemeyi getirmek için Yenile ' ye tıklayın.

veri Flow hata ayıklama modunda çalışırken, verileriniz havuz dönüşümüne yazılmaz. Bir hata ayıklama oturumu, dönüştürmelerinizi için bir test bandı işlevi sunacak şekilde tasarlanmıştır. Hata ayıklama sırasında havuzlar gerekli değildir ve veri akışınız içinde yok sayılır. havuzınızdaki verilerin yazılmasını test etmek istiyorsanız, bir işlem hattından veri Flow yürütün ve bir işlem hattından hata ayıklama yürütmesini kullanın.

Veri önizleme,, Spark belleğindeki veri çerçevelerinden satır sınırlarını ve veri örneklemesi kullanarak dönüştürülmüş verilerinizin anlık görüntüsüdür. Bu nedenle, havuz sürücüleri bu senaryoda kullanılmaz veya test edilmez.

Test ekleme koşulları

Birim testi katıldığında, varsa veya Arama dönüşümlerine göre, testiniz için küçük bir bilinen veri kümesi kullandığınızdan emin olun. testinizde kullanılacak geçici bir dosya ayarlamak için yukarıdaki hata ayıklama Ayarlar seçeneğini kullanabilirsiniz. Bu, büyük bir veri kümesinden satırları sınırlandırırken veya örneklenirken, hangi satırların ve hangi anahtarların test için akışa okunacağını tahmin edemediği için gereklidir. Sonuç belirleyici değildir, yani JOIN koşullarınızın başarısız olabileceği anlamına gelir.

Hızlı Eylemler

Veri önizlemesini görtikten sonra, bir sütunda tür atama, kaldırma veya değiştirme yapmak için hızlı bir dönüşüm oluşturabilirsiniz. Sütun başlığına tıklayın ve ardından veri önizleme araç çubuğundan seçeneklerden birini belirleyin.

Bir değişikliği seçtiğinizde, veri önizlemesi hemen yenilenir. Yeni bir dönüşüm oluşturmak için sağ üst köşedeki Onayla ' ya tıklayın.

Tür dönüştürme ve değiştirme türetilmiş bir sütun dönüştürmesi oluşturacak ve Remove bir SELECT dönüştürmesi oluşturacak.

Veri profili oluşturma

Veri önizleme sekmesinizdeki bir sütunu seçmek ve veri önizleme araç çubuğunda İstatistikler ' i tıklatmak, her alanla ilgili ayrıntılı istatistiklerle veri kılavuzunuzun en sağında bir grafik açılır. Hizmet, görüntülenecek grafik türünün veri örneklemesi temelinde bir belirleme yapılır. Yüksek kardinalite alanları varsayılan olarak NULL/değil NULL grafiklerine göre NULL/olmayan grafik olarak değişir. Ayrıca, dize alanlarının en fazla/uzun uzunluğunu, sayısal alanlardaki minimum/maksimum değerleri, standart dev, yüzdebirlik değeri, sayımlar ve Ortalama değerlerini de görürsünüz.

Sonraki adımlar

• Veri akışınızı oluşturup hata ayıkladıktan sonra bir işlem hattınızdan yürütün.
• İşlem hattınızı bir veri akışı ile sınarken, işlem hattı hata ayıklama çalıştırma yürütme seçeneğini kullanın.