Veri akışlarını eşlemede sütun desenlerini kullanma

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Çeşitli eşleme veri akışları dönüştürmeleri, sabit kodlanmış sütun adları yerine desenleri temel alan şablon sütunlarına başvurmanızı sağlar. Bu eşleştirme, sütun desenleri olarak bilinir. Tam alan adları gerektirmek yerine ad, veri türü, akış, kaynak veya konum temelinde sütunları eşleştirmek için desenler tanımlayabilirsiniz. Sütun desenlerinin yararlı olduğu iki senaryo vardır:

• Gelen kaynak alanlar, metin dosyalarındaki veya NoSQL veritabanlarındaki sütunları değiştirme durumu gibi sık sık değişiyorsa. Bu senaryo şema kayma olarak bilinir.
• Büyük bir sütun grubu üzerinde ortak bir işlem yapmak istiyorsanız. Örneğin, sütun adında 'total' bulunan her sütunu bir çifte dönüştürmeyi isteme.

Türetilmiş sütun ve toplamadaki sütun desenleri

Türetilmiş bir sütuna, toplamaya veya pencere dönüştürmeye sütun deseni eklemek için, sütun listesinin üstündeki Ekle'ye veya mevcut türetilmiş sütunun yanındaki artı simgesine tıklayın. Sütun deseni ekle'yi seçin.

Eşleşme koşulunu girmek için ifade oluşturucusunu kullanın. Sütunun , , type, streamoriginve position sütununu nametemel alan sütunlarla eşleşen bir boole ifadesi oluşturun. Desen, koşulun true döndürdüğü sürüklenen veya tanımlanan tüm sütunları etkiler.

Yukarıdaki sütun deseni, çift türündeki her sütunla eşleşir ve her eşleşme için bir türetilmiş sütun oluşturur. Sütun adı alanı olarak belirterek $$ , eşleşen her sütun aynı adla güncelleştirilir. Her sütunun değeri, iki ondalık basameğe yuvarlanmış mevcut değerdir.

Eşleşen koşulunuzun doğru olduğunu doğrulamak için, İncele sekmesinde tanımlı sütunların çıkış şemasını doğrulayabilir veya Veri önizleme sekmesinde verilerin anlık görüntüsünü alabilirsiniz.

Hiyerarşik desen eşleştirme

Karmaşık hiyerarşik yapıların içinde desen eşleştirme de oluşturabilirsiniz. Veri akışınızdaki her hiyerarşinin isteneceği bölümü Each MoviesStruct that matches genişletin. Ardından, seçilen hiyerarşideki özellikler için eşleşen desenler oluşturabilirsiniz.

Düzleştirme yapıları

Verileriniz diziler, hiyerarşik yapılar ve haritalar gibi karmaşık yapılara sahip olduğunda, dizilerin kaydını kaldırmak ve verilerinizi normal olmayan hale getirmek için Flatten dönüştürmesini kullanabilirsiniz. Yapılar ve haritalar için, hiyerarşilerden düzleştirilmiş ilişkisel tablonuzu oluşturmak için sütun desenleriyle türetilmiş sütun dönüştürmesini kullanın. Coğrafya hiyerarşisini ilişkisel bir tablo formuna dönüştüren bu örneğe benzer sütun desenlerini kullanabilirsiniz:

Seçme ve havuzdaki kural tabanlı eşleme

Kaynaktaki sütunları eşlerken ve dönüşümleri seçerken, sabit eşleme veya kural tabanlı eşlemeler ekleyebilirsiniz. , , type, streamve originposition sütunlarını nametemel alarak eşleştirin. Sabit ve kural tabanlı eşlemelerin herhangi bir birleşimine sahip olabilirsiniz. Varsayılan olarak, 50'den büyük sütuna sahip tüm projeksiyonlar, her sütunda eşleşen ve giriş yapılan adı veren kural tabanlı eşlemeye varsayılan olarak ayarlanır.

Kural tabanlı eşleme eklemek için Eşleme ekle'ye tıklayın ve Kural tabanlı eşleme'yi seçin.

Her kural tabanlı eşleme iki giriş gerektirir: hangi koşula göre eşleştirilir ve eşlenen her sütunun adı. her iki değer de ifade oluşturucusu aracılığıyla girilir. Sol ifade kutusuna boole eşleştirme koşulunuzu girin. Sağ ifade kutusunda, eşleşen sütunun hangi sütuna eşleneceğini belirtin.

Eşleşen bir sütunun giriş adına başvurmak için söz dizimini kullanın $$ . Yukarıdaki görüntüyü örnek olarak kullanarak, bir kullanıcının adları altı karakterden kısa olan tüm dize sütunlarında eşleştirmek istediğini söyleyebiliriz. Gelen bir sütun olarak adlandırılmışsa test, ifade $$ + '_short' sütununu test_shortyeniden adlandırır. Var olan tek eşleme buysa, koşulu karşılamayen tüm sütunlar çıktı verilerinden bırakılır.

Desenler hem kaymış hem de tanımlanmış sütunlarla eşleşiyor. Bir kural tarafından eşlenen tanımlı sütunları görmek için kuralın yanındaki gözlük simgesine tıklayın. Veri önizlemesini kullanarak çıkışınızı doğrulayın.

Regex eşlemesi

Aşağı doğru köşeli çift ayraç simgesine tıklarsanız, bir regex eşleme koşulu belirtebilirsiniz. Bir regex eşleme koşulu, belirtilen regex koşuluyla eşleşen tüm sütun adlarla eşleşir. Bu, standart kural tabanlı eşlemelerle birlikte kullanılabilir.

Yukarıdaki örnek, regex deseni (r) veya küçük harf r içeren herhangi bir sütun adıyla eşleşir. Standart kural tabanlı eşlemeye benzer şekilde, eşleşen tüm sütunlar söz dizimi kullanılarak sağdaki koşul tarafından $$ değiştirilir.

Kural tabanlı hiyerarşiler

Tanımlı projeksiyonunuzun hiyerarşisi varsa, hiyerarşi alt sütunlarını eşlemek için kural tabanlı eşlemeyi kullanabilirsiniz. Eşleşen bir koşul ve alt sütunlarını eşlemek istediğiniz karmaşık sütunu belirtin. Eşleşen her alt sütun sağda belirtilen 'Ad olarak adlandır' kuralı kullanılarak çıkarılır.

Yukarıdaki örnek, karmaşık sütunun atüm alt sütunlarında eşleşir. a iki alt sütun b ve ciçerir. Çıkış şeması iki sütun b içerir ve c 'Ad olarak adlandır' koşulu olarak kullanılır $$.

Desen eşleştirme ifade değerleri

• $$ çalışma zamanındaki her eşleşmenin adına veya değerine çevrilir. Eşdeğer olarak $$ düşün this
• $0 skaler türler için çalışma zamanında geçerli sütun adı eşleşmesine çevirir. Hiyerarşik türler için, $0 geçerli eşleşen sütun hiyerarşi yolunu temsil eder.
• name gelen her sütunun adını temsil eder
• type gelen her sütunun veri türünü temsil eder. Veri akışları türü sistemindeki veri türlerinin listesi burada bulunabilir .
• stream her akışla ilişkili adı veya akışınızdaki dönüşümü temsil eder
• position veri akışınızdaki sütunların sıralı konumudur
• origin bir sütunun kaynaklandığı veya en son güncelleştirildiği dönüştürmedir

İlgili içerik

• Veri dönüştürmeleri için eşleme veri akışları ifade dili hakkında daha fazla bilgi edinin
• Havuz dönüşümünde sütun desenlerini kullanma ve kural tabanlı eşleme ile dönüştürmeyi seçme