Hızlı başlangıç: veri akışlarını eşleme kullanarak verileri dönüştürme

bu hızlı başlangıçta, verileri bir Azure Data Lake Storage 2. (ADLS 2.) kaynağından eşleme veri akışını kullanarak bir ADLS 2. havuzuna dönüştüren bir işlem hattı oluşturmak için Azure Synapse Analytics 'i kullanacaksınız. Bu hızlı başlangıçta yapılandırma deseninin verileri, eşleme veri akışı kullanılarak dönüştürülürken Genişletilebilir

Bu hızlı başlangıçta aşağıdaki adımları uygulayın:

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

• Azure SYNAPSE çalışma alanı: hızlı başlangıç: bir Synapse çalışma alanı oluşturmayönergelerini takip eden Azure Portal kullanarak bir Synapse çalışma alanı oluşturun.

• Azure depolama hesabı: ADLS depolamayı kaynak ve Havuz veri depoları olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma.

  Bu öğreticide dönüştürtiğimiz dosya MoviesDB.csv, buradabulunabilir. dosyayı GitHub almak için, .csv bir dosya olarak yerel olarak kaydetmek üzere içeriği istediğiniz bir metin düzenleyicisine kopyalayın. dosyayı depolama hesabınıza yüklemek için, Azure portal Upload blobları' na bakın. Örnekler ' Sample-Data ' adlı bir kapsayıcıya başvuracaktır.

SYNAPSE Studio 'ya gidin

Azure SYNAPSE çalışma alanınız oluşturulduktan sonra, SYNAPSE Studio 'Yu açmak için iki yol vardır:

• Azure PortalSYNAPSE çalışma alanınızı açın. Başlarken ' in altındaki Open SYNAPSE Studio kartını Aç ' ı seçin.
• Azure SYNAPSE Analytics 'i açın ve çalışma alanınızda oturum açın.

Bu hızlı başlangıçta, örnek olarak "adftest2020" adlı çalışma alanını kullanırız. SYNAPSE Studio giriş sayfasına otomatik olarak gidecektir.

veri Flow etkinliği ile işlem hattı oluşturma

İşlem hattı, bir dizi etkinliğin yürütülmesi için mantıksal akışı içerir. bu bölümde, bir veri Flow etkinliği içeren bir işlem hattı oluşturacaksınız.

1. Tümleştirin sekmesine gidin. Ardışık düzen üstbilgisinin yanındaki artı simgesini seçin ve işlem hattı ' nı seçin.

   

2. İşlem hattının Özellikler ayarları sayfasında, ad için transformfilmlerini girin.

3. Etkinlikler bölmesindeki Taşı ve Dönüştür altında, veri akışını işlem hattı tuvaline sürükleyin.

4. Veri akışı ekleme sayfası açılır penceresinde Yeni veri akışı -> veri akışı oluştur ' u seçin. Bittiğinde Tamam ' a tıklayın.

   

5. Özellikler sayfasında veri akışı dönüştürfilmlerinizi adlandırın.

Veri akışı tuvalinde dönüştürme mantığı oluşturma

veri Flow oluşturduktan sonra otomatik olarak veri akışı tuvaline gönderilir. Bu adımda, ADLS depolamadaki MoviesDB.csv alan bir veri akışı oluşturacaksınız ve 1910 'den 2000 ' e kadar olan ortalama Comedies sayısını toplayacaksınız. Daha sonra bu dosyayı ADLS depolamasına geri yazacaksınız.

1. Veri akışı tuvalinin üzerinde, veri akışı hata ayıklama kaydırıcısını üzerine kaydırın. Hata ayıklama modu, canlı bir Spark kümesine karşı dönüştürme mantığının etkileşimli olarak test edilmesine olanak tanır. veri Flow kümelerinin ısınma süresi 5-7 dakika sürer ve veri Flow geliştirmeyi planlarsa önce kullanıcıların hata ayıklamada etkinleştirilmesi önerilir. Daha fazla bilgi için bkz. hata ayıklama modu.

   

2. Veri akışı tuvalinde, Kaynak Ekle kutusuna tıklayarak bir kaynak ekleyin.

3. Kaynak MoviesDB adlandırın. Yeni kaynak veri kümesi oluşturmak için Yeni ' ye tıklayın.

   

4. Azure Data Lake Storage 2. seçin. Devam’a tıklayın.

   

5. Delimitedtext öğesini seçin. Devam’a tıklayın.

6. Veri kümenizi MoviesDB olarak adlandırın. Bağlı hizmet açılan menüsünde Yeni' yi seçin.

7. Bağlı hizmet oluşturma ekranında, ADLS 2. bağlı hizmetinizi ADLSGen2 olarak adlandırın ve kimlik doğrulama yönteminizi belirtin. Ardından bağlantı kimlik bilgilerinizi girin. Bu hızlı başlangıçta, depolama hesabımızla bağlantı kurmak için hesap anahtarı 'nı kullanıyoruz. Kimlik bilgilerinizin doğru girildiğini doğrulamak için Bağlantıyı Sına ' ya tıklayabilirsiniz. İşiniz bittiğinde Oluştur ' a tıklayın.

   

8. Veri kümesi oluşturma ekranına geri döndüğünüzde, dosya yolu alanı altında dosyanızın bulunduğu yeri girin. Bu hızlı başlangıçta "MoviesDB.csv" dosyası "Sample-Data" kapsayıcısında bulunur. Dosya üst bilgileri içerdiğinden ilk satırı üst bilgi olarak denetleyin. Üst bilgi şemasını depolama alanındaki dosyadan doğrudan içeri aktarmak için bağlantı/depolama alanından seçim yapın. Bittiğinde Tamam ' a tıklayın.

   

9. Hata ayıklama kümeniz başlatıldıysa, kaynak dönüşümünün veri önizleme sekmesine gidin ve verilerin anlık görüntüsünü almak için Yenile ' ye tıklayın. Dönüşümün doğru yapılandırıldığını doğrulamak için veri önizlemeyi kullanabilirsiniz.

   

10. Veri akışı tuvalindeki kaynak Düğümünüzün yanında, yeni bir dönüşüm eklemek için artı simgesine tıklayın. Eklemekte olduğunuz ilk dönüşüm bir filtredir.

    

11. Filtre dönüştürmesinin Filtreyıllarınızı adlandırın. Filtre Uygula ' nın yanındaki ifade kutusuna tıklayıp deyim Oluşturucu 'yu açın. Burada filtreleme koşullarınızı belirtirsiniz.

12. Veri akışı ifade Oluşturucusu, çeşitli dönüşümlerde kullanılacak ifadeleri etkileşimli bir şekilde oluşturmanıza olanak tanır. İfadeler, yerleşik işlevleri, giriş şemasından sütunları ve Kullanıcı tanımlı parametreleri içerebilir. ifadelerin nasıl oluşturulacağı hakkında daha fazla bilgi için bkz. Data Flow expression builder.

    Bu hızlı başlangıçta, 1910 ve 2000 yılları arasında gelen tarz komedi filmlerini filtrelemek istiyorsunuz. Yıl şu anda bir dize olduğu için işlevi kullanarak bir tamsayıya dönüştürmeniz gerekir toInteger() . 1910 ve 200-sabit yıl değerlerine göre karşılaştırmak için büyüktür veya eşittir (>=) ve küçüktür veya eşittir (<=) işleçlerini kullanın. Bu ifadeleri && (ve) işleciyle birlikte toplayın. İfade şu şekilde gelir:

    toInteger(year) >= 1910 && toInteger(year) <= 2000

    Hangi filmlerin ortak olduğunu bulmak için, rlike() ' komedi ' stilini sütun tarzları içinde bulmak için işlevini kullanabilirsiniz. rlikeAlınacak yıl karşılaştırması ile ifadeyi topla:

    toInteger(year) >= 1910 && toInteger(year) <= 2000 && rlike(genres, 'Comedy')

    

    Etkin bir hata ayıklama kümeniz varsa, kullanılan girişlerle karşılaştırılan ifade çıktısını görmek için Yenile ' ye tıklayarak mantığınızı doğrulayabilirsiniz. Veri akışı ifade dilini kullanarak bu mantığı nasıl gerçekleştirebileceğiniz üzerinde birden fazla doğru yanıt vardır.

    Deyiminizi tamamladıktan sonra Kaydet ' e tıklayın ve son ' a tıklayın.

13. Filtrenin düzgün çalıştığını doğrulamak için bir veri önizlemesi getirin.

14. Ekleyeceğiniz bir sonraki dönüşüm, şema değiştiricisi altında bir Toplam dönüşümdir.

    

15. Toplam dönüşüm Aggregatecomedyıderecelendirmeleri olarak adlandırın. Gruplandırma ölçütü sekmesinde, toplamaların filmi filmin geldiği yıla göre gruplamak için açılan listeden yıl ' ı seçin.

    

16. Toplamlar sekmesine gidin. Sol metin kutusunda, toplam sütununu Averagecomedyıderecelendirme olarak adlandırın. Deyim Oluşturucu aracılığıyla toplama ifadesini girmek için sağ ifade kutusuna tıklayın.

    

17. Sütun derecelendirmesinin ortalamasını almak için avg() toplama işlevini kullanın. Derecelendirme bir dize olduğu ve avg() sayısal bir girişi aldığı için değeri işlev aracılığıyla bir sayıya dönüştürmemiz gerekir toInteger() . Bu ifade şöyle görünür:

    avg(toInteger(Rating))

    İşiniz bittiğinde Kaydet ve son ' a tıklayın.

    

18. Dönüştürme çıkışını görüntülemek için veri önizleme sekmesine gidin. Yalnızca iki sütun varsa, yıl ve Averageıda ortalama derecelendirmesine dikkat edin.

    

19. Ardından, hedef altına bir Havuz dönüştürmesi eklemek istersiniz.

    

20. Havuz havuzunuzu adlandırın. Havuz veri kümenizi oluşturmak için Yeni ' ye tıklayın.

21. Azure Data Lake Storage 2. seçin. Devam’a tıklayın.

22. Delimitedtext öğesini seçin. Devam’a tıklayın.

23. Havuz veri kümenizi MoviesSink olarak adlandırın. Bağlı hizmet için 7. adımda oluşturduğunuz bağlı hizmeti ADLS 2. seçin. Verilerinizi yazmak için bir çıkış klasörü girin. Bu hızlı başlangıçta, ' örnek-veri ' kapsayıcısının ' output ' klasörüne yazıyoruz. Klasörün önceden var olması gerekmez ve dinamik olarak oluşturulabilir. İlk satırı üst bilgi olarak ayarlayın ve içeri aktarma şeması için hiçbiri ' ni seçin. Bittiğinde Tamam ' a tıklayın.

    

Artık veri akışınızı oluşturmayı tamamladınız. İşlem hattınızda çalıştırmak için hazırsınız.

Verileri çalıştırma ve izleme Flow

Yayımlamadan önce bir işlem hattında hata ayıklaması yapabilirsiniz. Bu adımda, veri akışı işlem hattının hata ayıklama çalıştırmasını tetikleyeceksiniz. Veri önizleme verileri yazmazsa, bir hata ayıklama çalıştırması havuz Hedefinizdeki verileri yazar.

1. İşlem hattı tuvaline gidin. Hata ayıklama çalıştırmasını tetiklemek için Hata Ayıkla ' ya tıklayın.

   

2. veri Flow işlem hattı hata ayıklaması, etkin hata ayıklama kümesini kullanır, ancak yine de başlatmak için en az bir dakika sürer. İlerlemeyi Çıkış sekmesi aracılığıyla izleyebilirsiniz. Çalıştırma başarılı olduktan sonra, izleme bölmesini açmak için göz gözlük simgesine tıklayın.

   

3. İzleme bölmesinde her bir dönüştürme adımında harcanan satır sayısını ve süreyi görebilirsiniz.

   

4. Verilerin sütunları ve bölümlenmesi hakkında ayrıntılı bilgi almak için bir dönüşüme tıklayın.

   

Bu hızlı başlangıcı doğru bir şekilde izlediyseniz havuz klasörünüze 83 satır ve 2 sütun yazmış olmanız gerekir. BLOB depolama alanınızı denetleyerek verileri doğrulayabilirsiniz.

Sonraki adımlar

Azure SYNAPSE Analytics desteği hakkında bilgi edinmek için aşağıdaki makalelere ilerleyin: