Memproses file teks berdurasi tetap menggunakan aliran data pemetaan Azure Data Factory

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dengan menggunakan aliran data pemetaan di Microsoft Azure Data Factory, Anda dapat mengubah data dari file teks lebar tetap. Dalam tugas berikut, kita akan menentukan himpunan data untuk file teks tanpa pembatas, lalu menyiapkan pemisahan substring berdasarkan posisi biasa.

Buat alur

  1. Pilih +Alur Baru untuk membuat alur baru.

  2. Tambahkan aktivitas aliran data, yang akan digunakan untuk memproses file lebar tetap:

    Fixed Width Pipeline

  3. Dalam aktivitas aliran data, pilih Aliran data pemetaan baru.

  4. Tambahkan transformasi Sumber, Kolom Turunan, Pilih, dan Sink:

    Fixed Width Data Flow

  5. Konfigurasikan transformasi Sumber untuk menggunakan himpunan data baru, yang akan menjadi jenis Teks Dibatasi.

  6. Jangan tetapkan pembatas atau header kolom apa pun.

    Sekarang kita akan menetapkan titik awal dan panjang bidang untuk konten file ini:

    1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468
1234567813572468

  7. Di tab Proyeksi dari transformasi Sumber, Anda akan melihat kolom string yang bernama Column_1.

  8. Di kolom Turunan, buat kolom baru.

  9. Kita akan memberi nama kolom sederhana seperti col1.

  10. Di penyusun ekspresi, masukkan berikut:

    substring(Column_1,1,4)

    derived column

  11. Ulangi langkah 10 untuk semua kolom yang perlu Anda uraikan.

  12. Pilih tab Inspeksi untuk melihat kolom baru yang akan dibuat:

    inspect

  13. Gunakan transformasi Pilih untuk menghapus kolom apa pun yang tidak Anda perlukan untuk transformasi:

    select transformation

  14. Gunakan Sink untuk mengirimkan data ke folder:

    fixed width sink

    Berikut tampilan outputnya:

    fixed width output

Data lebar tetap sekarang dibagi, dengan masing-masing empat karakter dan ditetapkan ke Col1, Col2, Col3, Col4, dan sebagainya. Berdasarkan contoh sebelumnya, data dibagi menjadi empat kolom.

Konten terkait

  • Susun logika aliran data Anda lainnya dengan menggunakan transformasi pemetaan aliran data.