Share via

Mengambil data dari Azure Event Hubs dalam format Delta Lake

  • Artikel

Artikel ini menjelaskan cara menggunakan editor tanpa kode untuk mengambil data streaming secara otomatis di Azure Event Hubs dalam akun Azure Data Lake Storage Gen2 dalam format Delta Lake.

Prasyarat

  • Sumber daya Azure Event Hubs dan Azure Data Lake Storage Gen2 Anda harus dapat diakses publik dan tidak dapat berada di belakang firewall atau diamankan di azure Virtual Network.
  • Data di Azure Event Hubs Anda harus diserialisasikan dalam format JSON, CSV, atau Avro.

Mengonfigurasi pekerjaan untuk mengambil data

Gunakan langkah-langkah berikut untuk mengonfigurasi pekerjaan Analisis Aliran untuk mengambil data di Azure Data Lake Storage Gen2.

  1. Di portal Microsoft Azure, pergi ke pusat aktivitas Anda.

  2. Pilih Data Proses Fitur>, dan pilih Mulai pada kartu format Ambil data ke ADLS Gen2 di Delta Lake.
    Cuplikan layar yang menampilkan Proses kartu mulai data Azure Event Hubs.

    Atau, pilih Pengambilan Fitur>, dan pilih opsi Delta Lake di bagian "Format serialisasi peristiwa output", lalu pilih Mulai konfigurasi pengambilan data. Cuplikan layar memperlihatkan titik masuk pembuatan data pengambilan.

  3. Masukkan nama untuk mengidentifikasi pekerjaan Azure Stream Analytics Anda. Pilih Buat.
    Cuplikan layar yang menampilkan jendela pekerjaan Azure Stream Analytics Baru tempat Anda memasukkan nama pekerjaan.

  4. Tentukan jenis Serialisasi data Anda di Azure Event Hubs dan metode Autentikasi yang digunakan pekerjaan untuk menyambungkan ke Azure Event Hubs. Kemudian pilih Sambungkan. Cuplikan layar yang menampilkan konfigurasi koneksi Azure Event Hubs.

  5. Ketika koneksi berhasil dibuat, Anda akan melihat:

    • Bidang yang ada dalam data input. Anda dapat memilih Tambahkan bidang atau Anda dapat memilih simbol tiga titik di samping bidang untuk menghapus, mengganti nama, atau mengubah namanya secara opsional.
    • Sampel langsung data masuk dalam tabel Pratinjau data di bawah tampilan diagram. Ini di-refresh secara berkala. Anda dapat memilih Jeda pratinjau streaming untuk melihat tampilan statis input sampel.
      Cuplikan layar yang menampilkan sampel data pada Pratinjau Data.

  6. Pilih petak peta Azure Data Lake Storage Gen2 untuk mengedit konfigurasi.

  7. Pada halaman konfigurasi Azure Data Lake Storage Gen2, ikuti langkah-langkah berikut:

    1. Pilih langganan, nama akun penyimpanan, dan kontainer dari menu drop-down.

    2. Setelah langganan dipilih, metode autentikasi dan kunci akun penyimpanan harus diisi secara otomatis.

    3. Untuk jalur tabel Delta, ini digunakan untuk menentukan lokasi dan nama tabel Delta Lake Anda yang disimpan di Azure Data Lake Storage Gen2. Anda dapat memilih untuk menggunakan satu atau beberapa segmen jalur untuk menentukan jalur ke tabel delta dan nama tabel delta. Untuk mempelajari selengkapnya, lihat Menulis ke tabel Delta Lake.

    4. Pilih Sambungkan.

      Cuplikan layar pertama yang menampilkan jendela Blob tempat Anda mengedit konfigurasi koneksi blob.

  8. Saat koneksi dibuat, Anda akan melihat bidang yang ada dalam data output.

  9. Pilih Simpan pada bilah perintah untuk menyimpan konfigurasi Anda.

  10. Pilih Mulai untuk memulai alur streaming untuk mengambil data. Kemudian di jendela pekerjaan Mulai Analisis Aliran:

    1. Pilih waktu mulai keluaran.
    2. Pilih jumlah Unit Streaming (SU) yang dijalankan pekerjaan. SU mewakili sumber daya komputasi yang dialokasikan untuk menjalankan tugas Analisis Aliran. Untuk informasi selengkapnya, lihat Unit Streaming di Azure Stream Analytics.
      Cuplikan layar yang menampilkan jendela Mulai pekerjaan Azure Stream Analytics tempat Anda mengatur waktu mulai output, unit streaming, dan penanganan kesalahan.

  11. Setelah Anda memilih Mulai, pekerjaan mulai berjalan dalam dua menit, dan metrik akan terbuka di bagian tab seperti yang ditunjukkan pada gambar berikut. Cuplikan layar yang menunjukkan bagan metrik.

  12. Pekerjaan baru dapat dilihat di tab pekerjaan Azure Stream Analytics . Cuplikan layar yang menampilkan link Buka Metrik yang dipilih.

Verifikasi output

Verifikasi bahwa file parket dengan format danau Delta dihasilkan dalam kontainer Azure Data Lake Storage.

Cuplikan layar memperlihatkan file Parquet yang dihasilkan di kontainer Azure Data Lake Storage (ADLS).

Langkah berikutnya

Sekarang Anda tahu cara menggunakan editor tanpa kode Azure Stream Analytics untuk membuat pekerjaan yang mengambil data Azure Event Hubs ke Azure Data Lake Storage Gen2 dalam format danau Delta. Selanjutnya, Anda dapat mempelajari selengkapnya tentang Azure Stream Analytics dan cara memantau pekerjaan yang Anda buat.