Share via

Memfilter dan menyerap untuk Azure Data Lake Storage Gen2 menggunakan editor tanpa kode Azure Stream Analytics

  • Artikel

Artikel ini menjelaskan cara menggunakan editor tanpa kode untuk membuat pekerjaan Azure Stream Analytics secara mudah. Ini terus membaca dari Azure Event Hubs Anda, memfilter data masuk, lalu menulis hasilnya terus menerus ke Azure Data Lake Storage Gen2.

Prasyarat

  • Sumber daya Azure Event Hubs Anda harus dapat diakses publik dan tidak berada di belakang firewall atau diamankan di Azure Virtual Network
  • Data di Azure Event Hubs Anda harus diserialisasikan dalam format JSON, CSV, atau Avro.

Mengembangkan pekerjaan Azure Stream Analytics untuk memfilter dan menyerap data secara real-time

  1. Di portal Azure, temukan dan pilih instans Azure Event Hubs.

  2. Pilih Fitur>Data Proses, lalu pilih Mulai pada kartu Filter dan serap ke ADLS Gen2.
    Cuplikan layar yang menampilkan Filter dan penyerapan ke kartu ADLS Gen2 tempat Anda memilih Mulai.

  3. Masukkan nama untuk pekerjaan Azure Stream Analytics, lalu pilih Buat.
    Cuplikan layar yang menampilkan tempat memasukkan nama pekerjaan.

  4. Tentukan Jenis serialisasi data Anda di jendela Azure Event Hubs dan Metode autentikasi yang akan digunakan pekerjaan untuk menyambungkan ke Azure Event Hubs. Kemudian pilih Sambungkan.
    Cuplikan layar yang menampilkan area Azure Event Hubs tempat Anda memilih metode Serialisasi dan Autentikasi.

  5. Jika koneksi berhasil dibuat dan Anda memiliki aliran data yang mengalir ke instans Azure Event Hubs, Anda akan segera melihat dua hal:

    1. Bidang yang ada dalam data input. Anda dapat memilih Tambahkan bidang atau pilih simbol tiga titik di samping bidang untuk menghapus, mengganti nama, atau mengubah jenisnya.
      Cuplikan layar yang menampilkan tempat Anda dapat menambahkan bidang atau menghapus, mengganti nama, atau mengubah jenis bidang.
    2. Sampel langsung data masuk dalam tabel Pratinjau data di bawah tampilan diagram. Ini secara otomatis di-refresh secara berkala. Anda dapat memilih Jeda pratinjau streaming untuk melihat tampilan statis data masukan sampel.
      Cuplikan layar yang menampilkan sampel data pada tab pratinjau Data.

  6. Pilih petak peta Filter. Di area Filter, pilih bidang untuk memfilter data masuk dengan kondisi.
    Cuplikan layar yang menampilkan area Filter tempat Anda dapat menambahkan filter kondisional.

  7. Pilih petak peta Azure Data Lake Storage Gen2. Pilih akun Azure Data Lake Gen2 untuk mengirim data yang difilter:

    1. Pilih langganan, nama akun penyimpanan, dan kontainer dari menu drop-down.
    2. Setelah langganan dipilih, metode autentikasi dan kunci akun penyimpanan harus diisi secara otomatis. Pilih Sambungkan.
      Untuk informasi selengkapnya tentang bidang dan untuk melihat contoh pola jalur, lihat Penyimpanan blob dan output Azure Data Lake Gen2 dari Azure Stream Analytics.
      Cuplikan layar yang menampilkan pengaturan konfigurasi koneksi kontainer blob Azure Data Lake Gen2.

  8. Secara opsional, pilih Dapatkan pratinjau statis/Refresh pratinjau statis untuk melihat pratinjau data yang akan diserap dari Azure Data Lake Storage Gen2.
    Cuplikan layar yang menampilkan pratinjau data dan opsi Refresh pratinjau statik.

  9. Pilih Simpan lalu pilih Mulai pekerjaan Azure Stream Analytics.
    Cuplikan layar yang menampilkan opsi pekerjaan Simpan dan Mulai.

  10. Untuk memulai pekerjaan, tentukan jumlah Unit Streaming (SU) yang dijalankan pekerjaan. SU mewakili jumlah komputasi dan memori yang dialokasikan untuk pekerjaan tersebut. Kami menyarankan agar Anda memulai dengan tiga dan kemudian menyesuaikan sesuai kebutuhan.

  11. Setelah Anda memilih Mulai, pekerjaan mulai berjalan dalam dua menit dan metrik akan terbuka di bagian tab di bawah ini.

    Cuplikan layar yang menampilkan jendela Mulai pekerjaan Azure Stream Analytics.

    Anda dapat melihat pekerjaan pada bawah bagian Data Proses di tab pekerjaan Azure Stream Analytics. Pilih Refresh hingga Anda melihat status pekerjaan Berjalan. Pilih Buka metrik untuk memantaunya atau menghentikan dan memulai ulang, sesuai kebutuhan.

    Cuplikan layar yang menampilkan tab pekerjaan Azure Stream Analytics.

    Berikut ini adalah contoh halaman Metrik:

    Cuplikan layar yang menampilkan halaman Metrik.

Memverifikasi data pada Data Lake Storage

  1. Anda akan melihat file yang dibuat pada kontainer yang Anda tentukan.

    Cuplikan layar yang menampilkan file yang dihasilkan dengan data yang difilter di Azure Data Lake Storage.

  2. Unduh serta buka file untuk mengonfirmasi bahwa Anda hanya melihat data yang difilter. Dalam contoh berikut ini, Anda akan melihat data dengan SwitchNum diatur ke AS.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Langkah berikutnya

Pelajari selengkapnya tentang Azure Stream Analytics dan cara memantau pekerjaan yang telah Anda buat.