Menggunakan Azure Data Lake Storage Gen1 untuk mengambil data dari Event Hubs

Pelajari cara menggunakan Azure Data Lake Storage Gen1 untuk mengambil data yang diterima oleh Azure Event Hubs.

Prasyarat

Menetapkan izin ke Event Hubs

Di bagian ini, Anda akan membuat folder di akun tempat Anda ingin mengambil data dari Event Hubs. Anda juga menetapkan izin ke Event Hubs sehingga dapat menulis data ke akun Data Lake Storage Gen1.

  1. Buka akun Data Lake Storage Gen1 tempat Anda ingin mengambil data dari Event Hubs, lalu klik Data Explorer.

    Data Lake Storage Gen1 data explorer

  2. Klik Folder Baru, lalu masukkan nama untuk folder tempat Anda ingin mengambil data.

    Create a new folder in Data Lake Storage Gen1

  3. Tetapkan izin di akar Data Lake Storage Gen1.

    a. Klik Data Explorer, pilih akar akun Data Lake Storage Gen1, lalu klik Akses.

    Screenshot of the Data explorer with the root of the account and the Access option called out.

    b. Pada Akses, klik Tambah, klik Pilih Pengguna atau Grup, lalu cari Microsoft.EventHubs.

    Screenshot of the Access page with the Add option, Select User or Group option, and Microsoft Eventhubs option called out.

    Klik Pilih.

    c. Pada Tetapkan Izin, klik Pilih Izin. Atur Izin ke Eksekusi. Atur Tambah ke ke Folder ini dan semua anaknya. Atur Tambah sebagai ke Entri izin akses dan entri izin default.

    Penting

    Saat membuat hierarki folder baru untuk mengambil data yang diterima oleh Azure Event Hubs, cara ini memudahkan Anda memastikan akses ke folder tujuan. Namun, menambahkan izin ke semua turunan folder tingkat atas dengan banyak file dan folder turunan mungkin akan cukup memakan waktu. Jika folder akar berisi banyak file dan folder, mungkin akan lebih cepat untuk menambahkan izin Eksekusi bagi setiap Microsoft.EventHubs ke setiap folder dalam jalur ke folder tujuan akhir Anda.

    Screenshot of the Assign Permissions section with the Select Permissions option called out. The Select Permissions section is next to it with the Execute option, Add to option, and Add as option called out.

    Klik OK.

  4. Tetapkan izin untuk folder di bawah akun Data Lake Storage Gen1 tempat Anda ingin mengambil data.

    a. Klik Data Explorer, pilih folder di akun Data Lake Storage Gen1, lalu klik Akses.

    Screenshot of the Data explorer with a folder in the account and the Access option called out.

    b. Pada Akses, klik Tambah, klik Pilih Pengguna atau Grup, lalu cari Microsoft.EventHubs.

    Screenshot of the Data explorer Access page with the Add option, Select User or Group option, and Microsoft Eventhubs option called out.

    Klik Pilih.

    c. Pada Tetapkan Izin, klik Pilih Izin. Atur Izin ke Baca, Tulis, dan Eksekusi. Atur Tambah ke ke Folder ini dan semua anaknya. Terakhir, atur Tambah sebagai ke Entri izin akses dan entri izin default.

    Screenshot of the Assign Permissions section with the Select Permissions option called out. The Select Permissions section is next to it with the Read, Write, and Execute options, the Add to option, and the Add as option called out.

    Klik OK.

Mengonfigurasikan Event Hubs untuk mengambil data ke Data Lake Storage Gen1

Di bagian ini, Anda akan membuat Event Hub di dalam namespace Event Hubs. Anda juga akan mengonfigurasikan Event Hub untuk mengambil data ke akun Azure Data Lake Storage Gen1. Bagian ini menganggap Anda telah membuat namespace Event Hubs.

  1. Dari panel Gambaran Umum namespace Event Hubs, klik + Event Hub.

    Screenshot of the Overview pane with the Event Hub option called out.

  2. Berikan nilai berikut ini untuk mengonfigurasikan Event Hubs agar mengambil data ke Data Lake Storage Gen1.

    Screenshot of the Create Event Hub dialog box with the Name text box, the Capture option, the Capture Provider option, the Select Data Lake Store option, and the Data Lake Path option called out.

    a. Berikan nama untuk Event Hub.

    b. Untuk tutorial ini, atur Jumlah Partisi dan Retensi Pesan ke nilai default.

    c. Atur Ambil ke Aktif. Atur Rentang Waktu (seberapa sering mengambil) dan Rentang Ukuran (ukuran data yang diambil).

    d. Untuk Penyedia Pemanggilan, pilih Azure Data Lake Store lalu pilih akun Data Lake Storage Gen1 yang telah dibuat. Untuk Jalur Data Lake, masukkan nama folder yang sudah dibuat di akun Data Lake Storage Gen1. Cukup berikan jalur relatif ke folder.

    e. Biarkan Format nama file pengambilan sampel ke nilai default. Opsi ini mengatur struktur folder yang dibuat di bawah folder pengambilan.

    f. Klik Buat.

Menguji penyiapan

Sekarang Anda dapat menguji solusi dengan mengirim data ke Azure Event Hub. Ikuti instruksi di Mengirim peristiwa ke Azure Event Hubs. Setelah mulai mengirim data, Anda akan melihat data yang dicerminkan di Data Lake Storage Gen1 menggunakan struktur folder yang ditentukan. Sebagai contoh, Anda akan melihat struktur folder, seperti pada tangkapan layar berikut, di akun Data Lake Storage Gen1.

Sample EventHub data in Data Lake Storage Gen1

Catatan

Jika tidak ada pesan yang masuk ke Event Hubs, Event Hubs akan menulis file kosong dengan header saja ke akun Data Lake Storage Gen1. File ditulis pada interval waktu yang sama dengan yang disediakan saat membuat Event Hubs.

Menganalisis data di Data Lake Storage Gen1

Setelah data berada di Data Lake Storage Gen1, Anda dapat melakukan analisis untuk memproses dan mengolah data. Lihat Contoh USQL Avro untuk cara melakukannya menggunakan Azure Data Lake Analytics.

Lihat juga