Menggunakan Azure Data Lake Storage Gen1 untuk mengambil data dari Event Hubs

  • Artikel

Pelajari cara menggunakan Azure Data Lake Storage Gen1 untuk mengambil data yang diterima oleh Azure Event Hubs.

Prasyarat

Menetapkan izin ke Event Hubs

Di bagian ini, Anda akan membuat folder di akun tempat Anda ingin mengambil data dari Event Hubs. Anda juga menetapkan izin ke Event Hubs sehingga dapat menulis data ke akun Data Lake Storage Gen1.

  1. Buka akun Data Lake Storage Gen1 tempat Anda ingin mengambil data dari Event Hubs, lalu klik Data Explorer.

    Data Lake Storage Gen1 data explorer

  2. Klik Folder Baru, lalu masukkan nama untuk folder tempat Anda ingin mengambil data.

    Buat folder baru di Data Lake Storage Gen1

  3. Tetapkan izin di akar Data Lake Storage Gen1.

    a. Klik Data Explorer, pilih akar akun Data Lake Storage Gen1, lalu klik Akses.

    Cuplikan layar Penjelajah data dengan akar akun dan opsi Akses dipanggil.

    b. Pada Akses, klik Tambah, klik Pilih Pengguna atau Grup, lalu cari Microsoft.EventHubs.

    Cuplikan layar halaman Akses dengan opsi Tambahkan, Pilih Pengguna atau Grup, dan opsi Microsoft Eventhubs dipanggil.

    Klik Pilih.

    c. Pada Tetapkan Izin, klik Pilih Izin. Atur Izin ke Eksekusi. Atur Tambah ke ke Folder ini dan semua anaknya. Atur Tambah sebagai ke Entri izin akses dan entri izin default.

    Penting

    Saat membuat hierarki folder baru untuk mengambil data yang diterima oleh Azure Event Hubs, cara ini memudahkan Anda memastikan akses ke folder tujuan. Namun, menambahkan izin ke semua turunan folder tingkat atas dengan banyak file dan folder turunan mungkin akan cukup memakan waktu. Jika folder akar berisi banyak file dan folder, mungkin akan lebih cepat untuk menambahkan izin Eksekusi bagi setiap Microsoft.EventHubs ke setiap folder dalam jalur ke folder tujuan akhir Anda.

    Cuplikan layar bagian Tetapkan Izin dengan opsi Pilih Izin dipanggil. Bagian Pilih Izin berada di sampingnya dengan opsi Jalankan, tambahkan ke, dan opsi Tambahkan sebagai dipanggil.

    Klik OK.

  4. Tetapkan izin untuk folder di bawah akun Data Lake Storage Gen1 tempat Anda ingin mengambil data.

    a. Klik Data Explorer, pilih folder di akun Data Lake Storage Gen1, lalu klik Akses.

    Cuplikan layar Data explorer dengan folder di akun dan opsi Akses dipanggil.

    b. Pada Akses, klik Tambah, klik Pilih Pengguna atau Grup, lalu cari Microsoft.EventHubs.

    Cuplikan layar halaman Akses Penjelajah data dengan opsi Tambahkan, Pilih Pengguna atau Grup, dan opsi Microsoft Eventhubs dipanggil.

    Klik Pilih.

    c. Pada Tetapkan Izin, klik Pilih Izin. Atur Izin ke Baca, Tulis, dan Eksekusi. Atur Tambah ke ke Folder ini dan semua anaknya. Terakhir, atur Tambah sebagai ke Entri izin akses dan entri izin default.

    Cuplikan layar bagian Tetapkan Izin dengan opsi Pilih Izin dipanggil. Bagian Pilih Izin berada di sampingnya dengan opsi Baca, Tulis, dan Jalankan, opsi Tambahkan ke, dan opsi Tambahkan sebagai dipanggil.

    Klik OK.

Mengonfigurasikan Event Hubs untuk mengambil data ke Data Lake Storage Gen1

Di bagian ini, Anda akan membuat Event Hub di dalam namespace Event Hubs. Anda juga akan mengonfigurasikan Event Hub untuk mengambil data ke akun Azure Data Lake Storage Gen1. Bagian ini menganggap Anda telah membuat namespace Event Hubs.

  1. Dari panel Gambaran Umum namespace Event Hubs, klik + Event Hub.

    Cuplikan layar panel Gambaran Umum dengan opsi Pusat Aktivitas dipanggil.

  2. Berikan nilai berikut ini untuk mengonfigurasikan Event Hubs agar mengambil data ke Data Lake Storage Gen1.

    Cuplikan layar kotak dialog Buat Pusat Aktivitas dengan kotak teks Nama, opsi Ambil, opsi Ambil Penyedia, opsi Pilih Data Lake Store, dan opsi Jalur Data Lake dipanggil.

    a. Berikan nama untuk Event Hub.

    b. Untuk tutorial ini, atur Jumlah Partisi dan Retensi Pesan ke nilai default.

    c. Atur Ambil ke Aktif. Atur Rentang Waktu (seberapa sering mengambil) dan Rentang Ukuran (ukuran data yang diambil).

    d. Untuk Penyedia Pemanggilan, pilih Azure Data Lake Store lalu pilih akun Data Lake Storage Gen1 yang telah dibuat. Untuk Jalur Data Lake, masukkan nama folder yang sudah dibuat di akun Data Lake Storage Gen1. Cukup berikan jalur relatif ke folder.

    e. Biarkan Format nama file pengambilan sampel ke nilai default. Opsi ini mengatur struktur folder yang dibuat di bawah folder pengambilan.

    f. Klik Buat.

Menguji penyiapan

Sekarang Anda dapat menguji solusi dengan mengirim data ke Azure Event Hub. Ikuti instruksi di Mengirim peristiwa ke Azure Event Hubs. Setelah mulai mengirim data, Anda akan melihat data yang dicerminkan di Data Lake Storage Gen1 menggunakan struktur folder yang ditentukan. Sebagai contoh, Anda akan melihat struktur folder, seperti pada tangkapan layar berikut, di akun Data Lake Storage Gen1.

Contoh data EventHub dalam data Data Lake Storage Gen1

Catatan

Jika tidak ada pesan yang masuk ke Event Hubs, Event Hubs akan menulis file kosong dengan header saja ke akun Data Lake Storage Gen1. File ditulis pada interval waktu yang sama dengan yang disediakan saat membuat Event Hubs.

Menganalisis data di Data Lake Storage Gen1

Setelah data berada di Data Lake Storage Gen1, Anda dapat melakukan analisis untuk memproses dan mengolah data. Lihat Contoh USQL Avro untuk cara melakukannya menggunakan Azure Data Lake Analytics.

Lihat juga