Output Azure Data Explorer dari Azure Stream Analytics
Anda dapat menggunakan Azure Data Explorer sebagai output untuk menganalisis data beragam dalam volume besar dari sumber data apa pun, seperti situs web, aplikasi, dan perangkat Internet of Things (IoT). Azure Data Explorer adalah layanan eksplorasi data yang cepat dan sangat dapat diskalakan untuk data log dan telemetri. Ini membantu Anda menangani banyak aliran data yang dikeluarkan perangkat lunak modern, sehingga Anda dapat mengumpulkan, menyimpan, dan menganalisis data. Data ini digunakan untuk diagnostik, pemantauan, pelaporan, pembelajaran mesin, dan kemampuan analitik tambahan.
Azure Data Explorer mendukung beberapa metode penyerapan, termasuk konektor ke layanan umum seperti Azure Event Hubs, penyerapan terprogram melalui SDK seperti .NET dan Python, dan akses langsung ke mesin untuk tujuan eksplorasi. Azure Data Explorer terintegrasi dengan layanan analitik dan pemodelan untuk analisis dan visualisasi data tambahan.
Untuk informasi selengkapnya tentang Azure Data Explorer, lihat Apa itu Azure Data Explorer?.
Untuk mempelajari selengkapnya tentang cara membuat kluster Azure Data Explorer dengan menggunakan portal Azure, lihat Mulai Cepat: Membuat kluster dan database Azure Data Explorer.
Catatan
Azure Data Explorer dari Azure Stream Analytics mendukung output ke Azure Synapse Data Explorer. Untuk menulis ke kluster Anda di Azure Synapse Data Explorer, tentukan URL kluster Anda di panel konfigurasi untuk output Azure Data Explorer di pekerjaan Azure Stream Analytics Anda.
Konfigurasi output
Tabel berikut mencantumkan nama properti dan deskripsinya untuk membuat output Azure Data Explorer.
| Nama properti | Deskripsi |
|---|---|
| Alias output | Nama yang mudah diingat yang digunakan dalam kueri untuk mengarahkan output kueri ke database ini. |
| Langganan | Langganan Azure yang ingin Anda gunakan untuk kluster Anda. |
| Kluster | Nama unik yang mengidentifikasi kluster Anda. Nama <domain region.kusto.windows.net> ditambahkan ke nama kluster yang Anda berikan. Nama hanya boleh berisi huruf kecil dan angka. Ini harus berisi 4 hingga 22 karakter. |
| Database | Nama database tempat Anda mengirim output. Nama database harus unik dalam kluster. |
| Autentikasi | Identitas terkelola dari ID Microsoft Entra, yang memungkinkan kluster Anda untuk dengan mudah mengakses sumber daya yang dilindungi Microsoft Entra lainnya, seperti Azure Key Vault. Identitas dikelola oleh platform Azure dan tidak mengharuskan Anda untuk menyediakan atau memutar rahasia. Konfigurasi identitas terkelola saat ini hanya didukung untuk mengaktifkan kunci yang dikelola pelanggan untuk kluster Anda. |
| Table | Nama tabel tempat output ditulis. Nama berkas peka huruf besar/kecil. Skema tabel ini harus sama persis dengan jumlah bidang dan jenisnya yang dihasilkan oleh output pekerjaan Anda. |
Partisi
Pemartisian perlu diaktifkan dan didasarkan pada PARTITION BY klausa dalam kueri. Ketika opsi Partisi Warisan diaktifkan, ia mengikuti partisi input untuk kueri yang sepenuhnya dapat diparalelkan.
Kapan menggunakan Azure Stream Analytics dan Azure Data Explorer
Karakteristik Azure Stream Analytics meliputi:
- Mesin pemrosesan streaming: analitik real-time streaming berkelanjutan
- Pekerjaan berbasis
- Jendela lookback 1 milidetik hingga 7 hari untuk analitik temporal dalam memori dan pemrosesan aliran
- Penyerapan dari Azure Event Hubs dan Azure IoT Hub dengan latensi sub-detik
Karakteristik Azure Data Explorer meliputi:
- Mesin analitik: analitik real time sesuai permintaan dan interaktif
- Mengalirkan penyerapan data ke dalam penyimpanan data persisten, bersama dengan kemampuan kueri
- Penyerapan data dari Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark, dan Azure Data Factory
- Latensi 10 detik hingga 5 menit untuk beban kerja throughput tinggi
- Transformasi data sederhana melalui kebijakan pembaruan selama penyerapan
Anda dapat secara signifikan menumbuhkan cakupan analitik real-time dengan menggunakan Azure Stream Analytics dan Azure Data Explorer bersama-sama. Berikut adalah beberapa skenario:
- Azure Stream Analytics mengidentifikasi anomali secara real time, dan Azure Data Explorer membantu menentukan bagaimana dan mengapa anomali terjadi melalui eksplorasi interaktif.
- Azure Stream Analytics mendeserialisasi aliran data masuk untuk digunakan di Azure Data Explorer (misalnya, menyerap format Protobuf dengan menggunakan deserializer kustom atau format biner kustom).
- Azure Stream Analytics dapat menggabungkan, memfilter, memperkaya, dan mengubah aliran data masuk untuk digunakan di Azure Data Explorer.
Skenario dan batasan lainnya
- Nama kolom dan jenis data harus cocok antara kueri Azure Stream Analytics SQL dan tabel Azure Data Explorer. Perbandingan peka huruf besar/kecil.
- Kolom yang ada di kluster Azure Data Explorer Anda tetapi hilang di Azure Stream Analytics diabaikan. Kolom yang hilang di Azure Stream Analytics menimbulkan kesalahan.
- Urutan kolom Anda di kueri Azure Stream Analytics Anda tidak masalah. Skema tabel Azure Data Explorer menentukan urutan.
- Azure Data Explorer memiliki kebijakan agregasi (batching) untuk penyerapan data yang dirancang untuk mengoptimalkan proses penyerapan. Kebijakan ini dikonfigurasi hingga 5 menit, 1.000 item, atau 1 GB data secara default, sehingga Anda mungkin mengalami latensi. Untuk mengurangi latensi, aktifkan penyerapan streaming pada kluster Anda, lalu tabel atau database dengan mengikuti langkah-langkah dalam Mengonfigurasi penyerapan streaming pada kluster Azure Data Explorer Anda. Untuk opsi agregasi, lihat Kebijakan IngestionBatching.