Azure Event Hubs — Platform streaming big data dan layanan pencernaan peristiwa
Azure Event Hubs — Platform streaming big data dan layanan pencernaan peristiwa Layanan ini dapat menerima dan memproses jutaan peristiwa per detik. Data yang dikirim ke hub peristiwa dapat ditransformasikan dan disimpan menggunakan penyedia analitik real-time atau adapter batching/penyimpanan.
Skenario berikut adalah beberapa skenario di mana Anda bisa menggunakan Azure Event Hubs:
- Deteksi anomali (penipuan/outlier)
- Pengelogan aplikasi
- Alur analitik, seperti clickstream
- Dasbor langsung
- Pengarsipan data
- Pemrosesan transaksi
- Pemrosesan telemetri pengguna
- Streaming telemetri perangkat
Mengapa menggunakan Azure Event Hubs?
Data hanya berharga saat ada cara mudah untuk memproses dan mendapatkan wawasan tepat waktu dari sumber data. Azure Event Hubs menyediakan platform pemrosesan streaming terdistribusi dengan latensi rendah dan integrasi yang mulus, dengan layanan data dan analitik di dalam dan di luar Azure untuk membangun saluran big data lengkap Anda.
Azure Event Hubs mewakili "pintu depan" untuk alur peristiwa, sering disebut ingestor peristiwa dalam arsitektur solusi. Ingestor peristiwa adalah komponen atau layanan yang berada di antara penerbit acara dan konsumen acara untuk memisahkan produksi aliran peristiwa dari konsumsi peristiwa tersebut. Azure Event Hubs menyediakan platform streaming terpadu dengan penyangga retensi waktu, memisahkan produsen acara dari konsumen acara.
Bagian berikut ini menjelaskan fitur utama layanan Azure Event Hubs:
PaaS dikelola sepenuhnya
Azure Event Hubs adalah Platform-as-a-Service (PaaS) yang dikelola sepenuhnya dengan sedikit konfigurasi atau overhead manajemen, sehingga Anda dapat fokus pada solusi bisnis Anda. Azure Event Hubs untuk ekosistem Apache Kafka memberi Anda pengalaman PaaS Kafka tanpa harus mengelola, mengonfigurasi, atau menjalankan kluster Anda.
Dukungan untuk pemrosesan real time dan batch
Ingest, buffer, store, dan proses streaming Anda secara real time untuk mendapatkan wawasan yang dapat ditindaklanjuti. Azure Event Hubs menggunakan model konsumen yang dipartisi, memungkinkan beberapa aplikasi untuk memproses streaming secara bersamaan dan memungkinkan Anda mengontrol kecepatan pemrosesan. Azure Event Hubs juga terintegrasi dengan Azure Functions untuk arsitektur tanpa server.
Mengambil data peristiwa
Ambil data Anda dalam waktu dekat secara real-time di penyimpanan Azure Blob atau Azure Data Lake Storageuntuk retensi jangka panjang atau pemrosesan batch mikro. Anda dapat mencapai perilaku ini pada stream yang sama dengan yang Anda gunakan untuk mendapatkan analitik real-time. Menyiapkan tangkapan data peristiwa itu cepat. Tidak ada biaya administratif untuk menjalankannya, dan pengambilan tersebut diskalakan secara otomatis dengan unit throughput atau unit pemrosesan Pusat Aktivitas. Azure Event Hubs memungkinkan Anda untuk fokus pada pemrosesan data daripada pada tangkapan data.
Terukur
Dengan Azure Event Hubs, Anda dapat memulai dengan aliran data dalam megabyte, dan tumbuh menjadi gigabyte atau terabyte. Fitur Auto-inflate adalah salah satu dari banyak opsi yang tersedia untuk menskalakan jumlah unit throughput atau memproses unit untuk memenuhi kebutuhan penggunaan Anda.
Ekosistem yang kaya
Dengan ekosistem yang luas berdasarkan protokol AMQP 1.0 standar industri dan tersedia dalam berbagai bahasa .NET,Java, Python, JavaScript, Anda dapat dengan mudah mulai memproses streaming Anda dari Azure Event Hubs. Semua bahasa klien yang didukung menyediakan integrasi tingkat rendah. Ekosistem ini juga memberi Anda integrasi yang mulus dengan layanan Azure seperti Azure Stream Analytics dan Azure Functions sehingga memungkinkan Anda untuk membangun arsitektur tanpa server.
Event Hubs untuk Apache Kafka
Azure Event Hubs untuk ekosistem Apache Kafka selanjutnya memungkinkan klien dan aplikasi Apache Kafka (1.0 dan yang lebih baru) untuk berbicara dengan Azure Event Hubs. Anda tidak perlu menyiapkan, mengonfigurasi, dan mengelola kluster Kafka dan Zookeeper Anda sendiri atau menggunakan beberapa penawaran Kafka-as-a-Service yang tidak berasal dari Azure.
Event Hubs premium dan khusus
Event Hubs premium melayani kebutuhan streaming kelas atas yang membutuhkan performa yang unggul, isolasi yang lebih baik dengan latensi yang dapat diprediksi, dan gangguan minimal dalam lingkungan PaaS multipenyewa terkelola. Selain semua fitur penawaran standar, tingkat premium menawarkan beberapa fitur tambahan seperti peningkatan skala partisi dinamis, retensi yang diperluas, dan kunci yang dikelola pelanggan. Untuk mengetahui informasi selengkapnya, lihat Event Hubs Premium.
Tingkat Event Hubs khususmenawarkan penyebaran penyewa tunggal untuk pelanggan dengan kebutuhan streaming paling menuntut. Penawaran penyewa tunggal ini memiliki jaminan 99,99% SLA dan hanya tersedia pada tingkat harga khusus kami. Klaster Event Hubs dapat menampung jutaan aktivitas per detik dengan kapasitas dan latensi subdetik yang terjamin. Namespace layanan dan event hubs yang dibuat di dalam kluster khusus mencakup semua fitur dari penawaran premium dan banyak lagi. Untuk mengetahui informasi selengkapnya, lihat Event Hubs Khusus.
Lihat perbandingan antara tingkat Event Hubs untuk detail selengkapnya.
Azure Event Hubs di Azure Stack Hub
Azure Event Hubs di Azure Stack Hub memungkinkan Anda mewujudkan skenario cloud hibrid. Solusi streaming dan berbasis acara didukung, baik untuk pemrosesan cloud lokal maupun Azure. Apakah skenario Anda hibrid (tersambung), atau terputus, solusi Anda dapat mendukung pemrosesan peristiwa/streaming dalam skala besar. Skenario Anda hanya terikat oleh ukuran kluster Azure Event Hubs, yang dapat Anda penyediaan sesuai dengan kebutuhan Anda.
Edisi Azure Event Hubs (di Azure Stack Hub dan Azure) menawarkan tingkat keseimbangan fitur yang tinggi. Paritas ini berarti SDK, sampel, PowerShell, CLI, dan portal menawarkan pengalaman serupa, dengan beberapa perbedaan.
Untuk informasi selengkapnya, lihat Azure Event Hubs di gambaran umum Azure Stack Hub.
Komponen arsitektur utama
Azure Event Hubs berisi komponen kunci berikut:
- Produsen acara: Setiap entitas yang mengirim data ke hub peristiwa. Penerbit acara dapat menerbitkan acara menggunakan HTTPS atau AMQP 1.0 atau Apache Kafka (1.0 dan ke atas)
- Partisi: Setiap konsumen hanya membaca subset tertentu, atau partisi, dari aliran pesan.
- Grup konsumen: Tampilan (status, posisi, atau offset) dari seluruh hub peristiwa. Grup konsumen memungkinkan aplikasi yang mengonsumsi agar masing-masing memiliki tampilan terpisah dari aliran peristiwa. Mereka membaca aliran secara mandiri dengan kecepatan mereka sendiri dan dengan offset mereka sendiri.
- Unit throughput (tingkat standar) atau unit pemrosesan (tingkat premium) atau unit kapasitas (khusus) : Unit kapasitas yang telah dibeli sebelumnya yang mengontrol kapasitas throughput Azure Event Hubs.
- Penerima peristiwa: Setiap entitas yang membaca data peristiwa dari hub peristiwa. Semua konsumen Azure Event Hubs tersambung melalui sesi AMQP 1.0. Layanan Azure Event Hubs memberikan acara melalui sesi saat tersedia. Semua konsumen Kafka tersambung melalui protokol Kafka 1.0 dan yang lebih baru.
Gambar berikut menunjukkan arsitektur pemrosesan pengaliran Azure Event Hubs:
Langkah berikutnya
Untuk mulai menggunakan Azure Event Hubs, lihat tutorial Kirim dan terima peristiwa:
Untuk mempelajari selengkapnya tentang Azure Event Hubs, lihat artikel berikut ini: