Edit

Streaming data dengan AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Ide solusi

Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.

Artikel ini menyajikan solusi untuk menggunakan Azure Kubernetes Service (AKS) untuk memproses dan menganalisis data streaming dalam volume besar dari perangkat dengan cepat.

Apache®, Apache Kafka, dan Apache Spark adalah merek dagang terdaftar atau merek dagang Dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan oleh The Apache Software Foundation yang tersirat oleh penggunaan tanda ini.

Sistem

Diagram arsitektur yang menunjukkan bagaimana data streaming dari perangkat diserap, diproses, dan dianalisis.

Unduh file Visio arsitektur ini.

Aliran data

  1. Sensor menghasilkan data dan mengalirkannya ke Azure API Management.
  2. Kluster AKS menjalankan layanan mikro yang disebarkan sebagai kontainer di belakang jala layanan. Kontainer dibuat dengan menggunakan proses DevOps dan disimpan di Azure Container Registry.
  3. Layanan penyerapan menyimpan data di Azure Cosmos DB.
  4. Secara asinkron, layanan analisis menerima data dan mengalirkannya ke Apache Kafka dan Azure HDInsight.
  5. Ilmuwan data menggunakan model pembelajaran mesin dan platform Splunk untuk menganalisis data.
  6. Layanan pemrosesan memproses data dan menyimpan hasilnya di Azure Database for PostgreSQL. Layanan ini juga menyimpan data di Azure Cache for Redis.
  7. Aplikasi web yang berjalan di Azure App Service membuat visualisasi hasil.

Komponen

Solusi ini menggunakan teknologi utama berikut:

Detail skenario

Solusi ini cocok untuk skenario yang melibatkan jutaan titik data, di mana sumber data mencakup perangkat, sensor, dan kendaraan Internet of Things (IoT). Dalam situasi seperti itu, memproses volume data yang besar adalah salah satu tantangan. Menganalisis data dengan cepat adalah tugas lain yang menuntut, karena organisasi berusaha mendapatkan wawasan tentang skenario yang kompleks.

Layanan mikro dalam kontainer di AKS membentuk bagian kunci dari solusi. Layanan mandiri ini menyerap dan memproses aliran data real time. Mereka juga menskalakan sesuai kebutuhan. Portabilitas kontainer memungkinkan layanan berjalan di lingkungan yang berbeda dan memproses data dari beberapa sumber. Untuk mengembangkan dan menyebarkan layanan mikro, DevOps dan integrasi berkelanjutan/pengiriman berkelanjutan (CI/CD) digunakan. Pendekatan ini mempersingkat siklus pengembangan.

Untuk menyimpan data yang diserap, solusinya menggunakan Azure Cosmos DB. Database ini secara elastis menskalakan throughput dan penyimpanan, yang menjadikannya pilihan yang baik untuk data dalam volume besar.

Solusinya juga menggunakan Kafka. Platform streaming latensi rendah ini menangani umpan data real-time dengan kecepatan yang sangat tinggi.

Komponen solusi utama lainnya adalah HDInsight, yang merupakan layanan analitik cloud sumber terbuka terkelola. HDInsight menyederhanakan menjalankan kerangka kerja big data dalam volume dan kecepatan besar saat menggunakan Apache Spark di Azure. Splunk membantu dalam proses analisis data. Platform ini membuat visualisasi dari data real-time dan menyediakan kecerdasan bisnis.

Kemungkinan kasus penggunaan

Solusi ini menguntungkan area berikut:

  • Keselamatan kendaraan, terutama di industri otomotif
  • Layanan pelanggan di ritel dan industri lainnya
  • Solusi cloud layanan kesehatan
  • Solusi teknologi keuangan di industri keuangan

Langkah berikutnya

Dokumentasi produk:

Modul pelatihan Microsoft: