Lösungsmöglichkeiten
Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.
In diesem Artikel wird eine Lösung für die Verwendung von Azure Kubernetes Service (AKS) zur schnellen Verarbeitung und Analyse einer großen Menge von Streamingdaten von Geräten vorgestellt.
Apache® und Apache Kafka und Apache Spark sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.
Aufbau
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
- Sensoren generieren Daten und streamen diese an Azure API Management.
- Ein AKS-Cluster führt Microservices aus, die als Container hinter einem Netz aus Diensten bereitgestellt werden. Die Container werden mithilfe eines DevOps-Prozesses erstellt und in Azure Container Registry gespeichert.
- Ein Erfassungsdienst speichert Daten in Azure Cosmos DB.
- Ein Analysis-Dienst empfängt die Daten asynchron und streamt sie an Apache Kafka und Azure HDInsight.
- Wissenschaftliche Fachkräfte für Daten verwenden Machine Learning-Modelle und die Splunk-Plattform, um die Daten zu analysieren.
- Ein Verarbeitungsdienst verarbeitet die Daten und speichert das Ergebnis in Azure Database for PostgreSQL. Der Dienst speichert die Daten auch in Azure Cache for Redis zwischen.
- Eine Web-App, die in Azure App Service ausgeführt wird, erstellt Visualisierungen der Ergebnisse.
Komponenten
Die Lösung verwendet die folgenden Schlüsseltechnologien:
- API Management
- App Service
- Azure Cache for Redis
- Containerregistrierung
- Azure Cosmos DB
- Azure-Datenbank für PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Szenariodetails
Diese Lösung eignet sich gut für ein Szenario, das Millionen von Datenpunkten umfasst, in denen die Datenquellen IoT-Geräte (Internet der Dinge), Sensoren und Fahrzeuge umfassen. In einer solchen Situation stellt die Verarbeitung dieser großen Datenmengen eine Herausforderung dar. Die schnelle Analyse der Daten ist eine weitere anspruchsvolle Aufgabe, da Organisationen versuchen, Einblicke in komplexe Szenarien zu erhalten.
Containerisierte Microservices in AKS sind ein wichtiger Bestandteil der Lösung. Diese eigenständigen Dienste erfassen und verarbeiten den Echtzeit-Datenstrom. Sie lassen sich je nach Bedarf skalieren. Die Portabilität der Container ermöglicht es, dass die Dienste in verschiedenen Umgebungen ausgeführt werden und Daten aus mehreren Quellen verarbeiten können. Zum Entwickeln und Bereitstellen der Microservices werden DevOps und Continuous Integration/Continuous Delivery (CI/CD) verwendet. Diese Ansätze verkürzen den Entwicklungszyklus.
Die Lösung verwendet Azure Cosmos DB, um die erfassten Daten zu speichern. Diese Datenbank skaliert Durchsatz und Speicher elastisch, weshalb sie gut für große Datenmengen geeignet ist.
Die Lösung verwendet außerdem Kafka. Diese Streamingplattform mit geringer Latenz verarbeitet Echtzeit-Datenfeeds mit extrem hoher Geschwindigkeit.
Eine weitere wichtige Lösungskomponente ist HDInsight, ein verwalteter Open-Source-Cloudanalysedienst. HDInsight vereinfacht die Ausführung von Big Data-Frameworks mit großem Volumen und Geschwindigkeit bei Verwendung von Apache Spark in Azure. Splunk unterstützt den Datenanalyseprozess. Diese Plattform erstellt Visualisierungen aus Echtzeitdaten und bietet Business Intelligence.
Mögliche Anwendungsfälle
Von dieser Lösung profitieren folgende Bereiche:
- Fahrzeugsicherheit, insbesondere in der Automobilindustrie
- Kundendienst im Einzelhandel und in anderen Branchen
- Cloudlösungen im Gesundheitswesen
- Finanztechnologielösungen in der Finanzindustrie
Nächste Schritte
Produktdokumentation:
- Informationen zu Azure Cache for Redis
- Was ist Azure API Management?
- App Service-Übersicht
- Azure Kubernetes Service
- Einführung in private Docker-Containerregistrierungen in Azure
- Willkommen bei Azure Cosmos DB
- Was ist Azure Database for PostgreSQL?
- Was ist Azure HDInsight?
- Was ist Azure Pipelines?
Microsoft-Trainingsmodule:
- Erstellen und Speichern von Containerimages mit Azure Container Registry
- Konfigurieren von Azure App Service-Plänen
- Arbeiten mit Azure Cosmos DB
- Erstellen einer Azure Database for PostgreSQL-Instanz und Herstellen einer Verbindung damit
- Entwickeln für Azure Cache for Redis
- Erkunden von API Management
- Verwalten von Infrastructure-as-Code mithilfe von Azure und DSC
- Einführung in Azure HDInsight