Bewerken

Gegevensstreaming met AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Oplossingsideeën

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.

Dit artikel bevat een oplossing voor het gebruik van Azure Kubernetes Service (AKS) om snel een groot aantal streaminggegevens van apparaten te verwerken en te analyseren.

Apache, Apache® Kafka en Apache Spark zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Architectuurdiagram dat laat zien hoe streaminggegevens van apparaten worden opgenomen, verwerkt en geanalyseerd.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Sensoren genereren gegevens en streamen deze naar Azure API Management.
  2. Een AKS-cluster voert microservices uit die worden geïmplementeerd als containers achter een service-mesh. De containers worden gebouwd met behulp van een DevOps-proces en worden opgeslagen in Azure Container Registry.
  3. In een opnameservice worden gegevens opgeslagen in Azure Cosmos DB.
  4. Een analyseservice ontvangt de gegevens asynchroon en streamt deze naar Apache Kafka en Azure HDInsight.
  5. Gegevenswetenschappers gebruiken machine learning-modellen en het Splunk-platform om de gegevens te analyseren.
  6. Een verwerkingsservice verwerkt de gegevens en slaat het resultaat op in Azure Database for PostgreSQL. De service slaat de gegevens ook in de cache op in Azure Cache voor Redis.
  7. Een web-app die wordt uitgevoerd in Azure-app Service maakt visualisaties van de resultaten.

Onderdelen

De oplossing maakt gebruik van de volgende belangrijke technologieën:

Scenariodetails

Deze oplossing is geschikt voor een scenario dat miljoenen gegevenspunten omvat, waarbij gegevensbronnen Internet of Things-apparaten, sensoren en voertuigen omvatten. In een dergelijke situatie is het verwerken van het grote aantal gegevens één uitdaging. Het snel analyseren van de gegevens is een andere veeleisende taak, omdat organisaties proberen inzicht te krijgen in complexe scenario's.

In containers geplaatste microservices in AKS vormen een belangrijk onderdeel van de oplossing. Deze zelfstandige services nemen de realtime gegevensstroom op en verwerken deze. Ze kunnen ook naar behoefte worden geschaald. De draagbaarheid van de containers maakt het mogelijk dat de services in verschillende omgevingen worden uitgevoerd en gegevens uit meerdere bronnen verwerken. Voor het ontwikkelen en implementeren van de microservices worden DevOps en continue integratie/continue levering (CI/CD) gebruikt. Deze benaderingen verkorten de ontwikkelingscyclus.

Voor het opslaan van de opgenomen gegevens gebruikt de oplossing Azure Cosmos DB. Deze database schaalt doorvoer en opslag elastisch, waardoor het een goede keuze is voor grote hoeveelheden gegevens.

De oplossing maakt ook gebruik van Kafka. Dit streamingplatform met lage latentie verwerkt realtime gegevensfeeds met extreem hoge snelheden.

Een ander belangrijk oplossingsonderdeel is HDInsight, een beheerde, opensource cloudanalyseservice. HDInsight vereenvoudigt het uitvoeren van big data-frameworks in grote volumes en snelheid tijdens het gebruik van Apache Spark in Azure. Splunk helpt bij het proces van gegevensanalyse. Dit platform maakt visualisaties van realtime gegevens en biedt business intelligence.

Potentiële gebruikscases

Deze oplossing biedt voordelen voor de volgende gebieden:

  • Voertuigveiligheid, vooral in de automobielindustrie
  • Klantenservice in detailhandel en andere branches
  • Cloudoplossingen voor gezondheidszorg
  • Oplossingen voor financiële technologie in de financiële sector

Volgende stappen

Productdocumentatie:

Microsoft-trainingsmodules: