Modifica

Streaming dei dati con il servizio Azure Kubernetes

Servizio app di Azure
Gestione API di Azure
Registro Azure Container
Cache di Azure per Redis
Azure Cosmos DB

Idee per le soluzioni

Questo articolo è un'idea di soluzione. Per espandere il contenuto con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o indicazioni sui prezzi, inviare commenti e suggerimenti su GitHub.

Questo articolo presenta una soluzione per l'uso di servizio Azure Kubernetes (AKS) per elaborare e analizzare rapidamente un volume elevato di dati di streaming dai dispositivi.

Apache, Apache Kafka e Apache Spark sono marchi o marchi registrati di Apache® Software Foundation nei Stati Uniti e/o in altri paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Architettura

Diagramma dell'architettura che mostra come vengono inseriti, elaborati e analizzati i dati di streaming dai dispositivi.

Scaricare un file di Visio di questa architettura.

Flusso di dati

  1. I sensori generano dati e lo trasmetteno ad Azure Gestione API.
  2. Un cluster del servizio Azure Kubernetes esegue microservizi distribuiti come contenitori dietro una mesh di servizi. I contenitori vengono compilati usando un processo DevOps e vengono archiviati in Registro Azure Container.
  3. Un servizio di inserimento archivia i dati in Azure Cosmos DB.
  4. In modo asincrono, un servizio di analisi riceve i dati e li trasmette ad Apache Kafka e Azure HDInsight.
  5. I data scientist usano modelli di Machine Learning e la piattaforma Splunk per analizzare i dati.
  6. Un servizio di elaborazione elabora i dati e archivia il risultato in Database di Azure per PostgreSQL. Il servizio memorizza nella cache anche i dati in cache di Azure per Redis.
  7. Un'app Web eseguita in app Azure Servizio crea visualizzazioni dei risultati.

Componenti

La soluzione usa le tecnologie chiave seguenti:

Dettagli dello scenario

Questa soluzione è ideale per uno scenario che coinvolge milioni di punti dati, in cui le origini dati includono dispositivi, sensori e veicoli internet delle cose (IoT). In una situazione di questo tipo, l'elaborazione del volume elevato di dati è una sfida. L'analisi rapida dei dati è un'altra attività impegnativa, perché le organizzazioni cercano di ottenere informazioni dettagliate su scenari complessi.

I microservizi in contenitori nel servizio Azure Kubernetes costituiscono una parte chiave della soluzione. Questi servizi autonomi inseriscono ed elaborano il flusso di dati in tempo reale. Vengono ridimensionate anche in base alle esigenze. La portabilità dei contenitori consente ai servizi di eseguire in ambienti diversi ed elaborare i dati da più origini. Per sviluppare e distribuire i microservizi, vengono usati DevOps e l'integrazione continua/recapito continuo (CI/CD). Questi approcci riducono il ciclo di sviluppo.

Per archiviare i dati inseriti, la soluzione usa Azure Cosmos DB. Questo database ridimensiona in modo elastico la velocità effettiva e l'archiviazione, che lo rende una scelta ottimale per grandi volumi di dati.

La soluzione usa anche Kafka. Questa piattaforma di streaming a bassa latenza gestisce i feed di dati in tempo reale a velocità estremamente elevate.

Un altro componente chiave della soluzione è HDInsight, un servizio di analisi cloud open source gestito. HDInsight semplifica l'esecuzione di framework Big Data in volumi elevati e velocità durante l'uso di Apache Spark in Azure. Splunk aiuta nel processo di analisi dei dati. Questa piattaforma crea visualizzazioni da dati in tempo reale e offre funzionalità di business intelligence.

Potenziali casi d'uso

Questa soluzione offre i vantaggi seguenti:

  • Sicurezza dei veicoli, soprattutto nel settore automobilistico
  • Servizio clienti nelle vendite al dettaglio e in altri settori
  • Soluzioni cloud per il settore sanitario
  • Soluzioni tecnologico finanziarie nel settore finanziario

Passaggi successivi

Documentazione sui prodotti:

Moduli di formazione Microsoft: