Hub eventi di Azure: piattaforma di streaming di dati in tempo reale con supporto nativo di Apache Kafka
Hub eventi di Azure è un servizio di streaming di dati nativo del cloud che può trasmettere milioni di eventi al secondo, con bassa latenza, da qualsiasi origine a qualsiasi destinazione. Hub eventi è compatibile con Apache Kafka e consente di eseguire carichi di lavoro Kafka esistenti senza modifiche al codice.
Usando Hub eventi per inserire e archiviare i dati di streaming, le aziende possono sfruttare la potenza dei dati di streaming per ottenere informazioni dettagliate preziose, favorire l'analisi in tempo reale e rispondere agli eventi man mano che si verificano, migliorando l'efficienza complessiva e l'esperienza dei clienti.
Hub eventi di Azure è il livello di inserimento di eventi preferito di qualsiasi soluzione di streaming di eventi compilata in Azure. Si integra perfettamente con i servizi di analisi e dati all'interno e all'esterno di Azure per compilare la pipeline di streaming dei dati completa per soddisfare i casi d'uso seguenti.
- Analisi in tempo reale con Analisi di flusso di Azure per generare informazioni dettagliate in tempo reale dai dati di streaming.
- Analizzare ed esplorare i dati di streaming con Azure Esplora dati.
- Creare applicazioni, funzioni o microservizi nativi del cloud che vengono eseguiti sui dati di streaming da Hub eventi.
- Trasmettere eventi con convalida dello schema usando un registro schemi predefinito per garantire la qualità e la compatibilità dei dati di streaming.
Funzionalità chiave
Apache Kafka in Hub eventi di Azure
Hub eventi di Azure è un motore di streaming di eventi multi-protocollo che supporta in modo nativo i protocolli AMQP, Apache Kafka e HTTPs. Poiché supporta Apache Kafka, è possibile portare i carichi di lavoro Kafka in Hub eventi di Azure senza apportare alcuna modifica al codice. Non è necessario configurare, configurare e gestire cluster Kafka personalizzati o usare un'offerta Kafka-as-a-Service non nativa di Azure.
Hub eventi viene creato da zero come motore di broker nativo del cloud. Di conseguenza, è possibile eseguire carichi di lavoro Kafka con prestazioni migliori, una migliore efficienza dei costi e senza sovraccarico operativo.
Per altre informazioni, vedere Hub eventi di Azure per Apache Kafka.
Registro schemi in Hub eventi di Azure
Registro schemi di Azure in Hub eventi offre un repository centralizzato per la gestione degli schemi di applicazioni di streaming di eventi. Registro schemi di Azure è gratuito con ogni spazio dei nomi di Hub eventi e si integra perfettamente con le applicazioni Kafka o le applicazioni basate su Hub eventi SDK.
Garantisce la compatibilità e la coerenza dei dati tra producer di eventi e consumer. Il Registro schemi consente un'evoluzione, una convalida e una governance dello schema semplici e promuove un efficiente scambio di dati e interoperabilità.
Il Registro schemi si integra perfettamente con le applicazioni Kafka esistenti e supporta più formati di schema, tra cui Avro e JSON Schemas.
Per altre informazioni, vedere Registro schemi di Azure in Hub eventi.
Elaborazione in tempo reale degli eventi di streaming con Analisi di flusso di Azure
Hub eventi si integra perfettamente con Analisi di flusso di Azure per abilitare l'elaborazione dei flussi in tempo reale. Con l'editor senza codice predefinito, è possibile sviluppare facilmente un processo di Analisi di flusso usando la funzionalità di trascinamento della selezione, senza scrivere codice.
In alternativa, gli sviluppatori possono usare il linguaggio di query di Analisi di flusso basato su SQL per eseguire l'elaborazione dei flussi in tempo reale e sfruttare un'ampia gamma di funzioni per l'analisi dei dati di streaming.
Per altre informazioni, vedere gli articoli nella sezione Integrazione di Analisi di flusso di Azure del sommario.
Esplorazione dei dati in streaming con Azure Esplora dati
Azure Esplora dati è una piattaforma completamente gestita per l'analisi dei Big Data che offre prestazioni elevate e consente l'analisi di grandi volumi di dati quasi in tempo reale. Integrando Hub eventi con Azure Esplora dati, è possibile eseguire facilmente analisi quasi in tempo reale ed esplorazione dei dati di streaming.
Per altre informazioni, vedere Inserire dati da un hub eventi in Azure Esplora dati e articoli nella stessa sezione.
Ecosistema avanzato: funzioni, SDK e ecosistema Kafka di Azure
Inserimento, memorizzazione nel buffer, archiviazione ed elaborazione del flusso in tempo reale per ottenere informazioni dettagliate di utilità pratica. Hub eventi usa un modello di consumer partizionato, consentendo a più applicazioni di elaborare contemporaneamente il flusso e all'utente di controllare la velocità di elaborazione. Hub eventi di Azure si integra anche con Funzioni di Azure per le architetture serverless.
Con un ampio ecosistema disponibile per il protocollo EMQP 1.0 standard del settore e gli SDK disponibili in diversi linguaggi: .NET, Java, Python, JavaScript, è possibile avviare facilmente l'elaborazione dei flussi da Hub eventi. Tutte i linguaggi lato client supportati offrono un'integrazione di basso livello.
L'ecosistema offre anche un'integrazione semplice Funzioni di Azure, Azure Spring Apps, Connessione ors Kafka e altre piattaforme e tecnologie di analisi dei dati, ad esempio Apache Spark e Apache Flink.
Streaming di eventi flessibile e conveniente
È possibile sperimentare flussi di eventi flessibili e convenienti tramite la selezione diversificata di livelli di Hub eventi, tra cui Standard, Premium e Dedicato. Queste opzioni consentono di soddisfare le esigenze di streaming dei dati, che vanno da pochi MB/s a diversi GB/s, consentendo di scegliere la corrispondenza perfetta per i propri requisiti.
Scalabile
Con Hub eventi, è possibile iniziare con i flussi di dati in MB, per poi aumentare ai GB o TB. La funzionalità Aumento automatico è una delle molte opzioni disponibili per ridimensionare il numero di unità elaborate o unità di elaborazione per soddisfare le esigenze di utilizzo.
Acquisire dati di streaming per la conservazione a lungo termine e l'analisi batch
Acquisire i dati in tempo quasi reale in un archivio BLOB di Azure o in Azure Data Lake Archiviazione per l'elaborazione a lungo termine o micro batch. È possibile ottenere questo comportamento con lo stesso flusso usato per la derivazione di analisi in tempo reale. La configurazione dell'acquisizione di dati degli eventi è una procedura rapida.
Funzionamento
Hub eventi offre una piattaforma di streaming di eventi unificata con buffer di conservazione del tempo, separando i producer di eventi dai consumer di eventi. I producer e le applicazioni consumer possono eseguire l'inserimento di dati su larga scala tramite più protocolli.
La figura seguente illustra i componenti chiave dell'architettura di Hub eventi:
I componenti funzionali principali di Hub eventi includono:
- Le applicazioni producer possono inserire dati in un hub eventi usando gli SDK di Hub eventi o qualsiasi client producer Kafka.
- Lo spazio dei nomi è il contenitore di gestione per uno o più hub eventi o argomenti Kafka. Le attività di gestione, ad esempio l'allocazione della capacità di streaming, la configurazione della sicurezza di rete, l'abilitazione del ripristino di emergenza geografico e così via, vengono gestite a livello di spazio dei nomi.
- Argomento di Hub eventi/Kafka: in Hub eventi è possibile organizzare gli eventi in un hub eventi o in un argomento Kafka. Si tratta di un log distribuito di accodamento, che può essere costituito da una o più partizioni.
- Le partizioni vengono usate per ridimensionare un hub eventi. Sono come corsie in una strada libera. Se è necessaria una maggiore velocità effettiva di streaming, è necessario aggiungere altre partizioni.
- Le applicazioni consumer usano i dati cercando il registro eventi e mantenendo l'offset del consumer. I consumer possono essere client consumer Kafka o client SDK di Hub eventi.
- Il gruppo di consumer è un gruppo logico di istanze consumer che legge i dati da un argomento hub eventi/Kafka. Consente a più consumer di leggere gli stessi dati di streaming in un hub eventi in modo indipendente e con i propri offset.
Passaggi successivi
Per iniziare a usare Hub eventi, vedere le guide introduttive seguenti.
Trasmettere dati con Hub eventi SDK (AMQP)
È possibile usare uno degli esempi seguenti per trasmettere i dati a Hub eventi usando gli SDK.
Trasmettere dati con Apache Kafka
È possibile usare gli esempi seguenti per trasmettere dati dalle applicazioni Kafka a Hub eventi.
Convalida dello schema con registro schemi
È possibile usare il Registro schemi di Hub eventi per eseguire la convalida dello schema per le applicazioni di streaming di eventi.