Esplorare la funzionalità Acquisizione di Hub eventi
Hub eventi di Azure consente di acquisire automaticamente i dati in streaming di Hub eventi in un account di Archiviazione BLOB di Azure o Azure Data Lake Storage a scelta, con la possibilità di specificare un intervallo di tempo o di dimensioni. La configurazione di Acquisizione è veloce, non ci sono costi amministrativi per eseguirla e viene ridimensionata automaticamente con le unità di velocità effettiva di Hub eventi nel livello standard o con le unità di elaborazione nel livello Premium.
Acquisizione di Hub eventi consente di elaborare pipeline in tempo reale e basate su batch nello stesso flusso. Ciò significa che è possibile compilare soluzioni che si adattano alle esigenze nel corso del tempo.
Come funziona Acquisizione di Hub eventi
Hub eventi è un buffer durevole per la conservazione basata sul tempo per l'ingresso dei dati di telemetria, simile a un log distribuito. La chiave per il dimensionamento in Hub eventi è il modello di consumer partizionato. Ogni partizione è un segmento indipendente di dati e viene utilizzata in modo indipendente. Nel corso del tempo questi dati diventano obsoleti, a seconda del periodo di conservazione configurabile. Di conseguenza, un determinato hub eventi non sarà mai "troppo pieno".
Acquisizione di Hub eventi consente di specificare il proprio account di archiviazione BLOB di Azure e il contenitore o l'account Data Lake Store Azure, usati per archiviare i dati acquisiti. Questi account possono trovarsi nella stessa area dell'hub eventi o in un'altra area, contribuendo alla flessibilità della funzionalità Acquisizione di Hub eventi.
I dati acquisiti vengono scritti in formato Apache Avro: un formato binario compatto e rapido che fornisce strutture di dati complesse con schema inline. Questo formato è largamente usato nell'ecosistema Hadoop, dall'analisi di flusso e da Azure Data Factory. Altre informazioni sull'uso di Avro sono disponibili più avanti in questo articolo.
Acquisire windowing
Acquisizione di Hub eventi consente di configurare una finestra per controllare l'acquisizione. Questa finestra è una dimensione minima e una configurazione a tempo con un criterio basato sulla precedenza, ovvero il primo trigger rilevato avvia un'operazione di acquisizione. Ogni partizione acquisisce in modo indipendente e scrive un BLOB in blocchi completo al momento dell'acquisizione, denominato in base all'ora in cui è stato rilevato l'intervallo di acquisizione. La convenzione di denominazione per l'archiviazione è la seguente:
{Namespace}/{EventHub}/{PartitionId}/{Year}/{Month}/{Day}/{Hour}/{Minute}/{Second}
I valori di dati vengono riempiti con zeri. Un nome file di esempio potrebbe essere:
https://mystorageaccount.blob.core.windows.net/mycontainer/mynamespace/myeventhub/0/2017/12/08/03/03/17.avro
Ridimensionamento alle unità elaborate
Il traffico di Hub eventi è controllato tramite le unità elaborate. Una singola unità elaborata consente 1 MB al secondo o 1000 eventi al secondo in ingresso e il doppio in uscita. Hub eventi Standard può essere configurato con 1-20 unità elaborate e altre possono essere acquistate con una richiesta di supporto per l'aumento della quota. L'uso superiore rispetto alle unità elaborate acquistate è limitato. Acquisizione di Hub eventi copia i dati direttamente dalla memoria di Hub eventi interna, ignorando le quote in uscita di unità elaborate e salvando l'uscita per altri lettori di elaborazione, ad esempio l'analisi di flusso o Spark.
Acquisizione di Hub eventi, dopo essere stata configurata, viene eseguita automaticamente quando si invia il primo evento e continua l'esecuzione. Per permettere all'elaborazione downstream di sapere che il processo funziona, Hub eventi scrive file vuoti quando non sono presenti dati. Questo processo ottiene una cadenza prevedibile e un marcatore che possono alimentare i processori batch.