Prozkoumání funkce Event Hubs Capture

  • 3 min

Azure Event Hubs umožňuje automaticky zaznamenávat streamovaná data ve službě Event Hubs v účtu Azure Blob Storage nebo Azure Data Lake Storage podle vašeho výběru s přidanou flexibilitou při zadávání intervalu času nebo velikosti. Nastavení funkce Capture je rychlé, neúčtují se žádné náklady na správu a škáluje se automaticky s jednotkami propustnosti služby Event Hubs na úrovni Standard nebo jednotek zpracování na úrovni Premium.

Image showing capturing of Event Hubs data into Azure Storage or Azure Data Lake Storage

Event Hubs Capture umožňuje zpracovávat kanály založené na dávkách a v reálném čase ve stejném datovém proudu. To znamená, že můžete vytvářet řešení, která v průběhu času rostou s vašimi potřebami.

Jak funguje Funkce Event Hubs Capture

Event Hubs je časově odolná vyrovnávací paměť pro příchozí přenos dat telemetrie, podobně jako distribuovaný protokol. Klíčem ke škálování ve službě Event Hubs je model dělených příjemců. Každý oddíl je nezávislý segment dat a využívá se nezávisle. Tato data se v průběhu času stárne na základě konfigurovatelné doby uchovávání. V důsledku toho se dané centrum událostí nikdy nesplní.

Event Hubs Capture umožňuje zadat vlastní účet a kontejner služby Azure Blob Storage nebo účet Azure Data Lake Store, který se používá k ukládání zachycených dat. Tyto účty můžou být ve stejné oblasti jako vaše centrum událostí nebo v jiné oblasti a přidávají se tak k flexibilitě funkce Event Hubs Capture.

Zachycená data se zapisují ve formátu Apache Avro: kompaktní, rychlý binární formát, který poskytuje bohaté datové struktury s vloženým schématem. Tento formát se běžně používá v ekosystému Hadoop, Stream Analytics a Azure Data Factory. Další informace o práci s Avro najdete dále v tomto článku.

Zachytávání oken

Event Hubs Capture umožňuje nastavit okno pro řízení zachytávání. Toto okno má minimální velikost a časovou konfiguraci s "první zásadou wins", což znamená, že první aktivační událost, ke které došlo, způsobí operaci zachycení. Každý oddíl zachytává nezávisle a zapisuje dokončený objekt blob bloku v době zachycení s názvem pro čas, kdy byl zjištěn interval zachycení. Zásady vytváření názvů úložiště jsou následující:

{Namespace}/{EventHub}/{PartitionId}/{Year}/{Month}/{Day}/{Hour}/{Minute}/{Second}

Všimněte si, že hodnoty kalendářních dat jsou vycpané nulami; Příklad názvu souboru může být:

https://mystorageaccount.blob.core.windows.net/mycontainer/mynamespace/myeventhub/0/2017/12/08/03/03/17.avro

Škálování na jednotky propustnosti

Provoz služby Event Hubs řídí jednotky propustnosti. Jedna jednotka propustnosti umožňuje 1 MB za sekundu nebo 1 000 událostí za sekundu příchozího přenosu dat a dvojnásobné množství výchozího přenosu dat. Služba Event Hubs úrovně Standard je možné nakonfigurovat s 1 až 20 jednotkami propustnosti a můžete si zakoupit další s žádostí o podporu zvýšení kvóty. Využití nad rámec zakoupených jednotek propustnosti je omezené. Event Hubs Capture kopíruje data přímo z interního úložiště Event Hubs, obchází kvóty výchozích přenosů jednotek propustnosti a ukládá výchozí přenos dat pro ostatní čtenáře zpracování, jako je Stream Analytics nebo Spark.

Jakmile je služba Event Hubs Capture nakonfigurovaná, spustí se automaticky při odesílání první události a pokračuje ve spuštění. Služba Event Hubs zapisuje prázdné soubory, pokud nejsou žádná data, aby bylo možné snadněji zjistit, že proces funguje. Tento proces poskytuje předvídatelné tempo a značku, které můžou dodávat dávkové procesory.