Azure 事件中樞 – 具有原生 Apache Kafka 支援的即時資料串流平台

Azure 事件中樞是雲端原生資料串流服務,每秒可從任何來源串流數百萬個事件到任何目的地,且延遲低。 事件中樞與 Apache Kafka 相容,可讓您執行現有的 Kafka 工作負載,而不需要變更任何程式碼。

企業可以使用事件中樞內嵌及儲存串流資料,利用串流資料的強大功能來取得寶貴的見解、推動即時分析,以及在事件發生時回應事件,從而提高整體效率和客戶體驗。

Diagram that shows how Azure Event Hubs fits in an event streaming platform.

Azure 事件中樞是您建置在 Azure 上的任何事件串流解決方案慣用事件擷取層。 其會與 Azure 內外的資料和分析服務緊密整合,以建置完整的資料串流管線,提供下列使用案例。

主要功能

Azure 事件中樞上的 Apache Kafka

Azure 事件中樞是多通訊協定事件串流引擎,原生支援 AMQP、Apache Kafka 和 HTTP 通訊協定。 因為其支援 Apache Kafka,因此您可以將 Kafka 工作負載帶入 Azure 事件中樞,而不需要進行任何程式碼變更。 您不需要安裝、設定及管理自己的 Kafka 叢集,或使用非 Azure 原生的 Kafka 即服務供應項目。

事件中樞會從頭開始建置為雲端原生訊息代理程式引擎。 因此,您可以更佳的效能、更高的成本效益來執行 Kafka 工作負載,而且不需要操作額外負荷。

如需詳細資訊,請參閱適用於 Apache Kafka 的 Azure 事件中樞

Azure 事件中樞中的結構描述登錄

事件中樞中的 Azure 結構描述登錄提供集中式存放庫來管理事件串流應用程式的結構描述。 Azure 結構描述登錄隨附於每個事件中樞命名空間,並與 Kafka 應用程式或事件中樞 SDK 型應用程式緊密整合。

Diagram that shows Schema Registry and Azure Event Hubs integration.

其可確保事件產生者與取用者之間的資料相容性和一致性。 結構描述登錄可讓您順暢地進行結構描述演進、驗證和治理,並提升有效率的資料交換和互通性。

結構描述登錄可順暢地與現有的 Kafka 應用程式整合,並支援多種結構描述格式,包括 Avro 和 JSON 結構描述。

如需詳細資訊,請參閱事件中樞中的 Azure 結構描述登錄

使用 Azure 串流分析即時處理串流事件

事件中樞會與 Azure 串流分析緊密整合,以啟用即時串流處理。 使用內建的無程式碼編輯器,您可以使用拖放功能輕鬆開發串流分析作業,而不需要撰寫任何程式碼。

Screenshot showing the Process data page with Enable real time insights from events tile selected.

或者,開發人員可以使用以 SQL 為基礎的串流分析查詢語言來執行即時串流處理,並利用各種函式來分析串流資料。

如需詳細資訊,請參閱目錄 Azure 串流分析整合一節中的文章。

使用 Azure 資料總管探索串流資料

Azure 資料總管是完全受控的巨量資料分析平台,可提供高效能,並允許近乎即時的大量資料分析。 您可以整合事件中樞與 Azure 資料總管,輕鬆地對串流資料執行近乎即時的分析與探索。

Diagram that shows Azure Data explorer query and output.

如需詳細資訊,請參閱將資料從事件中樞內嵌至 Azure 資料總管和相同小節中的文章。

豐富的生態系統 – Azure 函式、SDK 和 Kafka 生態系統

即時內嵌、緩衝、儲存及處理您的資料流,以取得可採取動作的見解。 事件中樞會使用分割的取用者模型,可讓多個應用程式同時處理資料流,並讓您控制處理的速度。 Azure 事件中樞也整合了 Azure Functions 來達到無伺服器架構。

透過可供業界標準 AMQP 1.0 通訊協定和 SDK 使用且適用於各種語言:.NET、Java、Python、JavaScript 的廣大生態系統,您可以輕鬆地開始處理來自事件中樞的串流。 所有支援的用戶端語言皆提供低階整合。

生態系統也可讓您順暢地整合 Azure Functions、Azure Spring Apps、Kafka 連接器,以及其他資料分析平台和技術,例如 Apache Spark 和 Apache Flink。

彈性且符合成本效益的事件串流

您可以透過事件中樞各種階層 (包括 Standard、Premium 和 Dedicated) 的選擇體驗彈性且符合成本效益的事件串流。 這些選項符合資料串流需求,範圍從幾 MB/秒到數 GB/秒,可讓您選擇符合您需求的完美相符項目。

可調整

透過事件中樞,您可以先使用以 MB 為單位的資料流,然後成長到 GB 或 TB。 自動擴充功能是用來調整輸送量單位或處理單位數目以符合使用量需求的多個選項之一。

擷取串流資料以進行長期保留和批次分析

近乎即時地擷取 Azure Blob 儲存體或 Azure Data Lake Storage 中的資料,以用於長期保留或微批次處理。 您可以在用來取得即時分析的相同資料流上實現此行為。 擷取事件資料的作業很快就能設定完成。

Image showing capturing of Event Hubs data into Azure Storage or Azure Data Lake Storage using Managed Identity

運作方式

事件中樞提供具有時間保留緩衝的統一事件串流平台,可分開處理事件產生者和事件取用者。 生產者和取用者應用程式可以透過多個通訊協定來執行大規模的資料擷取。

下圖顯示事件中樞架構的主要元件:

Diagram that shows the main components of Event Hubs.

事件中樞的主要功能元件包括:

  • 產生者應用程式可以使用事件中樞 SDK 或任何 Kafka 產生者用戶端,將資料內嵌至事件中樞。
  • 命名空間是一或多個事件中樞或 Kafka 主題的管理容器。 在命名空間層級處理配置串流容量、設定網路安全性、啟用異地災害復原等管理工作。
  • 事件中樞/Kafka 主題:在事件中樞中,您可以將事件組織成事件中樞或 Kafka 主題。 這是只附加分散式記錄檔,可組成一或多個分割區。
  • 分割區可用來調整事件中樞。 他們就像高速公路上的車道。 如果您需要更多串流輸送量,則需要新增更多分割區。
  • 取用者應用程式會透過事件記錄檔搜尋並維護取用者位移來取用資料。 取用者可以是 Kafka 取用者用戶端或事件中樞 SDK 用戶端。
  • 取用者群組是取用者執行個體的邏輯群組,可從事件中樞/Kafka 主題讀取資料。 其可讓多個取用者以自己的步調以及使用自己的位移,獨立讀取事件中樞中的相同串流資料。

下一步

若要開始使用事件中樞,請參閱下列快速入門指南。

使用事件中樞 SDK (AMQP) 來串流資料

您可以使用下列任何範例,利用 SDK 將資料串流至事件中樞。

使用 Apache Kafka 串流資料

您可以使用下列範例,將資料從 Kafka 應用程式串流至事件中樞。

使用結構描述登錄進行結構描述驗證

您可以使用事件中樞結構描述登錄,為您的事件串流應用程式執行結構描述驗證。