將數據從 Azure 串流分析內嵌至 Azure Data Explorer

重要

此連接器可用於 Microsoft Fabric 中的 即時分析 。 使用本文中的指示，但有下列例外狀況：

• 如有需要，請使用 建立 KQL 資料庫中的指示來建立資料庫。
• 如有需要，請使用 建立空白數據表中的指示來建立數據表。
• 使用 複製 URI 中的指示取得查詢或擷取 URI。
• 在 KQL 查詢集中執行查詢。

Azure Data Explorer 支援從 Azure 串流分析擷取數據。 Azure 串流分析是一種即時分析和複雜的事件處理引擎，其設計目的是同時處理來自多個來源的大量快速串流數據。

Azure 串流分析 作業 包含輸入來源、轉換查詢和輸出連線。 您可以使用 Azure 入口網站、Azure Resource Manager (ARM) 範本、Azure PowerShell、.NET API、REST API、Visual Studio 和串流分析，建立、編輯及測試串流分析作業，而不使用程式代碼編輯器。

在本文中，您將瞭解如何使用串流分析作業從事件中樞收集數據，並使用 Azure 入口網站 或 ARM 範本將其傳送至 Azure Data Explorer 叢集。

必要條件

• 建立 叢集和資料庫 和 數據表。

• 使用 Azure 串流分析教學課程的下列各節建立事件中樞：

  • 建立事件中樞
  • 授權存取事件中樞並取得連接字串

  提示

  若要進行測試，建議您從 Microsoft 下載中心下載通話事件產生器應用程式，或從 GitHub 取得原始程式碼。 設定 Azure 串流分析作業時，您會將其設定為從事件中樞提取數據，並將其傳遞至 Azure Data Explorer 輸出連接器。

建立 Azure Data Explorer 輸出連線

使用下列步驟，使用 Azure 入口網站 或使用ARM範本，為串流分析作業建立 Azure Data Explorer 輸出。 串流分析作業會使用連線將數據傳送至指定的 Azure Data Explorer 資料表。 建立並執行作業之後，流入作業的數據就會內嵌到指定的目標數據表中。

重要

• Azure Data Explorer 輸出連接器僅支援受控識別驗證。 在建立連接器時，會將資料庫監視器和資料庫擷取器許可權授與 Azure 串流分析作業受控識別。
• 設定 Azure Data Explorer 輸出連接器時，您可以指定目標叢集、資料庫和資料表名稱。 若要讓擷取成功，Azure 串流分析查詢中定義的所有數據行都必須符合 Azure Data Explorer 數據表中的數據行名稱和類型。 數據行名稱會區分大小寫，而且可以依任何順序排列。 如果 Azure 串流分析查詢中有數據行未對應至 Azure Data Explorer 數據表中的數據行，就會引發錯誤。

注意

• 支援所有 Azure 串流分析 輸入。 連接器會將輸入轉換成 CSV 格式，然後將數據匯入指定的 Azure Data Explorer 資料表。
• Azure 資料總管具有資料擷取的彙總 (批次處理) 原則，可將擷取程序最佳化。 根據預設，原則會設定為5分鐘、1000個專案或1 GB的數據，因此您可能會遇到延遲。 如需設定匯總選項的相關信息，請參閱 批處理原則。

Azure 入口網站

開始之前，請確定您有現有的串流分析作業或建立新的作業，然後使用下列步驟來建立 Azure Data Explorer 連線。

1. 登入 Azure 入口網站。

2. 從 Azure 入口網站 開啟 [所有資源]，然後選取您的串流分析作業。

3. 在 [作業拓撲] 底下，選取 [ 輸出]。

4. 選取 [新增>Azure Data Explorer]。

   

5. 使用下列資訊填入輸出窗體，然後選取 [ 儲存]。

   注意

   您可以使用下列選項來指定叢集和資料庫：

   • 訂用帳戶：從您的訂用帳戶選取 [Azure Data Explorer]，選取您的訂用帳戶，然後選擇您的叢集和資料庫。
   • 手動：選取 [手動提供 Azure Data Explorer 設定]，指定叢集 URI 和資料庫。

   屬性名稱	描述
   輸出別名	此為易記名稱，用於在查詢中將查詢輸出指向這個資料庫。
   訂用帳戶	選取叢集所在的 Azure 訂用帳戶。
   叢集	識別叢集的唯一名稱。 網域名稱 [region].kusto.windows.net 已附加至您提供的叢集名稱。 名稱只能包含小寫字母和數字。 必須包含 4 到 22 個字元。
   叢集 URI	叢集的數據擷取 URI。 您可以指定 Azure Data Explorer 或 Azure Synapse Data Explorer 資料擷取端點的 URI。
   資料庫	您傳送輸出的目標資料庫名稱。 資料庫名稱在叢集內必須是唯一而不重複。
   驗證	Microsoft Entra 受控識別，可讓您的叢集輕鬆存取其他受保護的資源 Microsoft Entra。 身分識別由 Azure 平台負責管理，因此您不需要佈建或輪替任何密碼。 受控識別設定可讓您針對叢集使用客戶管理的金鑰。
   資料表	您要傳送輸出的數據表名稱。 Azure 串流分析輸出中的數據行名稱和數據類型必須符合 Azure Data Explorer 資料表的架構。

   

Azure Resource Manager 範本

下列範例顯示用來新增 Azure Data Explorer 輸出連接器的 Azure Resource Manager 範本。 您可以在 Azure 入口網站 中編輯和部署範本，以建立連接器。

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

注意

使用ARM樣本建立 Azure Data Explorer 輸出連線時，必須手動授與 Azure Data Explorer 資料庫的串流分析作業受控識別許可權。

相關內容

• 在 Azure 資料總管中查詢資料
• 從 Azure 串流分析作業執行 Azure Functions