建立 Azure Data Explorer 的事件中樞數據連線

Azure Data Explorer 提供從事件中樞擷取、巨量數據串流平臺和事件擷取服務。 事件中樞可以近乎即時地每秒鐘處理數百萬個事件。

在本文中，您會連線到事件中樞，並將數據內嵌至 Azure Data Explorer。 如需從事件中樞擷取的概觀，請參閱 Azure 事件中樞 數據連線。

若要瞭解如何使用 Kusto SDK 建立連線，請參閱使用 SDK 建立事件中樞數據連線。

如需以舊版 SDK 為基礎的程式代碼範例，請參閱 封存文章。

建立事件中樞數據連線

在本節中，您會建立事件中樞與 Azure Data Explorer 數據表之間的連線。 只要已備妥此連線，數據就會從事件中樞傳輸到目標數據表。 如果事件中樞移至不同的資源或訂用帳戶，您需要更新或重新建立連線。

取得資料

必要條件

• Microsoft 帳戶或 Microsoft Entra 使用者身分識別。 不需要 Azure 訂用帳戶。
• Azure 資料總管叢集和資料庫。 建立叢集和資料庫。
• 您必須在 Azure Data Explorer 叢集上設定串流擷取。

取得資料

1. 從左側功能表中，選取 [查詢]。

2. 以滑鼠右鍵按下您要擷取數據的資料庫。 選取 [取得數據]。

   

Source

在 [ 取得數據 ] 視窗中，已選取 [來源] 索引標籤 。

從可用的清單中選取資料來源。 在此範例中，您會從 事件中樞內嵌數據。

設定

1. 選取目標資料庫和數據表。 如果您想要將數據內嵌到新的資料表，請選取 [+ 新增數據表 ]，然後輸入數據表名稱。

   注意

   數據表名稱最多可以有 1024 個字元，包括空格、英數位元、連字元和底線。 但不支援萬用字元。

   

2. 填寫下列欄位：

   設定	欄位描述
   訂用帳戶	事件中樞資源所在的訂用帳戶標識碼。
   事件中樞命名空間	可識別您命名空間的名稱。
   事件中樞	您想要的事件中樞
   取用者群組	事件中定義的取用者群組
   資料連線名稱	識別資料連線的名稱。
   進階篩選條件
   壓縮	事件中樞訊息承載的壓縮類型。
   事件系統屬性	事件中樞系統屬性。 如果每個事件訊息有多個記錄，系統會將系統屬性新增至第一個記錄。 新增系統屬性時，建立或更新資料表結構描述和對應，以包含選取的屬性。
   事件擷取開始日期	數據聯機會擷 取事件擷取開始日期之後建立的現有事件中樞事件。 只能擷取事件中樞保留期間所保留的事件。 如果未指定 事件擷取開始日期 ，則默認時間是建立數據連線的時間。

3. 選取 [下一步]

檢查

[ 檢查] 索引標籤隨即開啟，其中包含數據的預覽。

若要完成擷取程式，請選取 [ 完成]。

選擇性：

• 如果您在預覽視窗中看到的數據尚未完成，您可能需要更多數據，才能建立具有所有必要數據欄位的數據表。 使用下列命令從事件中樞擷取新資料：

  • 捨棄並擷取新數據：捨棄呈現的數據，並搜尋新事件。

  • 擷取更多資料：除了已找到的事件之外，還會搜尋更多事件。

    注意

    若要查看數據的預覽，事件中樞必須傳送事件。

• 選取 [命令檢視器 ] 以檢視和複製從輸入產生的自動命令。

• 使用 [ 架構定義檔案 ] 下拉式清單來變更從中推斷架構的檔案。

• 從下拉式清單中選取所需的格式，以變更自動推斷的數據格式。 請參閱 Azure Data Explorer 支援的數據格式以進行擷取。

• 編輯數據行。

• 根據數據類型探索進階選項。

編輯欄

注意

• 對於表格式格式 (CSV、TSV、PSV) ，您無法對應數據行兩次。 若要對應到現有的資料行，請先刪除新的資料行。
• 您無法變更現有的資料行類型。 如果您嘗試對應至具有不同格式的數據行，最後可能會有空的數據行。

您可對資料表進行的變更視下列參數而定：

• 資料表類型是新的或現有的
• 對應類型是新的或現有的

資料表類型	對應類型	可用的調整
新增資料表	新的對應	重新命名數據行、變更數據類型、變更數據源、 對應轉換、新增數據行、刪除數據行
現有的資料表	新的對應	新增資料行 (，然後您可以變更數據類型、重新命名和更新)
現有的資料表	現有的對應	無

對應資訊

某些資料格式對應 (Parquet、JSON 和 Avro) 支援簡單的內嵌時間轉換。 若要套用對應轉換，請在 [編輯數據行] 視窗中建立或更新數據 行 。

對應轉換可以在字串或 datetime 類型的數據行上執行，而來源具有數據類型 int 或 long。 支援的對應轉換如下：

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

以數據類型為基礎的進階選項

表格式 (CSV、TSV、PSV) ：

• 如果您要內嵌 現有資料表中的表格式格式，您可以選取 [ 進階>保留目前的資料表架構]。 表格式數據不一定包含用來將源數據對應至現有數據行的數據行名稱。 核取此選項時，對應會依序完成，而且數據表架構維持不變。 如果未核取此選項，不論數據結構為何，都會為傳入的數據建立新的數據行。

• 若要使用第一個數據列作為數據行名稱，請選取 [ 進階>第一列是數據行標頭]。

  

JSON：

• 若要判斷 JSON 數據的數據行分割，請選取 [ 進階>巢狀層級]，從 1 到 100。

• 如果您選取 [進階>忽略數據格式錯誤]，則會以 JSON 格式擷取數據。 如果您取消選取此複選框，數據會以多重 json 格式擷取。

  

摘要

在 [ 數據準備 ] 視窗中，當數據擷取順利完成時，所有三個步驟都會標示綠色複選標記。 您可以檢視用於每個步驟的命令，或選取要查詢、可視化或卸除內嵌數據的卡片。

入口網站 - Azure Data Explorer 頁面

必要條件

• Azure 訂用帳戶。 建立 Azure 免費帳戶。
• Azure 資料總管叢集和資料庫。 建立叢集和資料庫。
• 目的地數據表。 建立數據表 或使用現有的數據表。
• 數據表的 擷取對應 。
• 具有擷取數據 的事件中樞 。

取得資料

1. 在 Azure 入口網站 中，移至您的叢集，然後選取 [資料庫]。 然後，選取包含目標數據表的資料庫。

   

2. 從左側功能表中，選取 [數據擷取]。 然後，在頂端列中，選取 [ 新增數據連線]。

3. 在表單中填寫下列資訊，然後選取 [建立]。

   設定	建議的值	欄位描述
   資料連線名稱	test-hub-connection	您想要在 Azure 資料總管中建立的連線名稱。
   訂用帳戶		事件中樞資源所在的訂用帳戶標識碼。
   事件中樞命名空間	唯一命名空間名稱	您先前選擇用來辨識命名空間的名稱。
   事件中樞	test-hub	您建立的事件中樞。
   取用者群組	test-group	在您所建立事件中樞中定義的取用者群組。
   事件系統屬性	選取相關屬性	事件中樞系統屬性。 如果每個事件訊息有多個記錄，系統會將系統屬性新增至第一筆記錄。 新增系統屬性時，建立或更新資料表結構描述和對應，以包含選取的屬性。
   壓縮	無	事件中樞訊息承載的壓縮類型。 支援的壓縮類型：無、GZip。
   受控識別 (建議)	系統指派	Data Explorer 叢集用來存取從事件中樞讀取的受控識別。 建議您使用受控識別來控制事件中樞的存取。 注意： 建立資料連線時： * 如果沒有系統指派的身分識別，則會自動建立 * 受控識別會自動指派 Azure 事件中樞 數據接收者角色，並新增至您的 Data Explorer 叢集。 建議您驗證角色是否已獲指派，以及是否已將身分識別新增至叢集中。

   注意

   如果您有未使用受控識別的現有數據連線，建議您將其更新為使用受控識別。

入口網站 - Azure 事件中樞 頁面

必要條件

• Azure 訂用帳戶。 建立 Azure 免費帳戶。
• Azure 資料總管叢集和資料庫。 建立叢集和資料庫。
• 目的地數據表。 建立數據表 或使用現有的數據表。
• 數據表的 擷取對應 。
• 具有擷取數據 的事件中樞 。

取得資料

1. 在 Azure 入口網站 中，流覽至您的事件中樞實例。

2. 在 [ 功能 ] 側邊功能表下，選取 [使用 Kusto 分析數據]。

3. 選取 [開始] 以開啟 Azure Data Explorer 的擷取精靈。

   

   注意

   • 您至少必須擁有 資料庫用戶 權力。
   • 若要啟用叢集與記憶體帳戶之間的存取，而不需公用存取，請參閱 建立受控私人端點。
   • 叢集和事件中樞應該與相同的租用戶相關聯。 如果沒有，請使用其中一個 SDK 選項，例如 C# 或 Python。

4. [內 嵌數據 ] 側邊窗格隨即開啟，並選取 [ 目的地] 索引標籤 。 從下拉式清單中選取 [叢集 ] 和 [ 資料庫 ] 欄位。 請確定您選取正在執行的叢集。 否則，您將無法選取 [資料庫]，並繼續擷取程式。

5. 在 [數據表] 底下，選取 [新增數據表 ]，然後輸入新數據表的名稱。 或者，使用 現有的數據表。

6. 選取 [下一步：來源]。

7. 在 [來源類型] 底下， 事件中樞 類型和詳細數據會根據您從中啟動的事件中樞實例自動填入。

8. 在 [數據連線] 底下，填寫下列欄位，然後選取 [ 下一步：架構]。

   設定	建議的值	欄位描述
   訂用帳戶		事件中樞資源所在的訂用帳戶標識碼。
   事件中樞命名空間		可識別您命名空間的名稱。
   事件中樞		您想要使用的事件中樞。
   資料連線名稱	TestDataConnection	識別資料連線的名稱。
   取用者群組		事件中樞中定義的取用者群組。
   壓縮		事件中樞訊息承載的壓縮類型。
   事件系統屬性	選取相關屬性	事件中樞系統屬性。 如果每個事件訊息有多個記錄，系統會將系統屬性新增至第一個記錄。 新增系統屬性時，建立或更新資料表結構描述和對應，以包含選取的屬性。
   事件擷取開始日期	以 Coordinated Universal Time (UTC) 時間計算	數據聯機會擷 取事件擷取開始日期之後建立的現有事件中樞事件。 只能擷取事件中樞保留期間所保留的事件。 如果未指定 事件擷取開始日期 ，則默認時間是建立數據連線的時間。

9. 如果叢集已啟用 串流 ，您可以選取 [串流擷取]。 如果未為叢集啟用串流，請設定 數據批處理延遲。 針對事件中樞，建議的 批處理時間 是30秒。

   

10. 選取 [數據格式]。 針對 CSV 格式的數據， 請忽略第一筆記錄 以忽略檔案的標題數據列。 針對 JSON 格式的數據，請選取 [忽略數據格式錯誤 ] 以擷取 JSON 格式的數據，或保留未選取的方式以 multijson 格式擷取數據。 選取 巢狀層級 以判斷數據表數據行數據分割。

11. 如果您在預覽視窗中看到的數據尚未完成，您可能需要更多數據，才能建立具有所有必要數據欄位的數據表。 使用下列命令從事件中樞擷取新資料：

    • 捨棄和擷取新的資料：捨棄所呈現的資料，並搜尋新的事件。
    • 擷取更多資料：除了已找到的事件之外，還會搜尋更多事件。

    注意

    若要查看數據的預覽，事件中樞必須傳送事件。

12. 完成時，選取 [下一步:摘要]。

13. 在 [從事件中樞建立的連續擷取 ] 視窗中，所有步驟都會在建立成功完成時以綠色複選標記標示。

ARM 範本

必要條件

• Azure 訂用帳戶。 建立 Azure 免費帳戶。
• Azure 資料總管叢集和資料庫。 建立叢集和資料庫。
• 目的地數據表。 建立數據表 或使用現有的數據表。
• 數據表的 擷取對應 。
• 具有擷取數據 的事件中樞 。

ARM 範本

下列範例示範用來新增事件中樞數據連線的 Azure Resource Manager 範本。 您可以使用表單，在 Azure 入口網站中編輯和部署範本。

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

拿掉事件中樞數據連線

取得資料

請透過 Azure 入口網站 移除數據連線，如入口網站索引標籤中所述。

入口網站

若要從 Azure 入口網站 移除事件中樞連線，請執行下列動作：

1. 移至您的叢集。 從左側功能表中，選取 [ 資料庫]。 然後，選取包含目標數據表的資料庫。
2. 從左側功能表中，選取 [數據連線]。 然後，選取相關事件中樞數據連線旁的複選框。
3. 從頂端功能表列選取 [ 刪除]。

相關內容

• 檢查與事件中樞範例訊息應用程式的連線
• 在 Web UI 中查詢數據