共用方式為


從 Amazon S3 取得數據

在本文中,您將瞭解如何將數據從 Amazon S3 取得到新的或現有的數據表。 Amazon S3 是用來儲存和擷取數據的物件儲存服務。

如需 Amazon S3 的詳細資訊,請參閱什麼是 Amazon S3.5。

必要條件

來源

  1. 在 KQL 資料庫的下方功能區上,選取 [ 取得數據]。

    在 [取得數據] 視窗中,已選取 [來源] 索引標籤

  2. 從可用的清單中選取資料來源。 在此範例中,您要從 Amazon S3 擷取數據。

    [取得數據] 視窗的螢幕快照,其中已選取來源索引卷標。

設定

  1. 選取目標數據表。 如果您想要將資料內嵌到新的資料表中,請選取 [+新增數據表 ],然後輸入數據表名稱。

    注意

    數據表名稱最多可以有 1024 個字元,包括空格、英數位元、連字元和底線。 但不支援萬用字元。

  2. [URI] 字段中,貼上單一貯體 連接字串,或下列格式的個別物件。

    Bucket:https://BucketName RegionName.amazonaws.com;AwsCredentials=.s3.AwsAccessID,AwsSecretKey

    您可以選擇性地套用貯體篩選條件,根據特定的擴展名來篩選數據。

    [設定] 索引標籤的螢幕快照,其中已輸入新數據表,並貼上 Amazon S3 連接字串。

  3. 選取 [下一步]。

檢查

[檢查] 索引標籤隨即開啟,並預覽數據。

若要完成擷取程式,請選取 [ 完成]。

[檢查] 索引標籤的螢幕快照。

或者:

  • 選取 [命令檢視器 ] 以檢視和複製從輸入產生的自動命令。
  • 使用 [ 架構定義檔案 ] 下拉式清單來變更從中推斷架構的檔案。
  • 從下拉式清單中選取所需的格式,以變更自動推斷的數據格式。 如需詳細資訊,請參閱 即時智慧所支持的數據格式。
  • 編輯數據行
  • 根據數據類型探索進階選項。

編輯資料行

注意

  • 對於表格式格式 (CSV、TSV、PSV),您無法對應資料行兩次。 若要對應至現有的數據行,請先刪除新的數據行。
  • 您無法變更現有的資料行類型。 如果您嘗試對應至具有不同格式的數據行,最後可能會有空的數據行。

您可以在資料表中所做的變更取決於下列參數:

  • 數據表 類型是新的或現有的
  • 對應 類型是新的或現有的
資料表類型 對應類型 可用的調整
新增資料表 新的對應 重新命名資料列, 變更資料型態, 變更資料來源, 對應轉換加入資料行, 刪除資料列
現有的資料表 新的對應 新增資料列(然後您可以變更資料類型、重新命名和更新)
現有的資料表 現有的對應 none

開啟以供編輯之數據行的螢幕快照。

對應轉換

某些數據格式對應 (Parquet、JSON 和 Avro) 支援簡單的擷取時間轉換。 若要套用對應轉換,請在 [ 編輯 數據行] 視窗中建立或更新數據行。

對應轉換可以在字串或 datetime 類型的數據行上執行,而來源具有數據類型 int 或 long。 支援的對應轉換如下:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

以數據類型為基礎的進階選項

表格式 (CSV、TSV、PSV)

  • 如果您要內嵌現有資料表中的表格式格式,您可以選取 [進階>保留數據表架構]。 表格式數據不一定包含用來將源數據對應至現有數據行的數據行名稱。 核取此選項時,對應會依序完成,而且數據表架構會維持不變。 如果未核取此選項,不論數據結構為何,都會為傳入數據建立新的數據行。

  • 若要使用第一個數據列作為數據行名稱,請選取 [進階>第一列是數據行標頭]。

    進階 CSV 選項的螢幕快照。

JSON:

  • 若要判斷 JSON 數據的數據行除法,請選取 [進階>巢狀層級],從 1 到 100。

  • 如果您選取 [進階>略過有錯誤的 JSON 行],則會以 JSON 格式擷取數據。 如果您將此複選框保留為未選取,數據會以 multijson 格式內嵌。

    進階 JSON 選項的螢幕快照。

摘要

在 [ 數據準備 ] 視窗中,當數據擷取成功完成時,所有三個步驟都會標示為綠色複選標記。 您可以選取要查詢的卡片、卸除內嵌的數據,或查看擷取摘要的儀錶板。

已完成擷取的摘要頁面螢幕快照。