Share via


教學課程:搭配 Apache Spark 使用筆記本來查詢 KQL 資料庫

筆記本都是可讀取的檔,其中包含數據分析描述和結果,以及可執行執行數據分析的可執行檔。 在本文中,您將瞭解如何使用 Microsoft Fabric 筆記本,使用 Apache Spark 將數據讀取和寫入 KQL 資料庫。 本教學課程會在 Microsoft Fabric 中的即時智慧和 資料工程師 環境中使用預先建立的數據集和筆記本。 如需筆記本的詳細資訊,請參閱 如何使用 Microsoft Fabric 筆記本

具體來說,您會瞭解如何:

  • 建立 KQL 資料庫
  • 匯入筆記本
  • 使用 Apache Spark 將數據寫入 KQL 資料庫
  • 從 KQL 資料庫查詢數據

必要條件

1- 建立 KQL 資料庫

  1. 開啟瀏覽窗格底部的體驗切換器,然後選取 [即時智慧]。

  2. 選取 [ KQL 資料庫] 圖格。

    即時智慧中新 KQL 資料庫圖格的螢幕快照。

  3. 在 [ KQL 資料庫名稱] 字段中,輸入 nycGreenTaxi,然後選取 [ 建立]。

    KQL 資料庫現在已在選取工作區的內容中建立。

  4. 資料庫儀錶板中的資料庫詳細數據卡片複製 [查詢 URI],並將它貼到某處,例如記事本,以在稍後的步驟中使用。

     顯示資料庫詳細數據之資料庫詳細數據卡片的螢幕快照。標題為 [複製 URI] 的 [查詢 URI] 選項會反白顯示。

2- 下載 NYC GreenTaxi 筆記本

我們已建立範例筆記本,以帶您完成使用Spark連接器將數據載入資料庫中的所有必要步驟。

  1. 在 GitHub 上開啟網狀架構範例存放庫,以下載 NYC GreenTaxi KQL Notebook。

    顯示 NYC GreenTaxi 筆記本的 GitHub 存放庫螢幕快照。[原始] 選項會反白顯示。

  2. 將筆記本儲存在本機到您的裝置。

    注意

    筆記本必須以 .ipynb 檔格式儲存。

3- 匯入筆記本

此工作流程的其餘部分會在產品的 資料工程師 區段中發生,並使用Spark筆記本在 KQL 資料庫中載入和查詢數據。

  1. 開啟瀏覽窗格底部的體驗切換器,然後選取 [資料工程師]。

  2. 選取 [ 匯入筆記本]。

    [資料工程師] 中項目選項的螢幕快照。標題為 [匯入筆記本] 的專案會反白顯示。

  3. 在 [ 匯入狀態] 視窗中,選取 [ 上傳]。

    [匯入狀態] 視窗的螢幕快照。標題為 [上傳] 的按鈕會反白顯示。

  4. 選取您在上一個步驟中下載的 NYC GreenTaxi 筆記本。

  5. 匯入完成後,返回工作區以開啟此筆記本。

4- 取得數據

若要使用 Spark 連接器查詢資料庫,您必須提供 NYC GreenTaxi Blob 容器的讀取和寫入許可權。

選取播放按鈕以執行下列單元格,或選取單元格,然後按 Shift+ Enter。 針對每個程式代碼數據格重複此步驟。

注意

等候完成複選標記出現,再執行下一個單元格。

  1. 執行下列數據格,以啟用NYC GreenTaxi Blob容器的存取權。

    第一個程式代碼儲存格的螢幕快照,其中顯示記憶體存取資訊。

  2. KustoURI 中,貼上稍早複製的查詢 URI,而不是佔位元文字。

  3. 將佔位元資料庫名稱變更為 nycGreenTaxi

  4. 將佔位元數據表名稱變更為 GreenTaxiData

    第二個程式代碼數據格的螢幕快照,其中顯示目標資料庫資訊。查詢 URI、資料庫名稱和資料表名稱會反白顯示。

  5. 執行資料格。

  6. 執行下一個數據格,將數據寫入資料庫。 此步驟可能需要幾分鐘的時間才能完成。

    第三個程式代碼單元格的螢幕快照,其中顯示數據表對應和擷取命令。

您的資料庫現在已將數據載入名為 GreenTaxiData 的數據表中。

5- 執行筆記本

循序執行其餘兩個數據格,以查詢數據表中的數據。 結果顯示按年記錄的前 20 名最高和最低計程車車資和距離。

第四個和第五個程式代碼儲存格的螢幕快照,其中顯示查詢結果。

6- 清除資源

流覽至建立所在的工作區,以清除所建立的專案。

  1. 在工作區中,將滑鼠停留在您想要刪除的筆記本上,選取 [ 更多] 功能表 [...] >刪除

    工作區的螢幕快照,其中顯示NYC GreenTaxi筆記本的下拉功能表。標題為 [刪除] 的選項會反白顯示。

  2. 選取 [刪除]。 一旦刪除筆記本,就無法復原筆記本。