使用複製資料工具將數據從 Azure Blob 記憶體複製到 SQL 資料庫

適用於: Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的單一分析解決方案。 Microsoft Fabric 涵蓋從數據移動到數據科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版

在本教學課程中,您會使用 Azure 入口網站 來建立數據處理站。 然後使用複製數據工具來建立管線,以將數據從 Azure Blob 記憶體複製到 SQL 資料庫。

注意

如果您不熟悉 Azure Data Factory,請參閱 Azure Data Factory 簡介。

在本教學課程中,您會執行下列步驟:

  • 建立資料處理站。
  • 使用複製資料工具來建立管線。
  • 監視管線和活動執行。

必要條件

  • Azure 訂用帳戶:如果您沒有 Azure 訂用帳戶,請在開始前建立免費帳戶
  • Azure 儲存體 帳戶:使用 Blob 記憶體作為數據存放區。 如果您沒有 Azure 儲存體 帳戶,請參閱建立記憶體帳戶中的指示。
  • Azure SQL 資料庫:使用 SQL 資料庫 作為接收數據存放區。 如果您沒有 SQL 資料庫,請參閱建立 SQL 資料庫 中的指示。

準備 SQL 資料庫

允許 Azure 服務存取 Azure SQL 資料庫 的邏輯 SQL Server。

  1. 確認 [允許 Azure 服務和資源存取此伺服器] 設定已針對執行 SQL 資料庫 的伺服器啟用。 此設定可讓 Data Factory 將數據寫入您的資料庫實例。 若要確認並開啟此設定,請移至邏輯 SQL Server > 安全性 > 防火牆和虛擬網路 > ,將 [允許 Azure 服務和資源存取此伺服器 ] 選項設為 ON

    注意

    [允許 Azure 服務和資源存取此伺服器] 選項可讓網络從任何 Azure 資源存取您的 SQL Server,而不只是訂用帳戶中的資源。 它可能不適用於所有環境,但適用於此有限的教學課程。 如需詳細資訊,請參閱 Azure SQL Server 防火牆規則。 相反地,您可以使用 私人端點 來連線到 Azure PaaS 服務,而不需使用公用 IP。

建立 Blob 和 SQL 數據表

執行下列步驟來準備 Blob 記憶體和 SQL 資料庫 教學課程。

建立來源 Blob

  1. 啟動 記事本。 複製下列文字,並將它儲存在您的磁碟上名為 inputEmp.txt 的檔案中:

    FirstName|LastName
    John|Doe
    Jane|Doe
    
  2. 建立名為 adfv2tutorial 的容器,並將 inputEmp.txt 檔案上傳至容器。 您可以使用 Azure 入口網站 或各種工具,例如 Azure 儲存體 Explorer 來執行這些工作。

建立接收 SQL 資料表

  1. 使用下列 SQL 腳本,在SQL 資料庫中建立名為 dbo.emp 的資料表:

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
    CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
    

建立資料處理站

  1. 在左側功能表上,選取 [建立資源 > 整合 > Data Factory ]:

    Screenshot of the New data factory creation.

  2. 在 [ 新增資料處理站 ] 頁面上的 [名稱 ] 底下 ,輸入 ADFTutorialDataFactory

    資料處理站的名稱必須是 全域唯 一的。 您可能會收到下列錯誤訊息:

    Screenshot of the New data factory error message for duplicate name.

    如果您收到名稱值的相關錯誤訊息,請輸入資料處理站的不同名稱。 例如,使用您的名稱 ADFTutorialDataFactory。 如需 Data Factory 成品的命名規則,請參閱 Data Factory 命名規則

  3. 選取要在其中建立新資料處理站的 Azure 用帳戶。

  4. 針對 資源群組 ,請採取下列步驟之一:

    a. 選取 [ 使用現有的 ],然後從下拉式清單中選取現有的資源群組。

    b. 選取 [ 新建 ],然後輸入資源群組的名稱。

    若要瞭解資源群組,請參閱 使用資源群組來管理您的 Azure 資源

  5. 在 [版本] 底下 ,針對版本選取 [V2 ]。

  6. 在 [位置 ] 底下 ,選取資料處理站的位置。 只有受支援的位置會顯示在下拉式清單中。 資料處理站所使用的資料存放區(例如,Azure 儲存體和SQL 資料庫)和計算(例如 Azure HDInsight)可以位於其他位置和區域。

  7. 選取建立

  8. 建立完成之後, 就會顯示 Data Factory 首頁。

    Screenshot of the Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  9. 若要在個別索引標籤中啟動 Azure Data Factory 使用者介面 (UI),請在 [開啟 Azure Data Factory Studio ] 圖格上 選取 [ 開啟 ]。

使用複製資料工具來建立管線

  1. 在 Azure Data Factory 的首頁上,選取 [內嵌 ] 圖格以啟動複製資料工具。

    Screenshot that shows the Azure Data Factory home page.

  2. 在 [ 複製資料] 工具的 [屬性 ] 頁面上,選擇 [工作類型 ] 下的 [內建複製工作 ],然後選取 [ 下一步 ]。

    Screenshot that shows the Properties page.

  3. 在 [ 來源資料存放區 ] 頁面上,完成下列步驟:

    a. 選取 [+ 建立新連線 ] 以新增連線。

    b. 從資源庫選取 Azure Blob 儲存體 ,然後選取 [ 繼續 ]。

    c. 在 [ 新增連線 (Azure Blob 儲存體) 頁面上,從 Azure 訂用帳戶清單中選取您的 Azure 訂用帳戶,然後從 [儲存體帳戶名稱 ] 清單中選取您的儲存體帳戶。 測試連線,然後選取 [ 建立 ]。

    d. 選取新建立的連結服務作為連線區塊 中的 來源。

    e. 在 [ 檔案或資料夾] 區段中,選取 [ 流覽 ] 以流覽至 adfv2tutorial 資料夾,選取 inputEmp.txt 檔案,然後選取 [ 確定 ]。

    f. 選取 [下一步 ] 以移至下一個步驟。

    Screenshot of the page to Configure the source.

  4. 在 [ 檔案格式設定 ] 頁面上,啟用 [第一列] 的 核取方塊作為標頭 。 請注意,此工具會自動偵測資料行和資料列分隔符號,而且您可以選取此頁面上的 [預覽資料 ] 按鈕來預覽資料並檢視輸入資料的 架構。 然後選取下一步

    Screenshot of the File format settings.

  5. 在 [ 目的地資料存放區 ] 頁面上,完成下列步驟:

    a. 選取 [+ 建立新連線 ] 以新增連線。

    b. 從資源庫選取 [Azure SQL 資料庫 ],然後選取 [ 繼續 ]。

    c. 在 [ 新增連線 ](Azure SQL 資料庫) 頁面上,從下拉式清單中選取您的 Azure 訂用帳戶、伺服器名稱和資料庫名稱。 然後在 [驗證類型 ] 底下 選取 [ SQL 驗證 ],指定使用者名稱和密碼。 測試連線,然後選取 [ 建立 ]。

    Screenshot of the Configure Azure SQL Database page.

    d. 選取新建立的連結服務作為接收,然後選取 [ 下一步 ]。

  6. 在 [ 目的地資料存放區 ] 頁面上,選取 [ 使用現有的資料表 ],然後選取 dbo.emp 資料表。 然後選取下一步

  7. 在 [ 資料行對應 ] 頁面上,請注意輸入檔中的第二個和第三個數據行會對應至 emp 資料表的 FirstName LastName 資料行。 調整對應以確定沒有錯誤,然後選取 [ 下一步 ]。

    Screenshot of the column mapping page.

  8. [設定] 頁面上的 [工作名稱 ] 底下 ,輸入 CopyFromBlobToSqlPipeline ,然後選取 [ 下一步 ]。

    Screenshot of the settings.

  9. 在 [ 摘要] 頁面上檢閱設定,然後選取 [ 下一步 ]。

  10. 在 [ 部署] 頁面上,選取 [監視 ] 以監視管線 (工作)。

    Screenshot of Monitoring the pipeline.

  11. 在 [管線執行] 頁面上,選取 [重新 整理] 以重新整理清單。 選取 [管線名稱 ] 底下 的連結,以檢視活動執行詳細資料或重新執行管線。

    Screenshot of the Pipeline run.

  12. 在 [活動執行] 頁面上,選取 [活動名稱 ] 資料行底下的 [詳細資料 ] 連結(眼鏡圖示),以取得複製作業的詳細資訊。 若要回到 [管線執行] 檢視,請選取 階層連結功能表中的 [所有管線執行 ] 連結。 若要重新整理檢視,請選取 [ 重新整理 ]。

    Screenshot of monitoring activity runs.

  13. 確認資料已 插入您SQL 資料庫中的 dbo.emp 資料表。

  14. 選取左側的 [ 作者] 索引標籤,以切換至編輯器模式。 您可以使用編輯器來更新透過工具建立的連結服務、資料集和管線。 如需在 Data Factory UI 中編輯這些實體的詳細資訊,請參閱 本教學 課程的Azure 入口網站版本。

    Screenshot of the Select Author tab.

此範例中的管線會將資料從 Blob 儲存體複製到SQL 資料庫。 您已了解如何︰

  • 建立資料處理站。
  • 使用複製資料工具來建立管線。
  • 監視管線和活動執行。

前進到下列教學課程,瞭解如何將資料從內部部署複製到雲端: