使用「複製資料」工具將資料從 SQL Server 資料庫複製到 Azure Blob 儲存體

適用於:Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用

在這個教學課程中,您會使用 Azure 入口網站來建立資料處理站。 接著,您會使用「複製資料」工具建立管線,以將資料從 SQL Server 資料庫複製到 Azure Blob 儲存體。

注意

在本教學課程中,您會執行下列步驟:

  • 建立資料處理站。
  • 使用複製資料工具建立管線。
  • 監視管線和活動執行。

必要條件

Azure 訂用帳戶

開始之前,如果您還沒有 Azure 訂用帳戶,請建立免費帳戶

Azure 角色

若要建立資料處理站執行個體,您用來登入 Azure 的使用者帳戶必須具備「參與者」或「擁有者」角色,或必須是 Azure 訂用帳戶的「管理員」

若要檢視您在訂用帳戶中擁有的權限,請前往 Azure 入口網站。 在右上角中,選取使用者名稱,然後選取 [權限]。 如果您有多個訂用帳戶的存取權,請選取適當的訂用帳戶。 如需如何將使用者新增至角色的範例指示,請參閱使用 Azure 入口網站來指派 Azure 角色

SQL Server 2014、2016 和 2017

在此教學課程中,您會使用 SQL Server 資料庫作為「來源」資料存放區。 您在此教學課程中於資料處理站中建立的管線會將資料從此 SQL Server 資料庫 (來源) 複製到 Blob 儲存體 (接收)。 然後在 SQL Server 資料庫中建立名為 emp 的資料表,並在資料表中插入幾個範例項目。

  1. 啟動 SQL Server Management Studio。 如果它尚未安裝在機器上,請移至下載 SQL Server Management Studio

  2. 使用您的認證連線到 SQL Server 執行個體。

  3. 建立範例資料庫。 在樹狀檢視中,以滑鼠右鍵按一下 [資料庫],然後選取 [新增資料庫]

  4. 在 [新增資料庫] 視窗中,輸入資料庫的名稱,然後選取 [確定]

  5. 若要建立 emp 資料表並在其中插入一些範例資料,請針對資料庫執行下列查詢指令碼。 在樹狀檢視中,以滑鼠右鍵按一下您建立的資料庫,然後選取 [新增查詢]

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
    
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
    

Azure 儲存體帳戶

在本教學課程中,您可以使用一般用途的 Azure 儲存體帳戶 (特別是 Blob 儲存體) 作為目的地/接收資料存放區。 如果您沒有一般用途的儲存體帳戶,請參閱建立儲存體帳戶來按照指示建立帳戶。 您在此教學課程中於資料處理站中建立的管線會將資料從 SQL Server 資料庫 (來源) 複製到此 Blob 儲存體 (接收)。

取得儲存體帳戶名稱和帳戶金鑰

您會在此教學課程中使用儲存體帳戶的名稱和金鑰。 採取下列步驟,以取得儲存體帳戶的名稱和金鑰:

  1. 使用您的使用者名稱和密碼登入 Azure 入口網站

  2. 在左側窗格中,選取 [所有服務]。 使用 Storage 關鍵字進行篩選,然後選取 [儲存體帳戶]

    Storage account search

  3. 在儲存體帳戶清單中,篩選您的儲存體帳戶 (如有需要)。 然後選取您的儲存體帳戶。

  4. 在 [儲存體帳戶] 視窗中,選取 [存取金鑰]

  5. 在 [儲存體帳戶名稱] 和 [金鑰1] 方塊中複製值,然後將它們貼到 [記事本] 或另一個編輯器中,以供稍後在教學課程中使用。

建立資料處理站

  1. 在左側的功能表上,選取 [建立資源]>[整合]>[Data Factory]

    New data factory creation

  2. 在 [新增資料處理站] 頁面的 [名稱] 下,輸入 ADFTutorialDataFactory

    資料處理站的名稱必須是「全域唯一」的名稱。 如果您在 [名稱] 欄位看到下列錯誤訊息,請變更資料處理站的名稱 (例如 yournameADFTutorialDataFactory)。 如需 Data Factory 成品的命名規則,請參閱 Data Factory 命名規則

    New data factory error message for duplicate name.

  3. 選取您要在其中建立資料處理站的 Azure 訂用帳戶

  4. 針對 [資源群組],採取下列其中一個步驟︰

    • 選取 [使用現有的] ,然後從下拉式清單選取現有的資源群組。

    • 選取 [建立新的] ,然後輸入資源群組的名稱。

      若要了解資源群組,請參閱使用資源群組管理您的 Azure 資源

  5. 在 [版本] 下,選取 [V2]

  6. 在 [位置] 下,選取資料處理站的位置。 只有受到支援的位置會顯示在下拉式清單中。 Data Factory 所使用的資料存放區 (例如 Azure 儲存體和 SQL Database) 和計算 (例如 Azure HDInsight) 可位於其他地區/區域。

  7. 選取 建立

  8. 建立完成之後,您會看到如圖中所示的 [Data Factory] 頁面。

    Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  9. 若要在另一個索引標籤中啟動 Data Factory 使用者介面,請在 [Open Azure Data Factory Studio] \(開啟 Azure Data Factory Studio\) 磚上選取 [開啟]

使用複製資料工具建立管線

  1. 在 Azure Data Factory 首頁上,選取 [擷取] 以啟動資料複製工具。

    Screenshot that shows the Azure Data Factory home page.

  2. 在複製資料工具的 [屬性] 頁面中,選擇 [工作類型] 下的 [Built-in copy task] \(內建複製工作\),並在 [Task cadence or task schedule] \(工作步調或工作排程\) 下選擇 [Run once now] \(立即執行一次\),然後選取 [下一步]

  3. 在 [來源資料存放區] 頁面上,選取 [+ Create new connection] \(+ 建立新連線\)

  4. 在 [新增連線] 下搜尋 [SQL Server],然後選取 [繼續]

  5. 在 [New connection (SQL server)] \(新增連線 (SQL Server)\) 對話方塊的 [名稱] 下,輸入 SqlServerLinkedService。 在 [透過整合執行階段連線] 下選取 [+新增]。 您必須建立自我裝載的整合執行階段、將其下載到您的機器,並使用 Data Factory 進行註冊。 自我裝載的整合執行階段會在內部部署環境與雲端之間複製資料。

  6. 在 [Integration runtime setup] \(整合執行階段設定\) 對話方塊中,選取 [自我裝載]。 然後選取 [繼續]

    Create integration runtime

  7. 在 [Integration runtime setup] \(整合執行階段設定\) 對話方塊中的 [名稱] 下,輸入 TutorialIntegrationRuntime。 然後選取建立

  8. 在 [Integration runtime setup] \(整合執行階段設定\) 對話方塊中,選取 [Click here to launch the express setup for this computer] \(按一下此處以啟動此電腦的快速安裝\)。 此動作會在您的機器上安裝整合執行階段,並使用 Data Factory 進行註冊。 或者,您可以使用手動安裝選項來下載安裝檔案、執行它,並使用金鑰來註冊整合執行階段。

  9. 執行下載的應用程式。 您會在視窗中看到快速安裝的狀態。

    Express setup status

  10. 在 [New connection (SQL server)] \(新增連線 (SQL Server)\) 對話方塊中,確認已在 [Connect via integration runtime] \(透過整合執行階段連線\) 下選取 [TutorialIntegrationRuntime]。 然後採取下列步驟:

    a. 在 [名稱] 下輸入 SqlServerLinkedService

    b. 在 [伺服器名稱] 下,輸入 SQL Server 執行個體的名稱。

    c. 在 [資料庫名稱] 下,輸入內部部署資料庫名稱。

    d. 在 [驗證類型] 下,選取適當的驗證。

    e. 在 [使用者名稱] 下,輸入具有 SQL Server 存取權的使用者名稱。

    f. 輸入使用者的密碼

    .g 測試連線,然後選取 [建立]

    Integration runtime selected

  11. 在 [來源資料存放區] 頁面中,確保已在 [連線] 區塊中選取新建立的 [SQL Server] 連線。 接著,在 [來源資料表] 區段中選擇 [現有資料表],並選取清單中的 dbo.emp 資料表,然後選取 [下一步]。 您可以根據自己的資料庫選取任何其他資料表。

  12. 在 [套用篩選] 頁面上,您可以藉由選取 [預覽資料] 按鈕來預覽資料及檢視輸入資料的結構描述。 然後選取下一步

  13. 在 [目的地資料存放區] 頁面上,選取 [+ Create new connection] \(+ 建立新連線\)

  14. 在 [New connection (SQL server)] \(新增連線 (SQL Server)\) 中,搜尋並選取 [Azure Blob 儲存體],然後選取 [繼續]

    Blob storage selection

  15. 在 [New connection (Azure Blob Storage)] \(新增連線 (Azure Blob 儲存體)\) 對話方塊上,執行下列步驟:

    a. 在 [名稱] 下,輸入 AzureStorageLinkedService

    b. 在 [Connect via integration runtime] \(透過整合執行階段連線\) 下,選取 [TutorialIntegrationRuntime],然後選取 [驗證方法] 下的 [帳戶金鑰]

    c. 在 [Azure 訂閱] 下,從下拉式清單中選取您的 Azure 訂閱。

    d. 在 [儲存體帳戶名稱] 下,從下拉式清單中選取您的儲存體帳戶。

    e. 測試連線,然後選取 [建立]

  16. 在 [目的地資料存放區] 對話方塊中,確保已在 [連線] 區塊中選取新建立的 [Azure Blob 儲存體] 連線。 然後在 [資料夾路徑] 下輸入 adftutorial/fromonprem。 您已建立 adftutorial 容器作為必要條件的一部分。 如果輸出資料夾不存在 (在此案例中為 fromonprem),Data Factory 會自動加以建立。 您也可以使用 [瀏覽] 按鈕以瀏覽 Blob 儲存體和其容器/資料夾。 如果您未在 [檔案名稱] 下指定任何值,依預設將會使用來自來源的名稱 (在此案例中為 dbo.emp)。

    Screenshot that shows the configuration of the 'Destination data store' page.

  17. 在 [檔案格式設定] 對話方塊上,選取 [下一步]

  18. 在 [設定] 對話方塊的 [工作名稱] 下,輸入 CopyFromOnPremSqlToAzureBlobPipeline,然後選取 [下一步]。 複製資料工具會使用您在此欄位指定的名稱建立管線。

  19. 在 [摘要] 對話方塊上,檢閱所有設定的值,然後選取 [下一步]

  20. 在 [部署] 頁面上,選取 [監視] 以監視管線 (工作)。

  21. 當管線執行完成時,您可以檢視您所建立管線的狀態。

  22. 在 [管線執行] 頁面上,選取 [重新整理] 以重新整理清單。 選取 [管線名稱] 下的連結,以檢視活動執行詳細資料或重新執行管線。

    Screenshot that shows the 'Pipeline runs' page.

  23. 在 [活動執行] 頁面上,選取 [活動名稱] 資料行下的 [詳細資料] 連結 (眼鏡圖示),取得複製作業的詳細資料。 若要回到 [管線執行] 檢視畫面,請選取階層連結功能表中的 [All pipeline runs] \(所有管線執行\) 連結。 若要重新整理檢視,請選取 [重新整理]

    Screenshot that shows the activity details.

  24. 確認您在 adftutorial 容器的 fromonprem 資料夾中看到輸出檔案。

  25. 選取左側的 [作者] 索引標籤以切換至編輯器模式。 您可以使用編輯器更新此工具所建立的連結服務、資料集和管線。 選取 [程式碼] 以檢視與編輯器中開啟之實體相關聯的 JSON 程式碼。 如需如何在 Data Factory 使用者介面中編輯這些實體的詳細資訊,請參閱本教學課程的 Azure 入口網站版本

    Screenshot that shows the Author tab.

此範例中的管線會將資料從 SQL Server 資料庫複製到 Blob 儲存體。 您已了解如何︰

  • 建立資料處理站。
  • 使用複製資料工具建立管線。
  • 監視管線和活動執行。

如需 Data Factory 所支援的資料存放區清單,請參閱支援的資料存放區

若要了解如何將大量資料從來源複製到目的地,請進入下列教學課程: