使用「複製資料」工具將資料從 SQL Server 資料庫複製到 Azure Blob 儲存體

適用于:Azure Data Factory Azure Synapse Analytics

在這個教學課程中,您會使用 Azure 入口網站來建立資料處理站。 接著,您會使用「複製資料」工具建立管線,以將資料從 SQL Server 資料庫複製到 Azure Blob 儲存體。

注意

在本教學課程中,您會執行下列步驟:

  • 建立資料處理站。
  • 使用複製資料工具建立管線。
  • 監視管線和活動執行。

必要條件

Azure 訂用帳戶

開始之前,如果您還沒有 Azure 訂用帳戶,請建立免費帳戶

Azure 角色

若要建立資料處理站執行個體,您用來登入 Azure 的使用者帳戶必須具備「參與者」或「擁有者」角色,或必須是 Azure 訂用帳戶的「管理員」

若要檢視您在訂用帳戶中擁有的權限,請前往 Azure 入口網站。 在右上角中,選取使用者名稱,然後選取 [權限]。 如果您有多個訂用帳戶的存取權,請選取適當的訂用帳戶。 如需如何將使用者新增至角色的範例指示,請參閱 使用 Azure 入口網站指派 Azure 角色

SQL Server 2014、2016 和 2017

在此教學課程中,您會使用 SQL Server 資料庫作為「來源」資料存放區。 您在此教學課程中於資料處理站中建立的管線會將資料從此 SQL Server 資料庫 (來源) 複製到 Blob 儲存體 (接收)。 然後在 SQL Server 資料庫中建立名為 emp 的資料表,並在資料表中插入幾個範例項目。

  1. 啟動 SQL Server Management Studio。 如果它尚未安裝在機器上,請移至下載 SQL Server Management Studio

  2. 使用您的認證連線到 SQL Server 執行個體。

  3. 建立範例資料庫。 在樹狀檢視中,以滑鼠右鍵按一下 [資料庫],然後選取 [新增資料庫]

  4. 在 [新增資料庫] 視窗中,輸入資料庫的名稱,然後選取 [確定]

  5. 若要建立 emp 資料表並在其中插入一些範例資料,請針對資料庫執行下列查詢指令碼。 在樹狀檢視中,以滑鼠右鍵按一下您建立的資料庫,然後選取 [新增查詢]

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
    
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
    

Azure 儲存體帳戶

在本教學課程中,您可以使用一般用途的 Azure 儲存體帳戶 (特別是 Blob 儲存體) 作為目的地/接收資料存放區。 如果您沒有一般用途的儲存體帳戶,請參閱建立儲存體帳戶來按照指示建立帳戶。 您在此教學課程中於資料處理站中建立的管線會將資料從 SQL Server 資料庫 (來源) 複製到此 Blob 儲存體 (接收)。

取得儲存體帳戶名稱和帳戶金鑰

您會在此教學課程中使用儲存體帳戶的名稱和金鑰。 採取下列步驟,以取得儲存體帳戶的名稱和金鑰:

  1. 使用您的使用者名稱和密碼登入 Azure 入口網站

  2. 在左側窗格中選取 [所有服務]。 使用 Storage 關鍵字進行篩選,然後選取 [儲存體帳戶]

    儲存體帳戶搜尋

  3. 在儲存體帳戶清單中,篩選您的儲存體帳戶 (如有需要)。 然後選取您的儲存體帳戶。

  4. 在 [儲存體帳戶] 視窗中,選取 [存取金鑰]

  5. 在 [儲存體帳戶名稱] 和 [金鑰1] 方塊中複製值,然後將它們貼到 [記事本] 或另一個編輯器中,以供稍後在教學課程中使用。

建立資料處理站

  1. 在左側功能表中,選取 [建立資源整合Data Factory]。

    新資料處理站的建立

  2. 在 [新增資料處理站] 頁面的 [名稱] 下,輸入 ADFTutorialDataFactory

    資料處理站的名稱必須是「全域唯一」的名稱。 如果您在 [名稱] 欄位看到下列錯誤訊息,請變更資料處理站的名稱 (例如 yournameADFTutorialDataFactory)。 如需 Data Factory 成品的命名規則,請參閱 Data Factory 命名規則

    新的 data factory 錯誤訊息,以取得重複的名稱。

  3. 選取您要在其中建立資料處理站的 Azure 訂用帳戶

  4. 針對 [資源群組],採取下列其中一個步驟︰

    • 選取 [使用現有的] ,然後從下拉式清單選取現有的資源群組。

    • 選取 [建立新的] ,然後輸入資源群組的名稱。

      若要了解資源群組,請參閱使用資源群組管理您的 Azure 資源

  5. 在 [版本] 下,選取 [V2]

  6. 在 [位置] 下,選取資料處理站的位置。 只有受到支援的位置會顯示在下拉式清單中。 Data Factory 所使用的資料存放區 (例如 Azure 儲存體和 SQL Database) 和計算 (例如 Azure HDInsight) 可位於其他地區/區域。

  7. 選取 [建立]。

  8. 建立完成之後,您會看到如圖中所示的 [Data Factory] 頁面。

    Azure Data Factory 的 [首頁] 頁面,其中包含 [開啟 Azure Data Factory Studio] 磚。

  9. 選取 [開啟Azure Data Factory Studio ] 磚上的 [開啟],在另一個索引標籤中啟動 Data Factory 的使用者介面。

使用複製資料工具建立管線

  1. 在 Azure Data Factory 的首頁上 ,選取 [ 內嵌] 以啟動資料複製工具。

    顯示 Azure Data Factory 首頁的螢幕擷取畫面。

  2. 在 [資料複製] 工具的 [內容] 頁面上,選擇 [工作類型] 下的 [內建複製工作],然後選擇 [立即執行一次] 或 [工作排程],然後選取[下一步]

  3. 在 [ 來源資料存放區 ] 頁面上,選取 [開啟 + 建立新連接]。

  4. 在 [新增連接] 底下,搜尋SQL Server,然後選取 [繼續]。

  5. 在 [新連線 (SQL 伺服器) ] 對話方塊的 [名稱] 底下,輸入SqlServerLinkedService。 在 [透過整合執行階段連線] 下選取 [+新增]。 您必須建立自我裝載的整合執行階段、將其下載到您的機器,並使用 Data Factory 進行註冊。 自我裝載的整合執行階段會在內部部署環境與雲端之間複製資料。

  6. 在 [ Integration runtime 安裝程式 ] 對話方塊中,選取 [ 自我裝載]。 然後選取 [繼續] 。

    建立整合執行階段

  7. 在 [ Integration runtime 安裝程式 ] 對話方塊的 [ 名稱] 底下,輸入 >tutorialintegrationruntime。 然後選取 [建立]。

  8. 在 [ 整合執行時間設定 ] 對話方塊中,選取 [ 按一下這裡啟動此電腦的快速設定]。 此動作會在您的機器上安裝整合執行階段,並使用 Data Factory 進行註冊。 或者,您可以使用手動安裝選項來下載安裝檔案、執行它,並使用金鑰來註冊整合執行階段。

  9. 執行下載的應用程式。 您會在視窗中看到快速安裝的狀態。

    快速安裝狀態

  10. 在 [新增連線 (SQL Server) ] 對話方塊中,確認已選取 [透過整合執行時間連線] 下的 [ >tutorialintegrationruntime ]。 然後採取下列步驟:

    a. 在 [名稱] 下輸入 SqlServerLinkedService

    b. 在 [伺服器名稱] 下,輸入 SQL Server 執行個體的名稱。

    c. 在 [資料庫名稱] 下,輸入內部部署資料庫名稱。

    d. 在 [驗證類型] 下,選取適當的驗證。

    e. 在 [使用者名稱] 下,輸入具有 SQL Server 存取權的使用者名稱。

    f. 輸入使用者的 密碼

    g. 測試連接,然後選取 [ 建立]。

    已選取整合執行階段

  11. 在 [來源資料存放區] 頁面上,確定已在連接區塊中選取新建立的SQL Server連接。 然後,在 [ 來源資料表] 區段中,選擇 [ 現有資料表] ,然後選取清單中的 [ dbo ] 資料表,再選取 [ 下一步]。 您可以根據自己的資料庫選取任何其他資料表。

  12. 在 [套用 篩選 ] 頁面上,您可以藉由選取 [ 預覽資料 ] 按鈕來預覽資料,並查看輸入資料的架構。 然後選取 [下一步]。

  13. 在 [目的地資料存放區] 頁面上,選取 [ + 建立新連接]。

  14. 在 [新增連接] 中,搜尋並選取Azure Blob 儲存體,然後選取 [繼續]。

    Blob 儲存體選取

  15. 在 [新增連線 (Azure Blob 儲存體) ] 對話方塊中,執行下列步驟:

    a. 在 [名稱] 下,輸入 AzureStorageLinkedService

    b. 在 [透過整合執行時間連線] 下,選取 [ >tutorialintegrationruntime],然後選取 [驗證方法] 底下的 [帳戶金鑰

    c. 在 [ azure 訂用帳戶] 下,從下拉式清單中選取您的 azure 訂用帳戶。

    d. 在 [儲存體帳戶名稱] 下,從下拉式清單中選取您的儲存體帳戶。

    e. 測試連接,然後選取 [ 建立]。

  16. 在 [目的地資料存放區] 對話方塊中,確認已在連接區塊中選取新建立的Azure Blob 儲存體連接。 在 [ 資料夾路徑] 下,輸入 adftutorial/fromonprem。 您已建立 adftutorial 容器作為必要條件的一部分。 如果輸出資料夾不存在 (在此案例中為 fromonprem),Data Factory 會自動加以建立。 您也可以使用 [瀏覽] 按鈕以瀏覽 Blob 儲存體和其容器/資料夾。 如果您未在 [檔案名稱] 下指定任何值,依預設將會使用來自來源的名稱 (在此案例中為 dbo.emp)。

    顯示 [目的地資料存放區] 頁面設定的螢幕擷取畫面。

  17. 在 [檔案格式設定] 對話方塊上,選取 [下一步]

  18. 在 [設定] 對話方塊的 [工作名稱] 底下,輸入>copyfromonpremsqltoazureblobpipeline,然後選取[下一步]。 複製資料工具會使用您在此欄位指定的名稱建立管線。

  19. 在 [摘要] 對話方塊上,檢閱所有設定的值,然後選取 [下一步]

  20. 在 [ 部署 ] 頁面上,選取 [ 監視 ] 來監視管線 (工作) 。

  21. 當管線執行完成時,您可以檢視您所建立管線的狀態。

  22. 在 [管線執行] 頁面上 ,選取 [ 重新整理] 以重新整理清單。 選取 [ 管線名稱 ] 下的連結以查看活動執行詳細資料,或重新執行管線。

    顯示 [管線執行] 頁面的螢幕擷取畫面。

  23. 在 [活動執行] 頁面上,選取 [活動名稱] 欄下的 [詳細資料] 連結 (眼鏡圖示) ,以取得複製作業的詳細資料。 若要回到 [管線執行] 頁面,請選取階層連結功能表中的 [ 所有管線執行 ] 連結。 若要重新整理檢視,請選取 [重新整理]。

    顯示活動詳細資料的螢幕擷取畫面。

  24. 確認您在 adftutorial 容器的 fromonprem 資料夾中看到輸出檔案。

  25. 選取左側的 [作者] 索引標籤以切換至編輯器模式。 您可以使用編輯器更新此工具所建立的連結服務、資料集和管線。 選取 [程式碼] 以檢視與編輯器中開啟之實體相關聯的 JSON 程式碼。 如需如何在 Data Factory 使用者介面中編輯這些實體的詳細資訊,請參閱本教學課程的 Azure 入口網站版本

    顯示 [作者] 索引標籤的螢幕擷取畫面。

後續步驟

此範例中的管線會將資料從 SQL Server 資料庫複製到 Blob 儲存體。 您已了解如何︰

  • 建立資料處理站。
  • 使用複製資料工具建立管線。
  • 監視管線和活動執行。

如需 Data Factory 所支援的資料存放區清單,請參閱支援的資料存放區

若要了解如何將大量資料從來源複製到目的地,請進入下列教學課程: