使用複製資料工具將數據從 Azure Blob 記憶體複製到 SQL 資料庫
適用於: Azure Data Factory Azure Synapse Analytics
提示
試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的單一分析解決方案。 Microsoft Fabric 涵蓋從數據移動到數據科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版 !
在本教學課程中,您會使用 Azure 入口網站 來建立數據處理站。 然後使用複製數據工具來建立管線,以將數據從 Azure Blob 記憶體複製到 SQL 資料庫。
注意
如果您不熟悉 Azure Data Factory,請參閱 Azure Data Factory 簡介。
在本教學課程中,您會執行下列步驟:
- 建立資料處理站。
- 使用複製資料工具來建立管線。
- 監視管線和活動執行。
必要條件
- Azure 訂用帳戶:如果您沒有 Azure 訂用帳戶,請在開始前建立免費帳戶。
- Azure 儲存體 帳戶:使用 Blob 記憶體作為源數據存放區。 如果您沒有 Azure 儲存體 帳戶,請參閱建立記憶體帳戶中的指示。
- Azure SQL 資料庫:使用 SQL 資料庫 作為接收數據存放區。 如果您沒有 SQL 資料庫,請參閱建立 SQL 資料庫 中的指示。
準備 SQL 資料庫
允許 Azure 服務存取 Azure SQL 資料庫 的邏輯 SQL Server。
確認 [允許 Azure 服務和資源存取此伺服器] 設定已針對執行 SQL 資料庫 的伺服器啟用。 此設定可讓 Data Factory 將數據寫入您的資料庫實例。 若要確認並開啟此設定,請移至邏輯 SQL Server > 安全性 > 防火牆和虛擬網路 > ,將 [允許 Azure 服務和資源存取此伺服器 ] 選項設為 ON。
注意
[允許 Azure 服務和資源存取此伺服器] 選項可讓網络從任何 Azure 資源存取您的 SQL Server,而不只是訂用帳戶中的資源。 它可能不適用於所有環境,但適用於此有限的教學課程。 如需詳細資訊,請參閱 Azure SQL Server 防火牆規則。 相反地,您可以使用 私人端點 來連線到 Azure PaaS 服務,而不需使用公用 IP。
建立 Blob 和 SQL 數據表
執行下列步驟來準備 Blob 記憶體和 SQL 資料庫 教學課程。
建立來源 Blob
啟動 記事本。 複製下列文字,並將它儲存在您的磁碟上名為 inputEmp.txt 的檔案中:
FirstName|LastName John|Doe Jane|Doe
建立名為 adfv2tutorial 的容器,並將 inputEmp.txt 檔案上傳至容器。 您可以使用 Azure 入口網站 或各種工具,例如 Azure 儲存體 Explorer 來執行這些工作。
建立接收 SQL 資料表
使用下列 SQL 腳本,在SQL 資料庫中建立名為
dbo.emp
的資料表:CREATE TABLE dbo.emp ( ID int IDENTITY(1,1) NOT NULL, FirstName varchar(50), LastName varchar(50) ) GO CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
建立資料處理站
在左側功能表上,選取 [建立資源 > 整合 > Data Factory ]:
在 [ 新增資料處理站 ] 頁面上的 [名稱 ] 底下 ,輸入 ADFTutorialDataFactory 。
資料處理站的名稱必須是 全域唯 一的。 您可能會收到下列錯誤訊息:
如果您收到名稱值的相關錯誤訊息,請輸入資料處理站的不同名稱。 例如,使用您的名稱 ADFTutorialDataFactory。 如需 Data Factory 成品的命名規則,請參閱 Data Factory 命名規則 。
選取要在其中建立新資料處理站的 Azure 訂 用帳戶。
針對 資源群組 ,請採取下列步驟之一:
a. 選取 [ 使用現有的 ],然後從下拉式清單中選取現有的資源群組。
b. 選取 [ 新建 ],然後輸入資源群組的名稱。
若要瞭解資源群組,請參閱 使用資源群組來管理您的 Azure 資源 。
在 [版本] 底下 ,針對版本選取 [V2 ]。
在 [位置 ] 底下 ,選取資料處理站的位置。 只有受支援的位置會顯示在下拉式清單中。 資料處理站所使用的資料存放區(例如,Azure 儲存體和SQL 資料庫)和計算(例如 Azure HDInsight)可以位於其他位置和區域。
選取建立。
建立完成之後, 就會顯示 Data Factory 首頁。
若要在個別索引標籤中啟動 Azure Data Factory 使用者介面 (UI),請在 [開啟 Azure Data Factory Studio ] 圖格上 選取 [ 開啟 ]。
使用複製資料工具來建立管線
在 Azure Data Factory 的首頁上,選取 [內嵌 ] 圖格以啟動複製資料工具。
在 [ 複製資料] 工具的 [屬性 ] 頁面上,選擇 [工作類型 ] 下的 [內建複製工作 ],然後選取 [ 下一步 ]。
在 [ 來源資料存放區 ] 頁面上,完成下列步驟:
a. 選取 [+ 建立新連線 ] 以新增連線。
b. 從資源庫選取 Azure Blob 儲存體 ,然後選取 [ 繼續 ]。
c. 在 [ 新增連線 (Azure Blob 儲存體) 頁面上,從 Azure 訂用帳戶清單中選取您的 Azure 訂用帳戶,然後從 [儲存體帳戶名稱 ] 清單中選取您的儲存體帳戶。 測試連線,然後選取 [ 建立 ]。
d. 選取新建立的連結服務作為連線區塊 中的 來源。
e. 在 [ 檔案或資料夾] 區段中,選取 [ 流覽 ] 以流覽至 adfv2tutorial 資料夾,選取 inputEmp.txt 檔案,然後選取 [ 確定 ]。
f. 選取 [下一步 ] 以移至下一個步驟。
在 [ 檔案格式設定 ] 頁面上,啟用 [第一列] 的 核取方塊作為標頭 。 請注意,此工具會自動偵測資料行和資料列分隔符號,而且您可以選取此頁面上的 [預覽資料 ] 按鈕來預覽資料並檢視輸入資料的 架構。 然後選取下一步。
在 [ 目的地資料存放區 ] 頁面上,完成下列步驟:
a. 選取 [+ 建立新連線 ] 以新增連線。
b. 從資源庫選取 [Azure SQL 資料庫 ],然後選取 [ 繼續 ]。
c. 在 [ 新增連線 ](Azure SQL 資料庫) 頁面上,從下拉式清單中選取您的 Azure 訂用帳戶、伺服器名稱和資料庫名稱。 然後在 [驗證類型 ] 底下 選取 [ SQL 驗證 ],指定使用者名稱和密碼。 測試連線,然後選取 [ 建立 ]。
d. 選取新建立的連結服務作為接收,然後選取 [ 下一步 ]。
在 [ 目的地資料存放區 ] 頁面上,選取 [ 使用現有的資料表 ],然後選取
dbo.emp
資料表。 然後選取下一步。在 [ 資料行對應 ] 頁面上,請注意輸入檔中的第二個和第三個數據行會對應至 emp 資料表的 FirstName 和 LastName 資料行。 調整對應以確定沒有錯誤,然後選取 [ 下一步 ]。
在 [設定] 頁面上的 [工作名稱 ] 底下 ,輸入 CopyFromBlobToSqlPipeline ,然後選取 [ 下一步 ]。
在 [ 摘要] 頁面上檢閱設定,然後選取 [ 下一步 ]。
在 [ 部署] 頁面上,選取 [監視 ] 以監視管線 (工作)。
在 [管線執行] 頁面上,選取 [重新 整理] 以重新整理清單。 選取 [管線名稱 ] 底下 的連結,以檢視活動執行詳細資料或重新執行管線。
在 [活動執行] 頁面上,選取 [活動名稱 ] 資料行底下的 [詳細資料 ] 連結(眼鏡圖示),以取得複製作業的詳細資訊。 若要回到 [管線執行] 檢視,請選取 階層連結功能表中的 [所有管線執行 ] 連結。 若要重新整理檢視,請選取 [ 重新整理 ]。
確認資料已 插入您SQL 資料庫中的 dbo.emp 資料表。
選取左側的 [ 作者] 索引標籤,以切換至編輯器模式。 您可以使用編輯器來更新透過工具建立的連結服務、資料集和管線。 如需在 Data Factory UI 中編輯這些實體的詳細資訊,請參閱 本教學 課程的Azure 入口網站版本。
相關內容
此範例中的管線會將資料從 Blob 儲存體複製到SQL 資料庫。 您已了解如何︰
- 建立資料處理站。
- 使用複製資料工具來建立管線。
- 監視管線和活動執行。
前進到下列教學課程,瞭解如何將資料從內部部署複製到雲端: