連線 到 Fivetran

  • 發行項

Fivetran 自動化數據整合會隨著架構和 API 的變更而調整，確保使用現成查詢架構進行可靠的數據存取和簡化分析。

您可以將 Databricks SQL 倉儲（先前稱為 Databricks SQL 端點）和 Azure Databricks 叢集與 Fivetran 整合。 Fivetran 與 Azure Databricks 整合可協助您將不同數據源的數據集中到 Delta Lake。

使用合作夥伴 連線 連線 至 Fivetran

本節說明如何使用合作夥伴 連線 連線到 Fivetran。 每個用戶都會建立自己的連線。

注意

每位用戶連線體驗處於 公開預覽狀態。 您可以連絡 Azure Databricks 帳戶小組，以停用建立每個用戶連線的能力。

使用合作夥伴 連線 連線之前

使用合作夥伴 連線 連線到 Fivetran 之前，請確定您有下列專案：

  • 工作區系統管理員使用者角色或下列權限：

  • 針對 Unity 目錄所管理的數據，您希望 Fivetran 寫入目錄的下列中繼存放區物件許可權：

    -USE CATALOG 和CREATE SCHEMA 在目錄上。

    • （選擇性）若要指定目的地位置， 請在外部位置上建立 EXTERNAL TABLE ，以及存取雲端物件記憶體中的數據。

  • 針對舊版 Hive 中繼存放區所管理的數據，您希望 Fivetran 寫入目錄的下列中繼存放區物件許可權：

    • USAGE目錄上的和CREATE
    • （選擇性）若要指定目的地位置，請存取雲端物件記憶體中的資料。

Unity 目錄中繼存放區對象的許可權可由中繼存放區管理員、對象的擁有者或包含物件的目錄或架構的擁有者授與。 如需詳細資訊，請參閱 Unity 目錄許可權和安全性實體物件。

舊版Hive中繼存放區對象的許可權可由工作區管理員或對象的擁有者授與。 如需詳細資訊，請參閱Hive中繼存放區許可權和安全性實體物件（舊版）。

雲端物件記憶體中的數據存取權必須由在雲端物件記憶體帳戶中具有足夠許可權的工作區管理員設定。 如需詳細資訊，請參閱 啟用資料存取設定。

合作夥伴 連線 步驟

若要使用合作夥伴 連線 將 Azure Databricks 工作區連線到 Fivetran，請執行下列動作：

  1. 在提要欄位中，按兩下 [合作夥伴 連線]。

  2. 按兩下 [Fivetran] 圖格。

    本節中的步驟會建立用戶層級的 Fivetran 試用帳戶。 若要登入現有的工作區層級 Fivetran 試用帳戶，請按兩下 [使用現有的連線]，完成螢幕指示以登入 Fivetran，並略過本文的其餘步驟。

  3. 選取 SQL 倉儲。 如果 SQL 倉儲已停止，請按兩下 [ 啟動]。

  4. 如果您的工作區已啟用 Unity 目錄，請選取要寫入的 Fivetran 目錄，然後按 [下一步]。

    合作夥伴 連線 會產生與使用者相關聯的 Azure Databricks 個人存取令牌。

  5. 按兩下 [連線 至 Fivetran]。

    新的索引標籤會在網頁瀏覽器中開啟，其中顯示 Fivetran 網站。

  6. 完成 Fivetran 網站上的螢幕指示，以建立您的試用合作夥伴帳戶。

手動 連線 至 Fivetran

如需手動連線程式的概觀，請觀看此 YouTube 影片（2 分鐘）。

注意

若要加快將 SQL 倉儲與 Fivetran 連線，請使用合作夥伴 連線。

手動連線之前

在手動連線到 Fivetran 之前，您必須具備下列專案：

  • Azure Databricks 工作區中的叢集或 SQL 倉儲。

  • 叢集或 SQL 倉儲的連線詳細數據，特別是 伺服器主機名、 埠和 HTTP 路徑 值。

  • Azure Databricks 個人存取令牌 或 Microsoft Entra ID（先前稱為 Azure Active Directory） 令牌。 若要建立個人存取令牌，請執行下列動作：

    1. 在 Azure Databricks 工作區中，按兩下頂端列中的 Azure Databricks 使用者名稱，然後從下拉式清單中選取 [設定]。
    2. 按兩下 [ 開發人員]。
    3. 按兩下 [存取令牌] 旁的 [管理]。
    4. 按兩下 [ 產生新的令牌]。
    5. （選擇性）輸入批注，協助您在未來識別此令牌，並變更令牌的預設存留期 90 天。 若要建立沒有存留期的令牌（不建議），請將 [ 存留期（天）] 方塊保留空白（空白）。
    6. 按一下 [產生]。
    7. 將顯示的令牌複製到安全的位置，然後按兩下 [ 完成]。

    注意

    請務必將複製的令牌儲存在安全的位置。 請勿與其他人共享複製的令牌。 如果您遺失複製的令牌，就無法重新產生完全相同的令牌。 相反地，您必須重複此程式來建立新的令牌。 如果您遺失複製的令牌，或您認為令牌已遭入侵，Databricks 強烈建議您按兩下存取令牌頁面上令牌旁邊的垃圾桶 （Revoke） 圖示，立即從工作區中刪除該令牌。

    如果您無法在工作區中建立或使用令牌，這可能是因為您的工作區系統管理員已停用令牌，或未授與您建立或使用令牌的許可權。 請參閱您的工作區管理員或下列專案：

    注意

    作為安全性最佳做法，當您使用自動化工具、系統、腳本和應用程式進行驗證時，Databricks 建議您使用屬於 服務主體 的個人存取令牌，而不是工作區使用者。 若要建立服務主體的令牌，請參閱 管理服務主體的令牌。

提示

如果工作區中合作夥伴 連線 的 Fivetran 圖格中有複選標記圖示，您可以按兩下磚，然後展開 連線 詳細數據，以取得已連線 SQL 倉儲的連線詳細數據。 [個人存取令牌] 已隱藏;您必須建立取代的個人存取令牌，並在 Fivetran 要求您提供令牌時改為輸入該新令牌。

手動步驟

若要手動連線到 Fivetran，請執行下列動作：

  1. 在 登入您的 Fivetran 帳戶，或建立新的 Fivetran 帳戶 https://fivetran.com/login。

    重要

    如果您登入組織的 Fivetran 帳戶， [選擇目的地 ] 頁面可能會顯示，並列出一或多個具有 Databricks 標誌的現有目的地專案。 這些專案可能包含與您分開之工作區中計算資源的連線詳細數據。 如果您仍想要重複使用其中一個連線，而且您信任計算資源並具有其存取權，請選擇該目的地，然後跳到後續步驟。 否則，請選擇任何可用的目的地以超過此頁面。

  2. 在 Fivetran 的 [ 儀錶板] 頁面中，按兩下 [ 目的地] 索引標籤 。

  3. 按兩下 [ 新增目的地]。

  4. 輸入目的地名稱，然後按兩下 [新增]。

  5. 在 [ Fivetran 是新式 ELT ] 頁面上，按兩下 [ 設定連接器]。

  6. 按兩下數據源，然後按[ 下一步]。

  7. 請依照 Fivetran 中的安裝指南中的畫面指示來完成連接器的設定。

  8. 按兩下 [ 儲存及測試]。

  9. 測試成功之後，按兩下 [ 繼續]。

  10. 在 [ 選取數據的目的地 ] 頁面上，按兩下 Azure 上的 Databricks。

  11. 按兩下 [ 繼續設定]。

  12. 完成 Fivetran 中的畫面指示，以輸入現有 Azure Databricks 計算資源的連線詳細數據，特別是 伺服器主機名 和 HTTP 路徑 域值，以及您稍早產生的令牌。

  13. 按兩下 [ 儲存及測試]。

  14. 測試成功之後，按兩下 [ 繼續]。

  15. 繼續進行後續步驟。

其他資源

在 Fivetran 網站上探索下列一或多個資源：