连接到 Fivetran

  • 项目

Fivetran 自动数据集成可以根据架构和 API 的变化而调整，确保通过随时可供查询的架构来可靠访问数据和简化分析。

可以将 Databricks SQL 仓库（以前称为 Databricks SQL 终结点）和 Azure Databricks 群集与 Fivetran 集成。 Fivetran 与 Azure Databricks 的集成可帮助你将数据从不同的数据源集中到 Delta Lake。

使用 Partner Connect 连接到 Fivetran

本部分介绍如何使用 Partner Connect 连接到 Fivetran。 每个用户可创建自己的连接。

注意

每用户连接体验现在处于公共预览状态。 可以通过联系 Azure Databricks 客户团队来禁用创建每用户连接的功能。

在使用 Partner Connect 连接之前

在使用 Partner Connect 连接到 Fivetran 之前，确保具有以下各项：

  • 工作区管理员用户角色或以下权限：

  • 对于 Unity Catalog 管理的数据，希望 Fivetran 写入到的目录的以下元存储对象特权：

    目录上的 -USE CATALOG 和CREATE SCHEMA。

    • （可选）要指定目标位置，请在外部位置 CREATE EXTERNAL TABLE，并访问云对象存储中的数据。

  • 对于由旧版 Hive 元存储管理的数据，希望 Fivetran 写入到的目录的以下元存储对象特权：

    • 目录上的 USAGE 和 CREATE
    • （可选）要指定目标位置，请访问云对象存储中的数据。

Unity Catalog 元存储对象的权限可由元存储管理员、对象所有者或包含对象的目录或架构所有者授予。 有关详细信息，请参阅 Unity Catalog 权限和安全对象。

旧 Hive 元存储对象的特权可由工作区管理员或对象的所有者授予。 有关详细信息，请参阅 Hive 元存储特权和安全对象（旧版）。

对云对象存储中数据的访问权限必须由在云对象存储帐户中具有足够权限的工作区管理员进行配置。 有关详细信息，请参阅启用数据访问配置。

Partner Connect 步骤

要使用 Partner Connect 将 Azure Databricks 工作区连接到 Fivetran，请执行以下操作：

  1. 在边栏中单击“Partner Connect”。

  2. 单击“Fivetran”磁贴。

    本部分中的步骤可创建用户级 Fivetran 试用帐户。 要登录到现有工作区级 Fivetran 试用帐户，可单击“使用现有连接”，完成屏幕上的说明以登录到 Fivetran，然后跳过本文中的其余步骤。

  3. 选择一个 SQL 仓库。 如果 SQL 仓库已停止，请单击“启动”。

  4. 如果已为 Unity Catalog 启用工作区，可选择 Fivetran 要写入的目录，然后单击“下一步”。

    Partner Connect 会生成与你的用户关联的 Azure Databricks 个人访问令牌。

  5. 单击“连接到 Fivetran”。

    此时 Web 浏览器中将打开一个新选项卡，其中会显示 Fivetran 网站。

  6. 完成 Fivetran 网站的屏幕说明以创建试用合作伙伴帐户。

手动连接到 Fivetran

有关手动连接过程的概述，请观看此 YouTube 视频（2 分钟）。

注意

要更快地将 SQL 仓库连接到 Fivetran，请使用 Partner Connect。

进行手动连接之前

在手动连接到 Fivetran 之前，必须具有以下各项：

  • Azure Databricks 工作区中的群集或 SQL 仓库。

  • 群集或 SQL 仓库的连接详细信息，特别是“服务器主机名”、“端口”和“HTTP 路径”值。

  • Azure Databricks 个人访问令牌或 Microsoft Entra ID（以前称为 Azure Active Directory）令牌…… 若要创建个人访问令牌，请执行以下操作：

    1. 在 Azure Databricks 工作区中，单击顶部栏中 Azure Databricks 用户名，然后从下拉列表中选择“用户设置”。
    2. 单击“开发人员”。
    3. 在“访问令牌”旁边，单击“管理”。
    4. 单击“生成新令牌”。
    5. （可选）输入有助于将来识别此令牌的注释，并将令牌的默认生存期更改为 90 天。 若要创建没有生存期的令牌（不建议），请将“生存期(天)”框留空（保留空白）。
    6. 单击“生成” 。
    7. 将显示的令牌复制到安全位置，然后单击“完成”。

    注意

    请务必将复制的令牌保存到安全的位置。 请勿与他人共享复制的令牌。 如果丢失了复制的令牌，你将无法重新生成完全相同的令牌， 而必须重复此过程来创建新令牌。 如果丢失了复制的令牌，或者认为令牌已泄露，Databricks 强烈建议通过单击“访问令牌”页上令牌旁边的垃圾桶（撤销）图标立即从工作区中删除该令牌。

    如果你无法在工作区中创建或使用令牌，可能是因为工作区管理员已禁用令牌或未授予你创建或使用令牌的权限。 请与工作区管理员联系，或参阅以下内容：

    注意

    作为安全最佳做法，在使用自动化工具、系统、脚本和应用进行身份验证时，Databricks 建议使用属于服务主体（而不是工作区用户）的个人访问令牌。 若要为服务主体创建令牌，请参阅管理服务主体的令牌。

提示

如果工作区中 Partner Connect 的 Fivetran 磁贴内带有一个勾选标记图标，则可单击该磁贴，然后通过展开“连接详细信息”可以获取已连接的 SQL 仓库的连接详细信息。 “个人访问令牌”是隐藏的；必须创建替换个人访问令牌，并在 Fivetran 要求你输入令牌时改为输入该新令牌。

手动步骤

若要手动连接到 Fivetran，请执行以下操作：

  1. 在 https://fivetran.com/login 上登录到你的 Fivetran 帐户，或创建一个新的 Fivetran 帐户。

    重要

    如果你登录到组织的 Fivetran 帐户，则可能会显示“选择目标”页面，其中列出一个或多个具有 Databricks 徽标的现有目标条目。 这些条目可能包含与你的工作区分隔的工作区中计算资源的连接详细信息。 如果你仍然想要重复使用其中一个连接，并且你信任该计算资源且有权访问它，请选择该目标，然后转到后续步骤。 否则，请选择任何可用目标以跳过此页。

  2. 在 Fivetran 的“仪表板”页中，单击“目标”选项卡。

  3. 单击“添加目标”。

  4. 输入“目标名称”，然后单击“添加”。

  5. 在“Fivetran 是现代 ELT”页面上，单击“设置连接器”。

  6. 单击数据源，然后单击“下一步”。

  7. 按照 Fivetran 的“设置指南”中的屏幕说明完成连接器设置。

  8. 单击“保存并测试”。

  9. 测试成功后，请单击“继续”。

  10. 在“选择数据的目标”页面上，单击“Azure 上的 Databricks”。

  11. 单击“继续设置”。

  12. 在 Fivetran 中完成屏幕上的说明，输入现有 Azure Databricks 计算资源的连接详细信息，特别是“服务器主机名”和“HTTP 路径”字段值以及之前生成的令牌。

  13. 单击“保存并测试”。

  14. 测试成功后，请单击“继续”。

  15. 继续执行后续步骤。

其他资源

在 Fivetran 网站上浏览以下一个或多个资源：