Matillion

  • 项目

Matillion ETL 是专为云数据库平台（包括 Azure Databricks）而构建的 ETL/ELT 工具。 Matillion ETL 具有基于浏览器的新式 UI，具有强大的下推 ETL/ELT 功能。 请参阅 Matillion ETL 产品概述。

可将 Databricks SQL 仓库和 Azure Databricks 群集与 Matillion 集成。

使用 Partner Connect 连接到 Matillion

在本部分中，将使用 Partner Connect 更轻松地将 Azure Databricks 工作区中的现有 SQL 仓库或群集连接到 Matillion。

  1. 确保 Azure Databricks 帐户、工作区和已登录用户均满足 Partner Connect 的要求。

  2. 在边栏中，单击 Partner Connect button“Partner Connect”。

  3. 单击 “Matillion” 磁贴。

    “电子邮件”框显示 Azure Databricks 帐户的电子邮件地址。 Matillion 将使用此电子邮件地址提示你创建新的 Matillion 帐户或登录到现有的 Matillion 帐户。

    注意

    如果 Matillion 磁贴内部有一个复选标记图标，这意味着你的一位管理员已经使用 Partner Connect 将 Matillion 连接到你的工作区。 联系该管理员，他可以将你添加到他们使用 Partner Connect 创建的 Matillion 帐户。

  4. 单击“连接到 Matillion ETL” 或“登录”。

    此时会在浏览器中打开一个新选项卡，其中显示 Matillion 中心。

  5. 按照 Matillion 中的屏幕说明创建 14 天试用的 Matillion 帐户，或登录现有 Matillion 帐户。

    重要

    如果显示错误提示你组织中的某个人已经使用 Matillion 创建了一个帐户，请联系你组织的一位管理员并让他们将你添加到你组织的 Matillion 帐户。 添加后，登录到现有的 Matillion 帐户。

  6. 完成屏幕说明以提供作业详细信息，然后单击“继续”。

  7. 完成创建组织的屏幕说明，然后单击“继续”。

  8. 单击创建的组织，然后单击“添加 Matillion ETL 实例”。

  9. 单击“在 Azure 中继续”。

    此时会打开 Azure 门户。

  10. 按照 Matillion ETL 文档中的从 Azure ARM 模板启动 Matillion ETL 进行操作，从步骤 6 开始。

  11. 按照 Matillion ETL 文档中的实例关联进行操作。

    Matillion ETL 将在浏览器中打开，此时将显示“创建项目”对话框。

  12. 按照 Matillion ETL 文档中的在 Azure 上的 Databricks 项目上创建 Delta Lake 进行操作。

    对于这些说明中的“Delta Lake 连接”部分中的设置，请输入以下信息：

    • 对于工作区 ID，请输入 Azure Databricks 工作区的 ID。 不包括 azuredatabricks.com。 请参阅工作区实例名称、URL 和 ID。
    • 对于“用户名”，输入单词 。
    • 对于密码，请输入生成的 Azure Databricks 个人访问令牌。

    若要获取工作区 ID 并生成个人访问令牌，请执行以下操作：

    1. 返回到浏览器中的 Partner Connect 选项卡。

    2. 记下工作区 ID。

    3. 单击“生成新令牌”。

      此时会在浏览器中打开一个新选项卡，该选项卡的 Databricks SQL UI 中将显示“用户设置”页。

    4. 单击“生成新令牌”。

    5. 选择性地输入说明（注释）和有效期。

    6. 单击“生成” 。

    7. 复制生成的个人访问令牌，并将其存储在安全的位置。

    8. 在浏览器中，返回到 Matillion 选项卡。

    对于这些说明中的“Delta Lake 默认设置”部分中的设置，对于“群集”，请选择 SQL 仓库或群集的名称。

  13. 继续执行后续步骤。

连接到 Matillion

在本部分中，你将 Databricks 工作区中的现有 SQL 仓库或群集手动连接到 Matillion。

注意

可以使用 Partner Connect 连接到 Matillion，以简化连接过程。

与 Matillion 集成之前，必须具备以下各项：

若要手动连接到 Matillion，请执行以下操作：

  1. 获取要在工作区中使用的现有计算资源（SQL 仓库或群集）的名称。 稍后，你将选择该名称以完成计算资源与 Matillion ETL 实例之间的连接。

    对于 SQL 仓库：

    对于群集：

    • 若要查看工作区中可用的群集，请参阅显示群集。
    • 若要在工作区中创建群集，请参阅创建群集。

  2. 连接 Matillion ETL 实例并登录它。

  3. 在 Databricks 项目上创建 Delta Lake。 对于这些说明中的“Delta Lake 连接”部分中的设置，请输入以下信息：

    • 对于“工作区 ID”，请输入 Azure Databricks 每个工作区 URL 的工作区 ID。 请勿在第一个“点”后添加任何内容 (.)。 请参阅工作区实例名称、URL 和 ID。
    • 对于“用户名”，输入单词 。
    • 对于密码，请输入 Azure Databricks 个人访问令牌或 Azure Active Directory 令牌。

    对于这些说明中的“Delta Lake 默认设置”部分中的设置，对于“群集”，请选择 SQL 仓库或群集的名称。

  4. 继续执行后续步骤。

后续步骤

在 Matillion 网站上浏览以下一个或多个资源：