Arcion
Arcion 通过实时、分布式变更数据捕获 (CDC) 解锁事务性和操作数据的值,CDC 具有内置的各种架构管理、高可用性 (HA) 和自动缩放功能。
使用 Partner Connect 连接到 Arcion
注意
对于 Arcion,Partner Connect 仅支持 Databricks SQL 仓库。 若要将 Arcion 连接到 Azure Databricks 群集,请参阅连接到 Arcion。
确保 Azure Databricks 帐户、工作区和已登录用户均满足 Partner Connect 的要求。
在边栏中,单击
“Partner Connect”。单击“Arcion”磁贴。
注意
如果 Arcion 磁贴内部有一个复选标记图标,这意味着你的一位管理员已经使用 Partner Connect 将 Arcion 连接到你的工作区。 联系该管理员,她/他可以将你的电子邮件地址添加到他们使用 Partner Connect 创建的 Arcion 帐户。 在管理员添加你后,单击“Arcion”磁贴。
如果“连接到合作伙伴”对话框显示“下一步”按钮,请单击此按钮。
Partner Connect 在工作区中创建以下资源:
“电子邮件”框显示 Azure Databricks 上用户的电子邮件地址。 Arcion 将使用此地址为你创建新的 Arcion 帐户,或提示你登录到现有的 Arcion 帐户。
单击“连接到 Arcion”或“登录”。
如果你单击“连接到 Arcion”,Partner Connect 会创建 Azure Databricks 个人访问令牌并将其与 ARCION_USER 服务主体关联。
此时会在 Web 浏览器中打开一个新标签页,其中显示了 Arcion 网站。
按照 Arcion 中的屏幕说明操作,登录到现有 Arcion 帐户或创建新的 Arcion 帐户。 如果创建新的 Arcion 帐户,请务必选择“Arcion Cloud (beta 版本)”选项。 (请勿选择自承载选项。)
重要
如果你登录到组织的 Arcion 帐户,则可能会显示“复制”页面,其中列了一个或多个具有 Databricks 徽标的现有复制条目。 这些条目可能包含与你的工作区分隔的工作区中计算资源的详细信息。 如果你仍然想要重复使用其中一个连接,并且你信任该计算资源且有权访问它,请选择该目标,然后转到后续步骤。 否则,继续执行以下步骤。
如果你不在“复制”页中,请单击 Arcion Cloud 徽标。
在“复制”页中,单击“新建”。
对于“常规”步骤,在“设置复制”页上,输入“名称”和可选“说明”。
选择“复制模式”和“写入模式”。
单击“下一步”。
对于“源”步骤,请执行以下操作之一:
- 如果出现“源”页,请执行以下操作之一:
- 如果未列出目标源:
- 单击“新建”。
- 单击“连接类型”,然后单击“继续”。
- 继续执行“配置新连接”页步骤。
- 如果目标源已存在并显示在可用源列表中,请执行以下操作:
- 单击源。
- 单击所选源内的省略号图标,然后单击“编辑”。
- 继续执行“配置新连接”页步骤。
- 如果未列出目标源:
- 如果出现“配置新连接”页,请执行以下操作:
- 输入连接详细信息(如果尚未显示)。
- 单击 “继续” 。
- 单击“同步连接器”。
- 同步成功后,单击“继续”。
- 如果出现“源”页,请执行以下操作之一:
若要为此源指定任何非默认提取程序设置,请执行以下操作:
- 如果尚未选择源,请选择源。
- 若要使用现有提取程序,请选择“使用提取程序”复选框,然后单击提取程序。
- 若要创建新的提取程序,请单击“新建提取程序”,指定提取器的设置,然后单击“保存”。
如果尚未选择源,请选择源,然后单击“测试连接”。
连接成功后,单击“继续转至目标”。
对于“目标”步骤,请选择带有 Databricks 徽标和 SQL 仓库名称的磁贴。 默认情况下,SQL 仓库的名称是 ARCION_ENDPOINT。
若要为此目标指定任何非默认应用器设置,请执行以下操作:
- 如果尚未选择目标,请选择目标。
- 若要使用现有应用器,请选择“使用应用器”复选框,然后单击应用器。
- 若要创建新应用器,请单击“新建应用器”,指定应用器的设置,然后单击“保存并返回”。
如果尚未选择目标,请选择目标,然后单击“测试连接”。
注意
如果名为 ARCION_ENDPOINT 的 SQL 仓库未运行,则连接将失败。 请参阅启动、停止或删除 SQL 仓库。
连接成功后,单击“继续转至筛选器”。
对于“筛选器”步骤,选择指向目标的架构、表和列,然后单击“保存”。
若要指定任何非默认映射器设置,请单击“映射表”,指定设置,然后单击“保存”。
若要指定任何非默认独立表配置 (per table configs),请单击“独立表配置”,指定设置,然后单击“保存”。
单击“开始复制”。
继续执行后续步骤。
连接到 Arcion
若要完成该系列步骤,需要获取工作区中现有 Azure Databricks 计算资源(Databricks SQL 仓库或 Azure Databricks 群集)的连接详细信息,然后将这些详细信息添加到你的 Arcion 帐户。
注意
若要更快地将 SQL 仓库连接到 Arcion,请使用 Partner Connect。
对于 SQL 仓库,请生成 Azure Databricks 个人访问令牌,然后:
- 若要获取现有 SQL 仓库的连接详细信息,请参阅获取 SQL 仓库的连接详细信息。 具体来说,你将需要 SQL 仓库的“服务器主机名”、“端口”和“JDBC URL”字段值。
- 若要查看工作区中可用的 SQL 仓库,请参阅查看 SQL 仓库。
- 若要在工作区中创建 SQL 仓库,请参阅创建 SQL 仓库。
提示
如果工作区中 Partner Connect 的 Arcion 磁贴内有一个选中标记图标,则可单击该磁贴,然后展开连接详细信,获取已连接的 SQL 仓库的连接详细信息。 但请注意,此处的“个人访问令牌”是隐藏的;必须创建替换个人访问令牌,并在 Arcion 要求你输入令牌时改为输入该新令牌。
对于群集,请生成 Azure Databricks 个人访问令牌,然后:
- 若要获取现有群集的连接详细信息,请参阅获取群集的连接详细信息。 具体来说,你将需要群集的“服务器主机名”、“端口”和“JDBC URL”字段值。 请务必忽略读取
;UID=token;PWD=<personal-access-token>的 JDBC URL 部分,因为稍后将在 Arcion 用户界面的“用户名”和“密码”字段中输入 URL 的UID和PWD部分。 - 若要查看工作区中可用的群集,请参阅显示群集。
- 若要在工作区中创建群集,请参阅创建群集。
接下来,完成以下步骤:
如果你不在“复制”页中,请单击 Arcion Cloud 徽标。
在“复制”页中,单击“新建”。
重要
如果你登录到组织的 Arcion 帐户,在显示“复制”页面,可能会列出一个或多个具有 Databricks 徽标的现有复制或连接条目。 这些条目可能包含与你的工作区分隔的工作区中计算资源的连接详细信息。 如果你仍然想要重复使用其中一个连接,并且你信任该计算资源且有权访问它,请选择该目标,然后转到后续步骤。 否则,继续执行以下步骤。
对于“常规”步骤,在“设置复制”页上,输入“名称”和可选“说明”。
选择“复制模式”和“写入模式”。
单击“下一步”。
对于“源”步骤,请执行以下操作之一:
- 如果出现“源”页,请执行以下操作之一:
- 如果未列出目标源:
- 单击“新建”。
- 单击“连接类型”,然后单击“继续”。
- 继续执行“配置新连接”页步骤。
- 如果目标源已存在并显示在可用源列表中,请执行以下操作:
- 单击源。
- 单击所选源内的省略号图标,然后单击“编辑”。
- 继续执行“配置新连接”页步骤。
- 如果未列出目标源:
- 如果出现“配置新连接”页,请执行以下操作:
- 输入连接详细信息(如果尚未显示)。
- 单击 “继续” 。
- 单击“同步连接器”。
- 同步成功后,单击“继续”。
- 如果出现“源”页,请执行以下操作之一:
若要为此源指定任何非默认提取程序设置,请执行以下操作:
- 如果尚未选择源,请选择源。
- 若要使用现有提取程序,请选择“使用提取程序”复选框,然后单击提取程序。
- 若要创建新的提取程序,请单击“新建提取程序”,指定提取器的设置,然后单击“保存”。
如果尚未选择源,请选择源,然后单击“测试连接”。
连接成功后,单击“继续转至目标”。
对于“目标”步骤,请执行以下操作之一:
- 如果目标已存在并显示在可用源列表中,请选择它。
- 如果未列出目标,请执行以下操作:
- 依次单击“Databricks”、“继续”。
- 对于“连接名称”,请为此连接输入一个名称。
- 对于“JDBC URL”,请输入之前获得的 JDBC URL 值。
- 对于“主机”,请输入之前获得的“服务器主机名”值。
- 对于“端口”,请输入之前获得的“端口”值。
- 对于“用户名”,输入单词 。
- 对于“密码”,请输入之前获得的令牌。
- 单击 “测试连接” 。
- 连接成功后,单击“保存连接”。
- 单击 “上一步”。
若要为此目标指定任何非默认应用器设置,请执行以下操作:
- 如果尚未选择目标,请选择目标。
- 若要使用现有应用器,请选择“使用应用器”复选框,然后单击应用器。
- 若要创建新应用器,请单击“新建应用器”,指定应用器的设置,然后单击“保存并返回”。
如果尚未选择目标,请选择目标,然后单击“测试连接”。
注意
如果 Azure Databricks 计算资源未运行,连接将会失败。 请参阅启动、停止或删除 SQL 仓库或启动群集。
连接成功后,单击“继续转至筛选器”。
对于“筛选器”步骤,请指定任何非默认筛选器设置,然后单击“保存”。
若要指定任何非默认映射器设置,请单击“映射表”,指定设置,然后单击“保存”。
若要指定任何非默认独立表配置 (per table configs),请单击“独立表配置”,指定设置,然后单击“保存”。
单击“开始复制”。
继续执行后续步骤。
后续步骤
在 Arcion 网站上浏览以下一个或多个资源: