为 Analytics Platform System 配置 InfiniBand 网络适配器

  • 项目

介绍如何在非设备客户端服务器上配置 InfiniBand 网络适配器，以连接到 Parallel Data Warehouse (PDW) 上的控制节点。 使用这些说明进行基本连接和获得高可用性，以便加载、备份和其他进程自动连接到活动的 InfiniBand 网络。

说明

这些说明演示如何在连接 InfiniBand 的服务器上查找和设置正确的 InfiniBand IP 地址和子网掩码。 它们还介绍如何将服务器设置为使用 APS 设备 DNS，以便连接解析为主动 InfiniBand 网络。

为了获得高可用性，APS 有两个 InfiniBand 网络，一个是主动网络，一个是被动网络。 每个 InfiniBand 网络都有一个不同的控制节点 IP 地址。 如果主动 InfiniBand 网络出现故障，被动 InfiniBand 网络将成为主动网络。 发生这种情况时，脚本或进程会自动连接到主动 InfiniBand 网络，而无需更改脚本参数。

具体而言，在本文中，你将：

  1. 查找 APS DNS 服务器的 InfiniBand IP 地址（appliance_domain-AD01 和 appliance_domain*-AD02）。 为此，请登录到 AD01 和 AD02 服务器，并获取每个 InfiniBand 网络的 IP 地址。 AD 节点上的 InfiniBand IP 地址是 DNS IP 地址。

  2. 将每个网络适配器配置为使用 APS InfiniBand 网络上的可用 IP 地址。

    1. 如果你有两个 InfiniBand 网络适配器，请在名为 TeamIB1 的第一个 InfiniBand 网络中配置一个具有可用 IP 地址的适配器，另一个适配器在第二个称为 TeamIB2 的 InfiniBand 网络中具有可用的 IP 地址。 使用 appliance_domain-AD01 TeamIB1 IP 地址作为首选 DNS 服务器，将 appliance_domain-AD02 TeamIB1 IP 地址用作 TeamIB1 网络适配器的备用 DNS 服务器。 使用 appliance_domain-AD01 TeamIB2 IP 地址作为首选 DNS 服务器，将 appliance_domain-AD02 TeamIB2 IP 地址用作 TeamIB2 网络适配器的备用 DNS 服务器。

    2. 如果你只有一个 InfiniBand 网络适配器，请使用其中一个 InfiniBand 网络中的可用 IP 地址配置适配器。 然后使用 appliance_domain-AD01 TeamIB1 和 appliance_domain-AD02 TeamIB1 或使用 appliance_domain-AD01 TeamIB2 和 appliance_domain-AD02 TeamIB2 在此适配器上配置首选和备用 DNS 服务器，它们与配置的适配器在同一个网络上，分别作为首选和备用 DNS 服务器。

  3. 将 InfiniBand 网络适配器配置为使用 APS DNS 服务器将连接解析到主动 InfiniBand 网络。

    1. 要进行配置，请使用高级 TCP/IP 设置将设备域 DNS 后缀添加到客户端服务器上的 DNS 后缀列表的开头。 这只需要在其中一个网络适配器上配置；该设置适用于这两个适配器。

配置 InfiniBand 网络适配器后，客户端进程可以将 PDW_region-SQLCTL01 用作服务器的地址连接到 InfiniBand 网络上的控制节点。 你的服务器将追加 Analytics Platform System DNS 后缀，或者可以输入完整的地址，即 PDW_region-SQLCTL01.appliance_domain.pdw.local。

例如，如果 PDW 区域名称为 MyPDW，设备名称为 MyAPS，则用于加载数据的 dwloader 服务器规范如下：

  • dwloader -S MYPDW-SQLCTL01.MyAPS.pdw.local

  • dwloader -S MYPDW-SQLCTL01

开始之前

要求

需要 APS 设备域帐户才能登录到 AD01 节点。 例如，F12345*\Administrator。

你的客户端服务器上需要一个有权配置网络适配器的 Windows 帐户。

先决条件

这些说明假定客户端服务器已装入机架并用电缆连接到设备 InfiniBand 网络。 有关机架和布线说明，请参阅获取和配置加载服务器。

一般备注

通过使用 SQLCTL01，Analytics Platform System DNS 使用主动 InfiniBand 网络将客户端服务器连接到控制节点。 这仅适用于连接；如果在加载或备份期间 InfiniBand 网络出现故障，则需要重启该过程。

要满足自己的业务需求，你还可以将客户端服务器加入你自己的非设备工作组或 Windows 域。

步骤 1：获取设备 InfiniBand 网络设置

要获取设备 InfiniBand 网络设置

  1. 使用 appliance_domain\Administrator 帐户登录到设备 AD01 节点。

  2. 在设备 AD01 节点上，打开控制面板，选择“网络和 Internet”，选择“网络和共享中心”，然后选择“更改适配器设置”。

  3. 在“网络连接”窗口中，右键单击“Team IB1”，然后单击“属性”。

    InfiniBand connections on the Management node

  4. 在“Internet 协议版本 4 (TCP/IPv4) 属性”窗口中，记下 IP 地址和子网掩码的值。 appliance_domain-AD01 节点的IP 地址是 Analytics Platform System DNS 服务器的 IP 地址。

  5. 对 appliance_domain-AD02 服务器上的 TeamIB1 适配器重复上述步骤 1-5。

    PDW Management node InfiniBand 1 properties

  6. 单击“取消”以关闭该窗口。

  7. 在 TeamIB1 网络上找到未使用的 IP 地址，并将其记下来。

    要查找未使用的 IP 地址，请打开命令窗口，并尝试在设备的地址范围内 ping IP 地址。 在本示例中，TeamIB1 网络的 IP 地址为 172.16.14.30。 查找以 172.16.14 开头的未使用的 IP 地址。 例如，从命令行输入“ping 172.16.14.254”。 如果 ping 请求失败，则 IP 地址可用。

  8. 对 TeamIB2 执行相同的操作。 在*“网络连接”窗口中，右键单击“Team IB2”，然后选择“属性”。

  9. 在“Internet 协议版本 4 (TCP/IPv4) 属性”窗口中，记下 TeamIB2 的 IP 地址和子网掩码的值。

  10. 对 appliance_domain-AD02 服务器上的 TeamIB2 适配器重复上述步骤 8-9。

    Properties for TeamIB2

  11. 在 TeamIB2 网络上找到未使用的 IP 地址，并将其记下来。

    要查找未使用的 IP 地址，请打开命令窗口，并尝试在设备的地址范围内 ping IP 地址。 在本示例中，TeamIB2 网络的 IP 地址为 172.16.18.30。 查找以 172.16.18 开头的未使用的 IP 地址。 例如，从命令行输入“ping 172.16.18.254”。 如果 ping 请求失败，则 IP 地址可用。

步骤 2：在客户端服务器上配置 InfiniBand 网络适配器设置

说明

  • 这些步骤说明如何将你的服务器注册到 APS DNS 服务器。

  • 要满足自己的网络需求，你还可以将客户端服务器加入你自己的非设备工作组或 Windows 域。

  • 说明逐步讲解如何在每台服务器上配置两个网络适配器。 如果你只有一个网络适配器，请选择其中一个网络以在网络适配器上配置，然后将第二个 DNS IP 地址添加为备用 DNS 服务器。

要在客户端服务器上配置 InfiniBand 网络适配器设置

  1. 以 Windows 管理员身份登录到设备 InfiniBand 网络上的加载、备份或其他客户端服务器。

  2. 打开“控制窗格”*，选择“网络和共享中心”，然后选择“更改适配器设置”。

要配置第一个网络适配器

  1. 在“网络连接”窗口中，右键单击 Mellanox 适配器的一个身份不明的网络槽，然后选择“属性”。

    Select the InfiniBand networks

  2. 在“属性”窗口中

    1. 在“常规”选项卡上，将 IP 地址设置为在 TeamIB1 的 ping 测试中免费验证的 IP 地址。 对于本文中使用的示例值，请输入 172.16.14.254。

    2. 将子网掩码设置为你为 TeamIB1 记下的子网掩码。

    3. 将首选 DNS 服务器设置为之前从 appliance_domain*-AD01 节点记下的 TeamIB1 IP 地址。

    4. 将备用 DNS 服务器设置为之前从 appliance_domain*-AD02 节点记下的 TeamIB1 IP 地址。

      InfiniBand 1 Network Adapter Properties

    5. 单击“确定”应用更改。

要配置第二个网络适配器

  1. 如果只有一个网络适配器，请跳过本部分。

  2. 在“网络连接”窗口中，右键单击 Mellanox 适配器的第二个未识别网络槽，然后选择“属性”。

    Select the InfiniBand networks

  3. 在“属性”窗口中

    1. 在“常规”选项卡上，将 IP 地址设置为在 TeamIB2 的 ping 测试中免费验证的 IP 地址。 对于本文中使用的示例值，请输入 172.16.18.254。

    2. 将子网掩码设置为你为 TeamIB2 记下的子网掩码。

    3. 将首选 DNS 服务器设置为之前从 appliance_domain*-AD01 节点记下的 TeamIB2 IP 地址。

    4. 将备用 DNS 服务器设置为之前从 appliance_domain*-AD02 节点记下的 TeamIB2 IP 地址。

      注意

      如果你只有一个网络适配器，请分别使用设备 AD01 TeamIB1 和设备 AD02 TeamIB1 作为首选 DNS 服务器和备用 DNS 服务器来配置首选和备用 DNS 服务器，或使用设备 AD01 TeamIB2 和设备 AD02 TeamIB2 作为首选 DNS 服务器和备用 DNS 服务器，具体取决于 AD 虚拟机是否已故障转移。

      InfiniBand 1 Network Adapter Properties

    5. 单击“确定”应用更改。

要配置 DNS 后缀

  1. 在“网络连接”窗口中，右键单击 Mellanox 适配器的其中一个网络槽，然后选择“属性”。

  2. 单击“高级...”按钮。

  3. 在“高级 TCP/IP 设置”窗口中，如果“追加这些 DNS 后缀”选项没有灰显，请选中名为“追加这些 DNS 后缀（按顺序）：”的框，选择设备域后缀，然后单击“添加...”。设备域后缀为 appliance_domain.local

  4. 如果“追加这些 DNS 后缀（按顺序）：”选项灰显，可以通过修改注册表项 HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\DNSClient 将 APS 域添加到此服务器。

    TCP/IP Settings

  5. 为了更快地进行地址解析，建议将设备后缀移动到列表顶部。

  6. 单击“确定”。

  7. 现在，可以使用 PDW_region-SQLCTL01.appliance_domain.local 连接到设备 Infiniband 网络，或简单地 appliance_domain-SQLCTL01。 如果使用全名和 DNS 后缀进行连接，则连接可能会更快建立。

    使用 MyPDW PDW 区域命名为 MyAPS 的设备的示例：

    • MyPDW-SQLCTL01.MyAPS.local

    • MyPDW-SQLCTL01

另请参阅

获取和配置加载服务器