Share via

Configurações de rota definidas pelo usuário para o Azure Databricks

  • Artigo

Se o workspace do Azure Databricks for implantado em sua própria VNET (rede virtual), você poderá usar rotas personalizadas, também conhecidas como UDR (rotas definidas pelo usuário), para garantir que o tráfego de rede seja roteado corretamente para o workspace. Por exemplo, se você conectar a rede virtual à rede local, o tráfego poderá ser roteado por meio da rede local e não poderá acessar o painel de controle do Azure Databricks. As rotas definidas pelo usuário podem resolver esse problema.

Você precisa de uma UDR para cada tipo de conexão de saída da VNet. Você pode usar marcas de serviço do Azure e endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário. O Databricks recomenda usar marcas de serviço do Azure para evitar interrupções de serviço devido a alterações de IP.

Configurar rotas definidas pelo usuário com marcas de serviço do Azure

O Databricks recomenda que você use marcas de serviço do Azure, que representam um grupo de prefixos de endereço IP de um determinado serviço do Azure. A Microsoft gerencia os prefixos de endereço englobados pela marca de serviço e atualiza automaticamente a marca de serviço em caso de alteração de endereços. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e remove a necessidade de pesquisar periodicamente esses IPs e atualizá-los em sua tabela de rotas. No entanto, se as políticas da sua organização não permitirem marcas de serviço, opcionalmente, é possível especificar as rotas como endereços IP.

Ao usar marcas de serviço, suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Fonte Prefixo de endereço Tipo do próximo salto
Padrão Marca de serviço do Azure Databricks Internet
Padrão Marca de serviço do SQL do Azure Internet
Padrão Marca de serviço do Serviço de armazenamento do Azure Internet
Padrão Marca de serviço do Hub de Eventos do Azure Internet

Observação

Você pode optar por adicionar a marca de serviço do Microsoft Entra ID (antigo Azure Active Directory) para facilitar a autenticação do Microsoft Entra ID a partir de clusters do Azure Databricks aos recursos do Azure.

Se o Link Privado do Azure estiver habilitado em seu espaço de trabalho, a marca de serviço do Azure Databricks não será necessária.rviço do Azure Databricks não será necessária.

A marca de serviço do Azure Databricks representa endereços IP para as conexões de saída necessárias para o painel de controle do Azure Databricks, a SCC (conectividade de cluster seguro) e o aplicativo Web do Azure Databricks.

A marca de serviço SQL do Azure representa endereços IP para as conexões de saída necessárias para o metastore do Azure Databricks e a marca de serviço do Armazenamento do Azure representa endereços IP para o Armazenamento de Blobs de artefatos e o Armazenamento de Blobs de log. A marca de serviço do Hub de Eventos do Azure representa as conexões de saída necessárias para fazer logon no Hub de Eventos do Azure.

Algumas marcas de serviço permitem um controle mais granular ao restringir os intervalos de IP a uma região especificada. Por exemplo, uma tabela de rotas para um workspace do Azure Databricks nas regiões Oeste dos EUA pode ser semelhante a:

Nome Prefixo de endereço Tipo do próximo salto
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Para obter as marcas de serviço necessárias para rotas definidas pelo usuário, consulte Marcas de serviço de rede virtual.

Configurar rotas definidas pelo usuário com endereços IP

O Databricks recomenda usar marcas de serviço do Azure, mas se as políticas da sua organização não permitirem marcas de serviço, você poderá usar endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário.

Os detalhes variam de acordo com a habilitação ou não da SCC (conectividade de cluster seguro) para o workspace:

  • Se a conectividade de cluster seguro estiver habilitada para o workspace, você precisará de uma UDR para permitir que os clusters se conectem à retransmissão de conectividade de cluster seguro no plano de controle. Certifique-se de incluir os sistemas marcados como IP de retransmissão de SCC para sua região.
  • Se a conectividade de cluster seguro estiver desabilitada para o workspace, haverá uma conexão de entrada da NAT do painel de controle, mas o TCP SYN-ACK de baixo nível para essa conexão tecnicamente será dados de saída que exigem uma UDR. Certifique-se de incluir os sistemas marcados como IP da NAT do Painel de Controle para sua região.

Suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Fonte Prefixo de endereço Tipo do próximo salto
Padrão IP da NAT do Painel de controle (se a SCC estiver desabilitada) Internet
Padrão IP de retransmissão de SCC (se a SCC estiver habilitada) Internet
Padrão IP do Webapp Internet
Padrão IP do metastore Internet
Padrão IP de armazenamento de Blobs de artefato Internet
Padrão IP do armazenamento de Blobs de log Internet
Padrão IP de armazenamento raiz do DBFS – ponto de extremidade do Armazenamento de Blobs Internet
Padrão IP de armazenamento raiz do DBFS – ponto de extremidade do ADLS gen2 (dfs) Internet
Padrão IP do Hub de Eventos Internet

Se o Link Privado do Azure estiver ativado no seu espaço de trabalho, as rotas definidas pelo usuário deverão usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Fonte Prefixo de endereço Tipo do próximo salto
Padrão IP do metastore Internet
Padrão IP de armazenamento de Blobs de artefato Internet
Padrão IP do armazenamento de Blobs de log Internet
Padrão IP do Hub de Eventos Internet

Para obter os endereços IP necessários para rotas definidas pelo usuário, use as tabelas e instruções nas regiões do Azure Databricks, especificamente: