Configurar um firewall para acesso à computação sem servidor

Artigo
05/09/2024

Observação

Se você configurou firewalls de armazenamento usando IDs de sub-rede da documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomenda que você atualize os workspaces seguindo as etapas neste artigo ou usando um ponto de extremidade privado. Se você optar por não atualizar os workspaces existentes, eles continuarão funcionando sem alterações.

Este artigo descreve como configurar um firewall de armazenamento do Azure para computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Use também a API de Configurações de Conectividade de Rede.

Para configurar um ponto de extremidade privado para acesso à computação sem servidor, consulte Configurar conectividade privada de computação sem servidor.

Observação

Atualmente não há cobranças de rede para recursos sem servidor. Em uma versão posterior, você poderá ser cobrado. O Azure Databricks fornecerá aviso prévio sobre alterações nos preços da rede.

Visão geral da habilitação do firewall para computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Uma NCC contém uma lista de identidades de rede para um tipo de recurso do Azure como regras padrão. Quando um NCC é anexado a um workspace, a computação sem servidor nesse workspace usa uma dessas redes para conectar o recurso do Azure. Você pode permitir listar essas redes no firewall de recursos do Azure.

A habilitação do firewall da NCC só é compatível quando proveniente de SQL warehouses sem servidor para fontes de dados gerenciadas por você. Não há suporte para outros recursos de computação no plano de computação sem servidor.

Opcionalmente, é possível configurar o acesso à rede para sua conta de armazenamento do espaço de trabalho somente a partir de redes autorizadas, inclusive o SQL warehouses sem servidor. Confira Habilitar o suporte de firewall para sua conta de armazenamento do espaço de trabalho. Quando uma NCC é anexado a um espaço de trabalho, as regras de rede são automaticamente adicionadas à conta de armazenamento do Azure para a conta de armazenamento do espaço de trabalho.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Implicações de custo do acesso ao armazenamento entre regiões

Para o tráfego entre regiões de SQL warehouses sem servidor do Azure Databricks (por exemplo, o workspace está na região Leste dos EUA e o armazenamento do ADLS está no Oeste da Europa), o Azure Databricks roteia o tráfego por meio de um serviço de Gateway da NAT do Azure.

Importante

No momento, não há encargos para usar esse recurso. Em uma versão posterior, você pode ser cobrado pelo uso. Para evitar esses encargos, o Databricks recomenda que você crie um workspace na mesma região do armazenamento.

Requisitos

Seu workspace deve estar no plano Premium.
Você precisa ser um administrador da conta do Azure Databricks.
Cada NCC pode ser anexado a até 50 espaços de trabalho.
Cada conta do Azure Databricks pode ter até 10 NCCs por região.
- Você deve ter acesso WRITE às regras de rede da sua conta de Armazenamento do Microsoft Azure.

Etapa 1: Criar uma configuração de conectividade de rede e copiar as IDs de sub-rede

O Databricks recomenda o compartilhamento de NCCs entre workspaces na mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade e região. Por exemplo, se alguns workspaces usarem o firewall de armazenamento e outros workspaces usarem a abordagem alternativa do Link Privado, use NCCs separados para esses casos de uso.

Como administrador da conta, acesse o console da conta.
Na barra lateral, clique em Recursos de Nuvem.
Clique em Configuração de conectividade de rede.
Clique em Adicionar configurações de conectividade de rede.
Digite um nome para a NCC.
Escolha a região. Isso deve corresponder à região do workspace.
Clique em Adicionar.
Na lista de NCCs, clique em seu novo NCC.
Em Regras Padrão em Identidades de rede, clique em Exibir todos.
Na caixa de diálogo, clique no botão Copiar sub-redes e salve a lista de sub-redes.
Clique em Fechar.

Etapa 3: anexar uma NCC aos espaços de trabalho

Você pode anexar um NCC a até 50 espaços de trabalho na mesma região que o NCC.

Para usar a API para anexar uma NCC a um workspace, consulte a API de Workspaces da Conta.

Na barra lateral do console da conta, clique em Workspaces.
Clique no nome do seu workspace.
Clique em Atualizar workspace.
No campo Configuração de Conectividade de Rede, selecione a NCC. Se não estiver visível, confirme se você selecionou a mesma região para o workspace e o NCC.
Clique em Atualizar.
Aguarde 10 minutos para que a alteração entre em vigor.
Reinicie todos os SQL warehouses sem servidor em execução no workspace.

Caso esteja usando esse recurso para se conectar à conta de armazenamento do espaço de trabalho, sua configuração será concluída. As regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Para contas de armazenamento adicionais, continue para a próxima etapa.

Etapa 3: Bloquear sua conta de armazenamento

Se você ainda não limitou o acesso à conta de Armazenamento do Microsoft Azure apenas para redes listadas em permissões, faça isso agora. Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.

A criação de um firewall de armazenamento também afeta a conectividade do plano de computação clássico para seus recursos. Você também deve adicionar regras de rede para se conectar às suas contas de armazenamento a partir de recursos de computação clássicos.

Acesse o portal do Azure.
Navegue até sua conta de armazenamento para a fonte de dados.
Na navegação esquerda, clique em Rede.
No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Habilitado a partir das redes virtuais e endereços IP selecionados.

Etapa 4: Adicionar regras de rede da conta de Armazenamento do Microsoft Azure

Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.

Adicione uma regra de rede da conta de armazenamento do Azure para cada sub-rede. Você pode fazer isso usando a CLI do Azure, o PowerShell, o Terraform ou outras ferramentas de automação. Observe que essa etapa não pode ser feita na interface do usuário do Portal do Azure.

O seguinte exemplo usa a CLI do Azure:
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Substitua <sub> pelo nome da sua assinatura do Azure da conta de armazenamento.
- Substitua <res> pelo grupo de recursos da sua conta de armazenamento.
- Substitua <account> pelo nome da sua conta de armazenamento
- Substitua <subnet> pela ID do recurso do ARM (resourceId) da sub-rede do warehouse de SQL sem servidor.
Depois de executar todos os comandos, você poderá usar o portal do Azure para exibir sua conta de armazenamento e confirmar se há uma entrada na tabela Redes Virtuais que represente a nova sub-rede. No entanto, você não pode fazer as alterações de regras de rede no portal do Azure.

Dica

Ignore a menção de "Permissões insuficientes" na coluna de status do ponto de extremidade ou no aviso abaixo da lista de rede. Elas indica, apenas que você não tem permissões para ler as sub-redes do Azure Databricks, mas não interfere na capacidade dessa sub-rede sem servidor do Azure Databricks entrar em contato com o Armazenamento do Microsoft Azure.
Repita esse comando uma vez para cada sub-rede. Opcionalmente, você pode automatizar o processo de criação de regra de rede. Consulte Automatizar a criação da regra de rede.
Para confirmar se sua conta de armazenamento usa essas configurações do portal do Azure, navegue até Rede em sua conta de armazenamento.

Confirme se o Acesso à rede pública está definido como Habilitado a partir de redes virtuais selecionadas e endereços IP e redes permitidas estão listadas na seção Redes Virtuais.

Automatizar a criação da regra de rede

É possível automatizar a criação de regra de rede para sua conta de armazenamento usando a CLI do Azure ou o PowerShell.

Este exemplo da CLI do Azure usa duas sub-redes em uma lista que você poderá usar com um loop para executar o comando para cada sub-rede. Neste exemplo, mystorage-rg é o grupo de recursos e myaccount é a conta de armazenamento.

#!/bin/bash
SUBNETS=(/subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos2/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet /subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos3/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet)
for SUBNET in ${SUBNETS[@]}
do
  az storage account network-rule add --subscription 9999999-1ff3-43f4-b91e-d0ceb97111111 --resource-group mystorage-rg --account-name myaccount --subnet ${SUBNET}
done

Para usar o PowerShell, use o seguinte comando:

Add-AzStorageAccountNetworkRule -ResourceGroupName <resource group name> -Name <storage account name> -VirtualNetworkResourceId <subnets>

Substitua:

<resource group name> com grupo de recursos da sua conta de armazenamento.
<storage account name> pelo nome da sua conta de armazenamento.
<subnets> com uma lista das IDs de recurso de sub-rede separadas por vírgulas.

Share via