Configurar a conectividade privada por meio da computação sem servidor

Esse artigo descreve como configurar a conectividade privada a partir da computação sem servidor utilizando a UI da consola da conta Azure Databricks. Use também a API de Configurações de Conectividade de Rede.

Se você configurar o recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso dos recursos de computação clássicos do Databricks também precisará usar pontos de extremidade privados.

Para configurar um firewall do Armazenamento do Microsoft Azure para acesso à computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso à computação sem servidor. Para gerenciar as regras de ponto de extremidade privado existentes, consulte Gerenciar regras de ponto de extremidade privado

Observação

Atualmente não há cobranças de rede para recursos sem servidor. Em uma versão posterior, você poderá ser cobrado. O Azure Databricks fornecerá aviso prévio sobre alterações nos preços da rede.

Visão geral da conectividade privada para a computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Quando você adiciona um ponto de extremidade privado em uma NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para o recurso do Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta do Azure Databricks e acessível somente em workspaces autorizados.

Só há suporte aos pontos de extremidade privados da NCC em SQL warehouses sem servidor. Elas não têm suporte de outros recursos de computação no plano de computação sem servidor.

Observação

Só há suporte aos pontos de extremidade privados da NCC em fontes de dados gerenciadas por você. Para conexão com a conta de armazenamento do espaço de trabalho, entre em contato com sua equipe de conta do Azure Databricks.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Requisitos

• Seu workspace deve estar no plano Premium.
• Você precisa ser um administrador da conta do Azure Databricks.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda o compartilhamento de NCCs entre os workspaces da mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade. Por exemplo, se alguns workspaces usarem o Link Privado e outros workspaces usarem a habilitação do firewall, use NCCs separadas para esses casos de uso.

1. Como administrador da conta, acesse o console da conta.
2. Na barra lateral, clique em Recursos de Nuvem.
3. Clique em Configurações de Conectividade de Rede.
4. Clique em Adicionar Configuração de Conectividade de Rede.
5. Digite um nome para a NCC.
6. Escolha a região. Isso deve corresponder à região do workspace.
7. Clique em Adicionar.

Etapa 2: Anexar uma NCC a um workspace

1. Na barra lateral do console da conta, clique em Workspaces.
2. Clique no nome do seu workspace.
3. Clique em Atualizar workspace.
4. No campo Configuração de Conectividade de Rede, selecione a NCC. Se ela não estiver visível, confirme se você selecionou a mesma região do Azure para o workspace e a NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os SQL warehouses sem servidor em execução no workspace.

Etapa 3: criar pontos de extremidade privados

Você precisa criar uma regra de ponto de extremidade privado na NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.

   1. Em outra guia do navegador, no portal do Azure, navegue até a conta de Armazenamento do Microsoft Azure da fonte de dados.
   2. Em sua página Visão geral, examine a seção Essentials.
   3. Clique no link modo de exibição JSON. A ID do recurso referente à conta de armazenamento é exibida na parte superior da página.
   4. Copie essa ID do recurso para outro local. Repita para todos os destinos.

2. Volte para a guia do navegador do console da conta.

3. Na barra lateral, clique em Recursos de Nuvem.

4. Clique em Configurações de Conectividade de Rede.

5. Selecione a NCC criada na etapa 1.

6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.

7. No campo ID de recurso do Azure de destino, cole a ID do recurso para o recurso.

8. No campo ID de sub-recurso do Azure, defina-o com o valor de sub-recurso, de acordo com a tabela abaixo. Cada regra de ponto de extremidade privado precisa usar uma ID de sub-recurso diferente.

   Tipo de destino	ID de sub-fonte do Azure
   Armazenamento de Blobs	blob
   Armazenamento do ADLS	dfs

9. Clique em Adicionar.

10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Etapa 4: Aprovar os novos pontos de extremidade privados em seus recursos

Os pontos de extremidade só entrarão em vigor quando um administrador com direitos no recurso aprovar o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, faça o seguinte:

1. No portal do Azure, navegue até sua conta de Armazenamento do Microsoft Azure.

2. Na barra lateral, clique em Rede.

3. Clique em conexões de ponto de extremidade privado.

4. Clique na guia Acesso privado.

5. Abaixo de Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

7. Retorne à NCC no Azure Databricks e atualize a página do navegador até que todas as regras de ponto de extremidade tenham o status ESTABLISHED.

   

(Opcional) Etapa 5: defina sua conta de armazenamento para não permitir o acesso à rede pública

Se você ainda não limitou o acesso à conta de Armazenamento do Microsoft Azure apenas para redes listadas por permissões, você pode fazer isso.

1. Acesse o portal do Azure.
2. Navegue até sua conta de armazenamento para a fonte de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Etapa 6: Reiniciar os SQL warehouses sem servidor e testar a conexão

1. Após a etapa anterior, aguarde cinco minutos adicionais para que as alterações sejam propagadas.
2. Reinicie todos os SQL warehouses sem servidor em execução nos workspaces aos quais a NCC está anexada. Se você não tiver nenhum SQL warehouse sem servidor em execução, inicie um agora.
3. Confirme se todos os armazéns SQL foram iniciados com sucesso.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.