Link Privado do Azure para Azure Data Factory
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Com o Link Privado do Azure, é possível se conectar a várias implantações de PaaS (Plataforma como Serviço) no Azure através de um ponto de extremidade privado. Um ponto de extremidade privado é um endereço IP privado em uma rede virtual e uma sub-rede específicas. Para obter uma lista das implantações de PaaS que dão suporte à funcionalidade Link Privado do Azure, confira Documentação de Link Privado.
Comunicação segura entre as redes de clientes e o Data Factory
Você pode configurar uma rede virtual do Azure como representação lógica da rede na nuvem. Essa operação oferece os seguintes benefícios:
- Você ajuda a proteger os recursos do Azure contra ataques em redes públicas.
- Você permite a comunicação segura entre as redes e o data factory.
Você também pode conectar uma rede local à sua rede virtual. Estabeleça uma conexão VPN de segurança de Protocolo de Internet, que é uma conexão site a site. Ou configure uma conexão do Azure ExpressRoute. que é uma conexão de emparelhamento privado.
Você também pode instalar um Integration Runtime (IR) auto-hospedado em uma máquina local ou em uma máquina virtual na rede virtual. Essa operação permite que você:
- Execute as atividades de cópia entre um armazenamento de dados de nuvem e um armazenamento de dados em uma rede privada.
- Distribua as atividades de transformação em relação aos recursos de computação em uma rede local ou em uma rede virtual do Azure.
Vários canais de comunicação são necessários entre o Azure Data Factory e a rede virtual do cliente, conforme mostrado na seguinte tabela:
| Domínio | Porta | Descrição |
|---|---|---|
adf.azure.com |
443 | O portal do Azure Data Factory é exigido pela criação e monitoramento do Azure Data Factory. |
*.{region}.datafactory.azure.net |
443 | Requerido pelo IR auto-hospedado para se conectar ao Data Factory. |
*.servicebus.windows.net |
443 | Requerido pelo IR auto-hospedado para criação interativa. |
download.microsoft.com |
443 | Requerido pelo IR auto-hospedado para baixar as atualizações. |
Observação
A desabilitação do acesso à rede pública se aplica apenas ao IR auto-hospedado, não ao IR do Azure e ao IR do SQL Server Integration Services.
As comunicações com o Data Factory passam por Link Privado e ajudam a fornecer conectividade privada segura.
Habilitar o Link Privado para cada um dos canais de comunicação anteriores oferece a seguinte funcionalidade:
Com suporte:
- Você pode criar e monitorar no portal Data Factory a partir de sua rede virtual, mesmo que bloqueie todas as comunicações de saída. Se você criar um ponto de extremidade privado para o portal, outras pessoas ainda poderão acessar o portal do Azure Data Factory por meio da rede pública.
- As comunicações de comando entre o IR auto-hospedado e o Data Factory podem ser realizadas com segurança em um ambiente de rede privado. O tráfego entre o IR auto-hospedado e o Data Factory passa pelo Link Privado.
Sem suporte no momento:
- A criação interativa que usa um IR auto-hospedado, como conexão de teste, lista de pastas de navegação e lista de tabelas, obter esquema e dados de visualização, passa pelo Link Privado. Observe que o tráfego passará pelo link privado se a criação interativa autocontida estiver habilitada. Confira Criação interativa autocontida.
Observação
Não há suporte para "Obter IP" e "Enviar log" quando a criação interativa autossuficiente está habilitada.
- A nova versão do IR auto-hospedado que pode ser baixada automaticamente do Centro de Download da Microsoft se você habilitar a atualização automática não tem suporte no momento.
Para funcionalidades que não têm suporte no momento, você precisa configurar o domínio e a porta mencionados anteriormente na rede virtual ou no firewall corporativo.
A conexão com o Data Factory por meio de ponto de extremidade privado só é aplicável ao IR auto-hospedado no Data Factory. Não há suporte para Azure Synapse Analytics.
Aviso
Se você habilitar o Private Link Data Factory e bloquear o acesso público ao mesmo tempo, armazene suas credenciais no Azure Key Vault para garantir que elas sejam seguras.
Configure o ponto de extremidade privado para comunicação entre o IR auto-hospedado e o Azure Data Factory
Esta seção descreve como configurar o ponto de extremidade privado para comunicação entre o IR auto-hospedado e o Azure Data Factory.
Crie um ponto de extremidade privado e configure um link privado para o Azure Data Factory
O ponto de extremidade privado é criado em sua rede virtual para a comunicação entre o IR auto-hospedado e o Azure Data Factory. Siga as etapas em Configurar um link de ponto de extremidade privado para o Azure Data Factory.
Verifique se a configuração de DNS está correta
Siga as instruções em Alterações de DNS para pontos de extremidade privados para verificar ou definir suas configurações de DNS.
Coloque os FQDNs de Retransmissão do Azure e o Centro de Download da Microsoft na lista permitida do seu firewall
Se o seu IR auto-hospedado estiver instalado na máquina virtual em sua rede virtual, permita o tráfego de saída abaixo dos FQDNs no NSG de sua rede virtual.
Se o seu IR auto-hospedado estiver instalado na máquina em seu ambiente local, permita que o tráfego de saída fique abaixo dos FQDNs no firewall do seu ambiente local e no NSG da sua rede virtual.
| Domínio | Porta | Descrição |
|---|---|---|
*.servicebus.windows.net |
443 | Requerido pelo IR auto-hospedado para criação interativa |
download.microsoft.com |
443 | Requerido pelo IR auto-hospedado para baixar as atualizações |
Se você não permitir o tráfego de saída anterior no firewall e no NSG, o IR auto-hospedado será mostrado com um status Limitado. Mas você ainda poderá usá-lo para executar atividades. Somente a criação interativa e a atualização automática não funcionam.
Observação
Se uma fábrica de dados (compartilhada) tiver um IR auto-hospedado e o IR auto-hospedado for compartilhado com outras fábricas de dados (vinculadas), você só precisará criar um ponto de extremidade privado para o Azure Data Factory compartilhado. Outras fábricas de dados vinculadas podem aproveitar esse link privado para as comunicações entre o IR auto-hospedado e ao Azure Data Factory.
Alterações no DNS para pontos de extremidade privados
Quando você cria um ponto de extremidade privado, o registro de recurso DNS CNAME para o Azure Data Factory é atualizado para um alias em um subdomínio com o prefixo privatelink. Por padrão, também criamos uma zona DNS privada, correspondente ao subdomínio privatelink, com os registros de recurso DNS A para os pontos de extremidade privados.
Quando você resolve a URL do ponto de extremidade do Azure Data Factory de fora da rede virtual com o ponto de extremidade privado, ele resolve para o ponto de extremidade público do Azure Data Factory. Quando a resolução ocorre na rede virtual que hospeda o ponto de extremidade privado, a URL do ponto de extremidade do armazenamento é resolvida no endereço IP do ponto de extremidade privado.
Para o exemplo ilustrado anterior, os registros de recursos DNS para o Azure Data factory chamado DataFactoryA, quando resolvidos de fora da rede virtual que hospeda o ponto de extremidade privado, serão:
| Nome | Tipo | Valor |
|---|---|---|
| DataFactoryA.{region}.datafactory.azure.net | CNAME | < Ponto de extremidade público do Azure Data Factory > |
| < Ponto de extremidade público do Azure Data Factory > | Um | < Endereço IP público do Azure Data Factory > |
Os registros de recurso DNS do DataFactoryA, quando resolvidos na rede virtual que hospeda o ponto de extremidade privado, serão:
| Nome | Tipo | Valor |
|---|---|---|
| DataFactoryA.{region}.datafactory.azure.net | CNAME | DataFactoryA.{region}.privatelink.datafactory.azure.net |
| DataFactoryA.{region}.privatelink.datafactory.azure.net | Um | < endereço IP do ponto de extremidade privado > |
Se você estiver usando um servidor DNS personalizado na rede, os clientes precisarão resolver o FQDN no ponto de extremidade do data factory para o endereço IP do ponto de extremidade privado. Você deve configurar seu servidor DNS para delegar seu subdomínio de Link Privado do Azure à zona DNS privada da rede virtual. Ou você pode configurar os registros A para DataFactoryA.{region}.datafactory.azure.net com o endereço IP do ponto de extremidade privado.
- Resolução de nomes para recursos em redes virtuais do Azure
- Configuração de DNS para pontos de extremidade privados
Observação
Atualmente, há apenas um ponto de extremidade do portal do Azure Data Factory, portanto, há apenas um ponto de extremidade privado para o portal em uma zona DNS. A tentativa de criar um segundo ponto de extremidade privado do portal ou subsequente substitui a entrada DNS privada criada anteriormente para o portal.
Configurar um link de ponto de extremidade privado para o Azure Data Factory
Nesta seção, você configurará um link de ponto de extremidade privado para o Azure Data Factory.
Você pode escolher se deseja conectar seu IR auto-hospedado ao Azure Data Factory selecionando Ponto de extremidade público ou Ponto de extremidade privado durante a etapa de criação do Azure Data Factory, mostrada aqui:
Você pode alterar a seleção a qualquer momento após a criação na página do portal Azure Data Factory no painel Rede. Depois de habilitar o Ponto de extremidade privado lá, você também deve adicionar um ponto de extremidade privado ao data factory.
Um ponto de extremidade privado requer uma rede virtual e uma sub-rede para o link. Neste exemplo, uma máquina virtual dentro da sub-rede é usada para executar o IR auto-hospedado, que se conecta por meio do link de ponto de extremidade privado.
Criar uma rede virtual
Se você não tiver uma rede virtual existente para usar com seu link de ponto de extremidade privado, deverá criar uma e atribuir uma sub-rede.
Entre no portal do Azure.
No canto superior esquerdo da tela, selecione Criar um recurso>Rede>Rede virtual ou pesquise Rede virtual na caixa de pesquisa.
Em Criar rede virtual, insira ou selecione estas informações na guia Básico:
Configuração Valor Detalhes do projeto Subscription Selecione sua assinatura do Azure. Resource group Selecione um grupo de recursos para sua rede virtual. Detalhes da instância Nome Insira um nome para sua rede virtual. Região Importante: selecione a mesma região que usada pelo ponto de extremidade privado. Selecione a guia Endereços IP ou clique no botão Avançar: Endereços IP na parte inferior da página.
Na guia Endereços IP, digite esta informação:
Configuração Valor Espaço de endereço IPv4 Insira 10.1.0.0/16. Em Nome da sub-rede, selecione a palavra padrão.
Em Editar sub-rede, insira estas informações:
Configuração Valor Nome da sub-rede Digite o nome da sua sub-rede. Intervalo de endereços da sub-rede Insira 10.1.0.0/24. Clique em Salvar.
Selecione a guia Revisar + criar ou o botão Revisar + criar.
Selecione Criar.
Crie uma máquina virtual para o IR auto-hospedado
Você também deve criar ou atribuir uma máquina virtual existente para executar o IR auto-hospedado na nova sub-rede criada nas etapas anteriores.
No canto superior esquerdo do portal, selecione Criar um recurso>Computacional>Máquina virtual ou pesquise Máquina virtual na caixa de pesquisa.
Em Criar uma máquina virtual, digite ou selecione os valores na guia Básico:
Configuração Valor Detalhes do projeto Subscription Selecione sua assinatura do Azure. Resource group Selecione um grupo de recursos. Detalhes da instância Nome da máquina virtual Insira um nome para a máquina virtual. Região Selecione a região que você usou para sua rede virtual. Opções de disponibilidade Selecione Nenhuma redundância de infraestrutura necessária. Imagem Selecione Windows Server 2019 Datacenter - Gen1 ou qualquer outra imagem do Windows que dê suporte ao IR auto-hospedado. Instância spot do Azure Selecione Não. Tamanho Selecione o tamanho da VM ou use a configuração padrão. Conta de administrador Nome de Usuário Digite um nome de usuário. Senha Digite uma senha. Confirmar senha Digitar novamente a senha. Selecione a guia Rede ou selecione Avançar: Discos>Avançar: Rede.
Na guia Rede, selecione ou digite:
Configuração Valor Interface de rede Rede virtual Selecione a rede virtual que você criou. Sub-rede Selecione a sub-rede que você criou. IP público Selecione Nenhum. Grupo de segurança de rede da NIC Básico. Porta de entrada públicas Selecione Nenhum. Selecione Examinar + criar.
Examine as configurações e selecione Criar.
Observação
O Azure fornece um IP de acesso de saída padrão para VMs que não receberam um endereço IP público ou que estão no pool de back-end de um balanceador de carga do Azure básico interno. O mecanismo de IP de acesso de saída padrão fornece um endereço IP de saída que não é configurável.
O IP de acesso de saída padrão é desabilitado quando um dos seguintes eventos acontece:
- Um endereço IP público é atribuído à VM.
- A VM é colocada no pool de back-end de um balanceador de carga padrão, com ou sem regras de saída.
- Um recurso do Gateway NAT do Azure é atribuído à sub-rede da VM.
As VMs criadas por conjuntos de dimensionamento de máquinas virtuais no modo de orquestração flexível não têm acesso de saída padrão.
Para mais informações sobre conexões de saída no Azure, confira Acesso de saída padrão no Azure e Usar SNAT (conversão de endereços de rede de origem) para conexões de saída.
Criar um ponto de extremidade privado
Por fim, você deve criar um ponto de extremidade privado em seu Azure Data Factory.
Na página do portal do Azure para sua fábrica de dados, selecione Rede>Conexões de ponto de extremidade privado e, em seguida, selecione + Ponto de extremidade privado.
Na guia Básicode Criar um ponto de extremidade privado, insira ou selecione estas informações:
Configuração Valor Detalhes do projeto Subscription Selecione sua assinatura. Resource group Selecione um grupo de recursos. Detalhes da instância Nome Digite o nome do seu ponto de extremidade. Região Selecione a região da rede virtual que você criou. Selecione a guia Recurso ou clique no botão Avançar: Recurso na parte inferior da tela.
Em Recurso, insira ou selecione estas informações:
Configuração Valor Método de conexão Selecione Conectar-se a um recurso do Azure no meu diretório. Subscription Selecione sua assinatura. Tipo de recurso Selecione Microsoft.Datafactory/factories. Recurso Selecione sua fábrica de dados. Sub-recurso de destino Se você quiser usar o ponto de extremidade privado para comunicações de comando entre o IR auto-hospedado e o Azure Data Factory, selecione datafactory como Sub-recurso de destino. Se quiser usar o ponto de extremidade privado para criar e monitorar o data factory na rede virtual, selecione portal como Sub-recurso de destino. Selecione a guia Configuração ou o botão Avançar: Configuração na parte inferior da tela.
Em Configuração, insira ou selecione estas informações:
Configuração Valor Rede Rede virtual Selecione a rede virtual que você criou. Sub-rede Selecione a sub-rede que você criou. Integração de DNS privado Integrar com a zona DNS privado Mantenha o padrão Sim. Subscription Selecione sua assinatura. Zonas DNS privadas Deixe o valor padrão nos doisSub-recursos de destino: 1. datafactory: (Novo) privatelink.datafactory.azure.net. 2. portal: (Novo) privatelink.adf.azure.com. Selecione Examinar + criar.
Selecione Criar.
Restringir o acesso aos recursos do Azure Data Factory usando o Link Privado do Azure
Se você deseja restringir o acesso aos recursos do Azure Data Factory em suas assinaturas por Link Privado do Azure, siga as etapas em Usar portal para criar um link privado para gerenciar recursos do Azure.
Problema conhecido
Você não consegue acessar cada recurso PaaS quando ambos os lados estão expostos ao Link Privado e a um ponto de extremidade privado. Esse problema é uma limitação conhecida do Link Privado do Azure e dos pontos de extremidade privados.
Por exemplo, o cliente A está utilizando um link privado para acessar o portal do data factory A na rede virtual A. Quando o data factory A não bloqueia o acesso público, o cliente B pode acessar o portal do data factory A na rede virtual B por meio de um acesso público. Mas quando o cliente B cria um ponto de extremidade privado em relação ao Azure Data Factory B na rede virtual B, o cliente B não pode mais acessar o Azure Data Factory A via pública na rede virtual B.