Isolamento de rede no fluxo de pedidos

Você pode proteger o fluxo de prompt usando redes privadas. Este artigo explica os requisitos para usar o fluxo de prompt em um ambiente protegido por redes privadas.

Serviços envolvidos

Quando você está desenvolvendo seu aplicativo LLM usando fluxo de prompt, você quer um ambiente seguro. Pode tornar os seguintes serviços privados através da configuração de rede.

• Área de trabalho: pode tornar a área de trabalho do Azure Machine Learning como privada e limitar a entrada e saída da mesma.
• Recurso de computação: também pode limitar a regra de entrada e saída do recurso de computação na área de trabalho.
• Conta de armazenamento: pode limitar a acessibilidade da conta de armazenamento a uma rede virtual específica.
• Registo de contentor: também pode querer proteger o seu registro de contentor com a rede virtual.
• Ponto final: pretende limitar os serviços do Azure ou o endereço IP para aceder ao seu ponto final.
• Serviços Cognitivos do Azure relacionados como Azure OpenAI, segurança de conteúdo do Azure e Azure AI Search, você pode usar a configuração de rede para torná-los privados e, em seguida, usar o ponto de extremidade privado para permitir que os serviços do Azure Machine Learning se comuniquem com eles.
• Outros recursos que não são do Azure, como SerpAPI, etc. Se você tiver uma regra de saída rígida, precisará adicionar a regra FQDN para acessá-los.

Opções em diferentes configurações de rede

No aprendizado de máquina do Azure, temos duas opções para proteger o isolamento de rede, trazer sua própria rede ou usar a rede virtual gerenciada pelo espaço de trabalho. Saiba mais sobre os recursos do espaço de trabalho seguro.

Aqui está a tabela para ilustrar as opções em diferentes redes configuradas para fluxo de prompt.

Entrada	Saída	Tipo de computação na criação	Tipo de computação na inferência	Opções de rede para espaço de trabalho
Público	Público	Serverless (recomendar), instância de computação	Ponto final online gerido (recomendar), ponto de extremidade online K8s	Gerenciado (recomendar) / Traga você próprio
Privado	Público	Serverless (recomendar), instância de computação	Ponto final online gerido (recomendar), ponto de extremidade online K8s	Gerenciado (recomendar) / Traga você próprio
Público	Privado	Serverless (recomendar), instância de computação	Ponto de extremidade online gerenciado	Não gerido
Privado	Privado	Serverless (recomendar), instância de computação	Ponto de extremidade online gerenciado	Não gerido

• No cenário de rede virtual privada, recomendamos o uso da rede virtual gerenciada habilitada para espaço de trabalho. É a maneira mais fácil de proteger seu espaço de trabalho e recursos relacionados.
• Você também pode ter um espaço de trabalho para criação de fluxo de prompt com sua rede virtual e outro espaço de trabalho para implantação de fluxo de prompt usando ponto de extremidade online gerenciado com rede virtual gerenciada de espaço de trabalho.
• Não suportamos o uso misto de rede virtual gerenciada e trazer sua própria rede virtual em um único espaço de trabalho. E como o ponto de extremidade online gerenciado é suporte apenas à rede virtual gerenciada, você não pode implantar o fluxo de prompt para o ponto de extremidade online gerenciado no espaço de trabalho que habilitou trazer sua própria rede virtual.

Fluxo de prompt seguro com rede virtual gerenciada pelo espaço de trabalho

A rede virtual gerenciada pelo espaço de trabalho é a maneira recomendada de dar suporte ao isolamento de rede no fluxo de prompt. Ele fornece configuração fácil para proteger seu espaço de trabalho. Depois de habilitar a rede virtual gerenciada no nível do espaço de trabalho, os recursos relacionados ao espaço de trabalho na mesma rede virtual usarão a mesma configuração de rede no nível do espaço de trabalho. Você também pode configurar o espaço de trabalho para usar o ponto de extremidade privado para acessar outros recursos do Azure, como o Azure OpenAI, a segurança de conteúdo do Azure e o Azure AI Search. Você também pode configurar a regra FQDN para aprovar recursos de saída para não Azure usados pelo seu fluxo de prompt, como SerpAPI, etc.

1. Siga Isolamento de rede gerida pela área de trabalho para ativar a rede virtual gerida pela área de trabalho.

   Importante

   A criação da rede virtual gerenciada é adiada até que um recurso de computação seja criado ou o provisionamento seja iniciado manualmente. Você pode usar o seguinte comando para acionar manualmente o provisionamento de rede.

   az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
   

2. Adicione MSI da área de trabalho como Storage File Data Privileged Contributor à conta de armazenamento associada à área de trabalho.

   2.1 Vá para o portal do Azure, localize o espaço de trabalho.

   

   2.2 Encontre a conta de armazenamento vinculada ao espaço de trabalho.

   

   2.3 Ir para a página de atribuição de funções da conta de armazenamento.

   

   2.4 Localizar dados de arquivo de armazenamento função de contribuidor privilegiado.

   

   2.5 Atribua a função de contribuidor privilegiado de dados de arquivo de armazenamento à identidade gerenciada do espaço de trabalho.

   

   Nota

   Esta operação pode levar vários minutos para entrar em vigor.

3. Se pretender comunicar com os Serviços Cognitivos privados do Azure, é necessário adicionar regras de saída definidas pelo utilizador relacionadas ao recurso relacionado. A área de trabalho do Azure Machine Learning cria um ponto final privado no recurso relacionado com aprovação automática. Se estiver bloqueado no estado pendente, aceda ao recurso relacionado para aprovar o ponto final privado manualmente.

   

   

4. Se estiver a restringir o tráfego de saída para permitir apenas destinos específicos, tem de adicionar uma regra de saída correspondente definida pelo utilizador para permitir o FQDN relevante.

   

5. Em áreas de trabalho que ativam a VNet gerida, só pode implementar o fluxo de pedidos para o ponto final online gerido. Você pode seguir Proteja seus endpoints online gerenciados com isolamento de rede para proteger seu endpoint online gerenciado.

Fluxo de prompt seguro use sua própria rede virtual

• Para configurar os recursos relacionados do Azure Machine Learning como privados, consulte Proteger recursos de área de trabalho.

• Se tiver uma regra de saída rígida, certifique-se de que abre o Acesso à Internet pública necessário.

• Adicione MSI da área de trabalho como Storage File Data Privileged Contributor à conta de armazenamento associada à área de trabalho. Siga a etapa 2 em Fluxo de prompt seguro com rede virtual gerenciada pelo espaço de trabalho.

• Se você estiver usando o tipo de computação sem servidor na criação de fluxo, precisará definir a rede virtual personalizada no nível do espaço de trabalho. Saiba mais sobre Proteger um ambiente de treinamento do Azure Machine Learning com redes virtuais

  serverless_compute:
    custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
    no_public_ip: false # Set to true if you don't want to assign public IP to the compute
  

• Entretanto, pode seguir Serviços Cognitivos do Azure privados para os tornar privados.

• Se quiser implementar o fluxo de pedidos na área de trabalho que está protegida pela sua própria rede virtual, pode implementá-lo no cluster do AKS que está na mesma rede virtual. Pode seguir o Proteger o ambiente de inferência do Azure Kubernetes Service para proteger o seu cluster do AKS. Saiba mais sobre Como implantar o fluxo de prompt no cluster ASK via código.

• Pode criar um ponto final privado para a mesma rede virtual ou tirar partido do peering de rede virtual para fazê-los comunicar uns com os outros.

Limitações conhecidas

• AI studio não suporta trazer sua própria rede virtual, ele só suporta espaço de trabalho gerenciado rede virtual.
• O ponto de extremidade online gerenciado com saída selecionada suporta apenas espaço de trabalho com rede virtual gerenciada. Se quiser usar sua própria rede virtual, talvez precise de uma área de trabalho para criação do fluxo de pedidos com a sua rede virtual e outra área de trabalho para implementação do fluxo de pedidos que utilize o ponto final online gerido com rede virtual gerida de área de trabalho.

Próximos passos

• Recursos de espaço de trabalho seguro
• Isolamento de rede gerenciado pelo espaço de trabalho
• Ambiente de inferência seguro do Serviço Kubernetes do Azure
• Proteja seus endpoints online gerenciados com isolamento de rede
• Proteja seus fluxos de trabalho RAG com isolamento de rede