Skydda MLOps-lösningar med Azure-nätverkssäkerhet

Machine Learning DevOps (MLOps), som först lyftes fram i Hidden Technical Debt i Machine Learning Systems 2015, växer snabbt. Marknaden för MLOps förväntas nå 4 miljarder dollar 2025. Under tiden blir det allt viktigare att arbeta för att skydda MLOps-lösningar.

Den här artikeln beskriver hur du skyddar MLOps-lösningar med hjälp av Azure-nätverkssäkerhetsfunktioner som Azure Virtual Network, nätverkspeering, Azure Private Link och Azure DNS. Den introducerar också hur du använder:

• Azure Pipelines för att få åtkomst till resurser i det virtuella nätverket
• Nödvändiga konfigurationer av Azure Container Registry och Azure Machine Learning-beräkningsinstanser och kluster i ett virtuellt nätverk.

Slutligen beskriver den här artikeln kostnaderna för att använda nätverkssäkerhetstjänsterna.

Arkitektur

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Arkitekturdiagrammet visar en MLOps-exempellösning.

• Det virtuella nätverket med namnet AML VNET hjälper till att skydda Azure Machine Learning-arbetsytan och dess associerade resurser.

• Jump-värden, Azure Bastion och lokalt installerade agenter tillhör ett annat virtuellt nätverk med namnet BASTION VNET. Det här arrangemanget simulerar att ha en annan lösning som kräver åtkomst till resurserna i det virtuella Azure Machine Learning-nätverket.

• Med stöd för peering av virtuella nätverk och privata DNS-zoner kan Azure Pipelines köras på självvärdagenter och utlösa Azure Machine Learning-pipelines som publiceras på Azure Machine Learning-arbetsytan för att träna, utvärdera och registrera maskininlärningsmodellerna.

• Slutligen distribueras modellen till onlineslutpunkter eller batchslutpunkter som stöds av Azure Machine Learning-beräkning eller Azure Kubernetes Service-kluster.

Komponenter

MLOps-exempellösningen består av följande komponenter:

• Datalagring: Azure Blob Storage för datalagring.
• Modellträning, validering och registrering: Azure Machine Learning-arbetsyta
• Modelldistribution: Azure Machine Learning-slutpunkter och Azure Kubernetes Service
• Modellövervakare: Azure Monitor för Application Insights
• MLOps-pipelines: Azure DevOps och Azure Pipelines

I det här exempelscenariot används även följande tjänster för att skydda MLOps-lösningen:

• Azure Key Vault
• Azure Policy
• Virtual Network

Information om scenario

MLOps är en uppsättning metoder i skärningspunkten mellan Machine Learning, DevOps och datateknik som syftar till att distribuera och underhålla maskininlärningsmodeller i produktion på ett tillförlitligt och effektivt sätt.

Följande diagram visar en förenklad MLOps-processmodell. Den här modellen erbjuder en lösning som automatiserar förberedelse av data, modellträning, modellutvärdering, modellregistrering, modelldistribution och övervakning.

När du implementerar en MLOps-lösning kanske du vill skydda dessa resurser:

• DevOps-pipelines
• Träningsdata för maskininlärning
• Pipelines för maskininlärning
• Maskininlärningsmodeller

Tänk på följande metoder för att skydda resurser:

• Autentisering och auktorisering

  • Använd tjänstens huvudnamn eller hanterade identiteter i stället för interaktiv autentisering.
  • Använd rollbaserad åtkomstkontroll för att definiera omfånget för en användares åtkomst till resurser.

• Nätverkssäkerhet

  • Använd virtuellt nätverk för att helt eller delvis isolera miljön från det offentliga Internet för att minska attackytan och risken för dataexfiltrering.
    • Om du fortfarande använder Azure Machine Learning CLI v1 och Azure Machine Learning Python SDK v1 (till exempel v1 API) på Azure Machine Learning-arbetsytan lägger du till en privat slutpunkt på arbetsytan för att tillhandahålla nätverksisolering för allt utom att skapa, läsa, uppdatera och ta bort (CRUD) på arbetsytan eller beräkningsresurserna.
    • Om du vill dra nytta av de nya funktionerna i en Azure Machine Learning-arbetsyta använder du Azure Machine Learning CLI v2 och Azure Machine Learning Python SDK v2 (till exempel v2 API), där aktivering av en privat slutpunkt på din arbetsyta inte ger samma nivå av nätverksisolering. Det virtuella nätverket hjälper dock fortfarande till att skydda träningsdata och maskininlärningsmodeller. Vi rekommenderar att du utvärderar v2-API:et innan du implementerar det i dina företagslösningar. Mer information finns i Vad är den nya API-plattformen i Azure Resource Manager.

• Datakryptering

  • Kryptera träningsdata under överföring och i vila med hjälp av plattformshanterade eller kundhanterade åtkomstnycklar.

• Princip och övervakning

  • Använd Azure Policy och Microsoft Defender för molnet för att tillämpa principer.
  • Använd Azure Monitor för att samla in och aggregera data (till exempel mått och loggar) från olika källor till en gemensam dataplattform för analys, visualisering och aviseringar.

Azure Machine Learning-arbetsytan är den översta resursen för Azure Machine Learning och kärnkomponenten i en MLOps-lösning. Arbetsytan är en central plats där du kan arbeta med alla artefakter som du skapar när du använder Azure Machine Learning.

När du skapar en ny arbetsyta skapas automatiskt följande Azure-resurser som används av arbetsytan:

• Azure Application Insights
• Azure Container Registry
• Azure Key Vault
• Azure Storage-konto

Potentiella användningsfall

Den här lösningen passar scenarier där en kund använder en MLOps-lösning för att distribuera och underhålla maskininlärningsmodeller i en säkrare miljö. Kunder kan komma från olika branscher, till exempel tillverkning, telekommunikation, detaljhandel, sjukvård och så vidare. Till exempel:

• En telekommunikationsoperatör hjälper till att skydda en kunds bilder, data och maskininlärningsmodeller i sitt videoövervakningssystem för butiker.

• En motortillverkare behöver en säkrare lösning för att skydda data- och maskininlärningsmodellerna i sina fabriker och produkter för sitt system som använder visuellt innehåll för att upptäcka defekter i delar.

MLOps-lösningarna för dessa scenarier och andra kan använda Azure Machine Learning-arbetsytor, Azure Blob Storage, Azure Kubernetes Service, Container Registry och andra Azure-tjänster.

Du kan använda hela eller delar av det här exemplet för liknande scenarion som har en MLOps-miljö som distribueras i Azure och som använder Azure-säkerhetsfunktioner för att skydda relevanta resurser. Den ursprungliga kunden för den här lösningen är inom telekommunikationsindustrin.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som förbättrar kvaliteten på en arbetsbelastning när den tillämpas. Mer information finns i Microsoft Azure Well-Architected Framework.

Säkerhet

Säkerhet ger större garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.

Fundera på hur du kan skydda din MLOps-lösning från och med arkitekturdesignen. Utvecklingsmiljöer kanske inte behöver någon större säkerhet, men det är viktigt i mellanlagrings- och produktionsmiljöerna.

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

Det är kostnadsfritt att konfigurera virtuellt nätverk, men det finns avgifter för andra tjänster som ditt scenario kan kräva, till exempel privata länkar, DNS-zoner och peering för virtuella nätverk. I följande tabell beskrivs avgifterna för de tjänster och andra som kan krävas.

Driftsäkerhet

Driftskvalitet omfattar de driftsprocesser som distribuerar ett program och håller det igång i produktion. Mer information finns i Översikt över grundpelare för driftskvalitet.

För att effektivisera kontinuerlig integrering och kontinuerlig leverans (CI/CD) är bästa praxis att använda verktyg och tjänster för infrastruktur som kod (IaC), till exempel Terraform- eller Azure Resource Manager-mallar, Azure DevOps och Azure Pipelines.

Distribuera det här scenariot

I följande avsnitt beskrivs hur du distribuerar, kommer åt och hjälper till att skydda resurser i det här exempelscenariot.

Virtual Network

Det första steget i att skydda MLOps-miljön är att skydda Azure Machine Learning-arbetsytan och dess associerade resurser. En effektiv skyddsmetod är att använda virtuellt nätverk. Virtuellt nätverk är den grundläggande byggstenen för ditt privata nätverk i Azure. Med virtuellt nätverk kan många typer av Azure-resurser kommunicera på ett säkrare sätt med varandra, internet och lokala nätverk.

Genom att placera Azure Machine Learning-arbetsytan och dess associerade resurser i ett virtuellt nätverk kan komponenterna kommunicera med varandra utan att exponera dem för det offentliga Internet. Detta minskar deras attackyta och hjälper till att förhindra dataexfiltrering.

Följande Terraform-kodfragment visar hur du skapar ett beräkningskluster för Azure Machine Learning, kopplar det till en arbetsyta och placerar det i ett undernät i ett virtuellt nätverk.

resource "azurerm_machine_learning_compute_cluster" "compute_cluster" {
  name                          = "my_compute_cluster"
  location                      = "eastasia"
  vm_priority                   = "LowPriority"
  vm_size                       = "Standard_NC6s_v3"
  machine_learning_workspace_id = azurerm_machine_learning_workspace.my_workspace.id
  subnet_resource_id            = azurerm_subnet.compute_subnet.id
  ssh_public_access_enabled     = false
  scale_settings {
    min_node_count                       = 0
    max_node_count                       = 3
    scale_down_nodes_after_idle_duration = "PT30S"
  }
  identity {
    type = "SystemAssigned"
  }
}

Privat länk och privat Azure-slutpunkt

Private Link ger åtkomst via en privat slutpunkt i ditt virtuella nätverk till Alternativ för Azure Platform as a Service (PaaS), till exempel en Azure Machine Learning-arbetsyta och Azure Storage, samt till kundägda och partnerägda Tjänster i Azure. En privat slutpunkt är ett nätverksgränssnitt som endast ansluter till specifika resurser, vilket hjälper till att skydda mot dataexfiltrering.

I det här exempelscenariot finns det fyra privata slutpunkter som är knutna till Azure PaaS-alternativ och som hanteras av ett undernät i det virtuella Azure Machine Learning-nätverket, enligt arkitekturdiagrammet. Därför är dessa tjänster endast tillgängliga för resurserna i samma virtuella nätverk, det virtuella Azure Machine Learning-nätverket. Dessa tjänster är:

• Azure Machine Learning-arbetsyta
• Azure Blob Storage
• Azure Container Registry
• Azure Key Vault

Följande Terraform-kodfragment visar hur du använder en privat slutpunkt för att länka till en Azure Machine Learning-arbetsyta, som därför skyddas mer av det virtuella nätverket. Kodfragmentet visar också användningen av en privat DNS-zon, som beskrivs i Azure Privat DNS-zoner.

resource "azurerm_machine_learning_workspace" "aml_ws" {
  name                    = "my_aml_workspace"
  friendly_name           = "my_aml_workspace"
  location                = "eastasia"
  resource_group_name     = "my_resource_group"
  application_insights_id = azurerm_application_insights.my_ai.id
  key_vault_id            = azurerm_key_vault.my_kv.id
  storage_account_id      = azurerm_storage_account.my_sa.id
  container_registry_id   = azurerm_container_registry.my_acr_aml.id

  identity {
    type = "SystemAssigned"
  }
}

# Configure private DNS zones

resource "azurerm_private_dns_zone" "ws_zone_api" {
  name                = "privatelink.api.azureml.ms"
  resource_group_name = var.RESOURCE_GROUP
}

resource "azurerm_private_dns_zone" "ws_zone_notebooks" {
  name                = "privatelink.notebooks.azure.net"
  resource_group_name = var.RESOURCE_GROUP
}

# Link DNS zones to the virtual network

resource "azurerm_private_dns_zone_virtual_network_link" "ws_zone_api_link" {
  name                  = "ws_zone_link_api"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.ws_zone_api.name
  virtual_network_id    = azurerm_virtual_network.aml_vnet.id
}

resource "azurerm_private_dns_zone_virtual_network_link" "ws_zone_notebooks_link" {
  name                  = "ws_zone_link_notebooks"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.ws_zone_notebooks.name
  virtual_network_id    = azurerm_virtual_network.aml_vnet.id
}

# Configure private endpoints

resource "azurerm_private_endpoint" "ws_pe" {
  name                = "my_aml_ws_pe"
  location            = "eastasia"
  resource_group_name = "my_resource_group"
  subnet_id           = azurerm_subnet.my_subnet.id

  private_service_connection {
    name                           = "my_aml_ws_psc"
    private_connection_resource_id = azurerm_machine_learning_workspace.aml_ws.id
    subresource_names              = ["amlworkspace"]
    is_manual_connection           = false
  }

  private_dns_zone_group {
    name                 = "private-dns-zone-group-ws"
    private_dns_zone_ids = [azurerm_private_dns_zone.ws_zone_api.id, azurerm_private_dns_zone.ws_zone_notebooks.id]
  }

  # Add the private link after configuring the workspace
  depends_on = [azurerm_machine_learning_compute_instance.compute_instance, azurerm_machine_learning_compute_cluster.compute_cluster]
}

Föregående kod för azurerm_machine_learning_workspace använder v2 API-plattformen som standard. Om du fortfarande vill använda v1-API:et eller har en företagsprincip som förbjuder sändning av kommunikation via offentliga nätverk kan du aktivera parametern v1_legacy_mode_enabled enligt följande kodfragment. När den här parametern är aktiverad inaktiveras v2-API:et för din arbetsyta.

resource "azurerm_machine_learning_workspace" "aml_ws" {
  ...
  public_network_access_enabled = false
  v1_legacy_mode_enabled  = true
}

Azure DNS Private Zones

Azure DNS tillhandahåller en tillförlitlig och säkrare DNS-tjänst för att hantera och lösa domännamn i ett virtuellt nätverk utan att behöva lägga till en anpassad DNS-lösning. Genom att använda privata DNS-zoner kan du använda anpassade domännamn i stället för de namn som tillhandahålls av Azure. DNS-matchning mot en privat DNS-zon fungerar endast från virtuella nätverk som är länkade till den.

Den här exempellösningen använder privata slutpunkter för Azure Machine Learning-arbetsytan och för dess associerade resurser, till exempel Azure Storage, Azure Key Vault eller Container Registry. Därför måste du konfigurera DNS-inställningarna för att matcha IP-adresserna för de privata slutpunkterna från det fullständigt kvalificerade domännamnet (FQDN) för anslutningssträng.

Du kan länka en privat DNS-zon till ett virtuellt nätverk för att lösa specifika domäner.

Terraform-kodfragmentet i Private Link och Azure Private Endpoint skapar två privata DNS-zoner med hjälp av zonnamnen som rekommenderas i DNS-zonkonfigurationen för Azure-tjänster:

• privatelink.api.azureml.ms
• privatelink.notebooks.azure.net

Peering för virtuella nätverk

Peering för virtuella nätverk ger åtkomst till den virtuella jump-host-datorn (VM) eller virtuella agentdatorer med egen värd i det virtuella Azure Bastion-nätverket till resurserna i det virtuella Azure Machine Learning-nätverket. I anslutningssyfte fungerar de två virtuella nätverken som ett. Trafiken mellan virtuella datorer och Azure Machine Learning-resurser i peer-kopplade virtuella nätverk använder Azure-staminfrastrukturen. Trafik mellan de virtuella nätverken dirigeras via Azures privata nätverk.

Följande Terraform-kodfragment konfigurerar peering för virtuella nätverk mellan det virtuella Azure Machine Learning-nätverket och det virtuella Azure Bastion-nätverket.

# Virtual network peering for AML VNET and BASTION VNET
resource "azurerm_virtual_network_peering" "vp_amlvnet_basvnet" {
  name                      = "vp_amlvnet_basvnet"
  resource_group_name       = "my_resource_group"
  virtual_network_name      = azurerm_virtual_network.amlvnet.name
  remote_virtual_network_id = azurerm_virtual_network.basvnet.id
  allow_virtual_network_access = true
  allow_forwarded_traffic      = true
}

resource "azurerm_virtual_network_peering" "vp_basvnet_amlvnet" {
  name                      = "vp_basvnet_amlvnet"
  resource_group_name       = "my_resource_group"
  virtual_network_name      = azurerm_virtual_network.basvnet.name
  remote_virtual_network_id = azurerm_virtual_network.amlvnet.id
  allow_virtual_network_access = true
  allow_forwarded_traffic      = true
}

Få åtkomst till resurserna i det virtuella nätverket

Om du vill komma åt Azure Machine Learning-arbetsytan i ett virtuellt nätverk, till exempel virtuellt Azure Machine Learning-nätverk i det här scenariot, använder du någon av följande metoder:

• Azure VPN Gateway
• Azure ExpressRoute
• Azure Bastion och den virtuella jump-värddatorn

Mer information finns i Anslut till arbetsytan.

Kör Azure Pipelines som har åtkomst till resurserna i det virtuella nätverket

Se hur Azure Pipelines automatiskt skapar och testar kodprojekt och gör dem tillgängliga för andra. Azure Pipelines kombinerar CI/CD för att testa och skapa din kod och skicka den till alla mål.

Azure-värdbaserade agenter jämfört med lokalt installerade agenter

MLOps-lösningen i det här exempelscenariot består av två pipelines som kan utlösa Azure Machine Learning-pipelines och få åtkomst till associerade resurser. Eftersom Azure Machine Learning-arbetsytan och dess associerade resurs finns i ett virtuellt nätverk måste det här scenariot vara ett sätt för en Azure Pipelines-agent att komma åt dem. En agent är databehandlingsinfrastruktur med installerad agentprogramvara som kör jobb i Azure Pipelines en i taget. Det finns flera sätt att implementera åtkomst:

• Använd lokalt installerade agenter i samma virtuella nätverk eller det virtuella peeringnätverket, som du ser i arkitekturdiagrammet.

• Använd Azure-värdbaserade agenter och lägg till deras IP-adressintervall i en tillåten lista i brandväggsinställningarna för de riktade Azure-tjänsterna.

• Använd Azure-värdbaserade agenter (som VPN-klienter) och VPN Gateway.

Vart och ett av dessa val har för- och nackdelar. I följande tabell jämförs Azure-värdbaserade agenter med lokalt installerade agenter.

Baserat på jämförelserna i tabellen och övervägandena kring säkerhet och komplexitet använder det här exempelscenariot en lokalt installerad agent för Azure Pipelines för att utlösa Azure Machine Learning-pipelines i det virtuella nätverket.

För att konfigurera en lokalt installerad agent har du följande alternativ:

• Installera agenten på Azure Virtual Machines.

• Installera agenterna på en Skalningsuppsättning för virtuella Azure-datorer, som kan skalas automatiskt för att möta efterfrågan.

• Installera agenten på en Docker-container. Det här alternativet är inte möjligt eftersom det här scenariot kan kräva att Docker-containern körs i agenten för maskininlärningsmodellträning.

Följande exempelkod etablerar två lokalt installerade agenter genom att skapa virtuella Azure-datorer och tillägg:

resource "azurerm_linux_virtual_machine" "agent" {
  ...
}

resource "azurerm_virtual_machine_extension" "update-vm" {
  count                = 2
  name                 = "update-vm${format("%02d", count.index)}"
  publisher            = "Microsoft.Azure.Extensions"
  type                 = "CustomScript"
  type_handler_version = "2.1"
  virtual_machine_id   = element(azurerm_linux_virtual_machine.agent.*.id, count.index)

  settings = <<SETTINGS
    {
        "script": "${base64encode(templatefile("../scripts/terraform/agent_init.sh", {
          AGENT_USERNAME      = "${var.AGENT_USERNAME}",
          ADO_PAT             = "${var.ADO_PAT}",
          ADO_ORG_SERVICE_URL = "${var.ADO_ORG_SERVICE_URL}",
          AGENT_POOL          = "${var.AGENT_POOL}"
        }))}"
    }
SETTINGS
}

Som du ser i föregående kodblock anropar Terraform-skriptet agent_init.sh, som visas i följande kodblock, för att installera agentprogramvara och nödvändiga bibliotek på den virtuella agentdatorn enligt kundens krav.

#!/bin/sh
# Install other required libraries 
...

# Creates directory and downloads Azure DevOps agent installation files
sudo mkdir /myagent 
cd /myagent
sudo wget https://vstsagentpackage.azureedge.net/agent/2.194.0/vsts-agent-linux-x64-2.194.0.tar.gz
sudo tar zxvf ./vsts-agent-linux-x64-2.194.0.tar.gz
sudo chmod -R 777 /myagent

# Unattended installation
sudo runuser -l ${AGENT_USERNAME} -c '/myagent/config.sh --unattended  --url ${ADO_ORG_SERVICE_URL} --auth pat --token ${ADO_PAT} --pool ${AGENT_POOL}'

cd /myagent
#Configure as a service
sudo ./svc.sh install ${AGENT_USERNAME}
#Start service
sudo ./svc.sh start

Använda Container Registry i det virtuella nätverket

Det finns vissa förutsättningar för att skydda en Azure Machine Learning-arbetsyta i ett virtuellt nätverk. Mer information finns i Förutsättningar. Container Registry är en obligatorisk tjänst när du använder en Azure Machine Learning-arbetsyta för att träna och distribuera modellerna.

I det här exemplet använder vi peering för virtuella nätverk och lägger till en länk till det virtuella privatelink.azurecr.ionätverket för att säkerställa att den lokalt installerade agenten kan komma åt containerregistret i det virtuella nätverket. Följande Terraform-kodfragment visar implementeringen.

# Azure Machine Learning Container Registry is for private access 
# by the Azure Machine Learning workspace
resource "azurerm_container_registry" "acr" {
  name                     = "my_acr"
  resource_group_name      = "my_resource_group"
  location                 = "eastasia"
  sku                      = "Premium"
  admin_enabled            = true
  public_network_access_enabled = false
}

resource "azurerm_private_dns_zone" "acr_zone" {
  name                     = "privatelink.azurecr.io"
  resource_group_name      = "my_resource_group"
}

resource "azurerm_private_dns_zone_virtual_network_link" "acr_zone_link" {
  name                  = "link_acr"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.acr_zone.name
  virtual_network_id    = azurerm_virtual_network.amlvnet.id
}

resource "azurerm_private_endpoint" "acr_ep" {
  name                = "acr_pe"
  resource_group_name = "my_resource_group"
  location            = "eastasia"
  subnet_id           = azurerm_subnet.aml_subnet.id

  private_service_connection {
    name                           = "acr_psc"
    private_connection_resource_id = azurerm_container_registry.acr.id
    subresource_names              = ["registry"]
    is_manual_connection           = false
  }

  private_dns_zone_group {
    name                 = "private-dns-zone-group-app-acr"
    private_dns_zone_ids = [azurerm_private_dns_zone.acr_zone.id]
  }
}

Det här exempelscenariot säkerställer också att containerregistret har en deltagarroll för den systemtilldelade hanterade identiteten för Azure Machine Learning-arbetsytan.

Använda ett beräkningskluster eller en instans i det virtuella nätverket

Ett Azure Machine Learning-beräkningskluster eller en instans i ett virtuellt nätverk kräver en nätverkssäkerhetsgrupp (NSG) med vissa specifika regler för undernätet. En lista över dessa regler finns i Begränsningar.

Observera också att för beräkningsklustret eller instansen är det nu möjligt att ta bort den offentliga IP-adressen, vilket ger bättre skydd för beräkningsresurser i MLOps-lösningen. Mer information finns i Ingen offentlig IP-adress för beräkningsinstanser.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudsakliga författare:

• Gary Wang | Huvudprogramtekniker

Övriga medarbetare:

• Gary Moore | Programmerare/skrivare

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

• Dokumentation om Terraform i Azure
• Terraform-exempel för Azure Machine Learning Enterprise
• Lösningsaccelerator för Azure MLOps (v2)
• Prissättning för Azure Virtual Network
• Priser för Azure DevOps

Relaterade resurser

• Ramverk för maskininlärningsåtgärder (MLOps) för att skala upp livscykeln för maskininlärning med Azure Machine Learning
• Skydda en Azure Machine Learning-arbetsyta med virtuella nätverk
• Agenter i Azure-pipelines