Datakryptering med Azure Machine Learning

  • Artikel
  • 10 minuter för att läsa

Azure Machine Learning använder en mängd olika Azure-datalagringstjänster och beräkningsresurser när du tränar modeller och utför slutsatsledning. Var och en av dessa har sin egen berättelse om hur de tillhandahåller kryptering för vilade data och under överföring. I den här artikeln får du lära dig mer om var och en och vilket som passar bäst för ditt scenario.

Viktigt

För kryptering i produktionsklass under träning rekommenderar Microsoft att du Azure Machine Learning beräkningskluster. För kryptering i produktionsklass under härledning rekommenderar Microsoft att du använder Azure Kubernetes Service.

Azure Machine Learning beräkningsinstans är en utvecklings-/testmiljö. När du använder den rekommenderar vi att du lagrar dina filer, till exempel notebook-filer och skript, i en filresurs. Dina data ska lagras i ett datalager.

Kryptering i vila

Viktigt

Om arbetsytan innehåller känsliga data rekommenderar vi att du anger hbi_workspace när du skapar arbetsytan. Flaggan hbi_workspace kan bara anges när en arbetsyta skapas. Den kan inte ändras för en befintlig arbetsyta.

Flaggan hbi_workspace styr mängden data som Microsoft samlar in i diagnostiskt syfte och möjliggör ytterligare kryptering i Microsoft-hanterade miljöer. Dessutom möjliggör den följande åtgärder:

  • Börjar kryptera den lokala scratch-disken i ditt Azure Machine Learning beräkningskluster förutsatt att du inte har skapat några tidigare kluster i prenumerationen. Annars måste du skapa en supportbiljett för att aktivera kryptering av den scratch-disken i dina beräkningskluster
  • Rensar den lokala disken för tillfällig lagring mellan körningar
  • Skickar autentiseringsuppgifter på ett säkert sätt för ditt lagringskonto, containerregister och SSH-konto från körningsskiktet till dina beräkningskluster med hjälp av ditt nyckelvalv

När den här flaggan är inställd på Sant är en möjlig effekt ökad problemlösning. Detta kan inträffa eftersom viss telemetri inte skickas till Microsoft och det finns mindre insyn i lyckade resultat eller problemtyper, och därför inte kan reagera lika proaktivt när den här flaggan är sann.

Tips

Flaggan hbi_workspace påverkar inte kryptering under överföring, endast kryptering i vila.

Azure Blob Storage

Azure Machine Learning lagrar ögonblicksbilder, utdata och loggar i Azure Blob Storage-kontot som är kopplat till Azure Machine Learning arbetsytan och din prenumeration. Alla data som lagras i Azure Blob Storage krypteras i vila med Microsoft-hanterade nycklar.

Information om hur du använder dina egna nycklar för data som lagras i Azure Blob Storage finns i Azure Storage kryptering med kund hanterade nycklar i Azure Key Vault.

Träningsdata lagras vanligtvis också i Azure Blob Storage så att de är tillgängliga för träningsbearbetningsmål. Den här lagringen hanteras inte av Azure Machine Learning utan monteras för att beräkna mål som ett fjärrfilsystem.

Om du behöver rotera eller återkalla nyckeln kan du göra det när som helst. När du roterar en nyckel börjar lagringskontot använda den nya nyckeln (senaste versionen) för att kryptera vilodata. När du återkallar (inaktiverar) en nyckel tar lagringskontot hand om misslyckade begäranden. Det tar vanligtvis en timme för rotationen eller återkallelsen att gälla.

Information om hur du återskapar åtkomstnycklarna finns i Återskapa lagringsåtkomstnycklar.

Azure Cosmos DB

Azure Machine Learning lagrar metadata i en Azure Cosmos DB instans. Den här instansen är associerad med en Microsoft-prenumeration som hanteras av Azure Machine Learning. Alla data som lagras i Azure Cosmos DB krypteras i vila med Microsoft-hanterade nycklar.

Om du vill använda dina egna (kund-hanterade) nycklar för att kryptera Azure Cosmos DB instansen kan du skapa en dedikerad Cosmos DB-instans för användning med din arbetsyta. Vi rekommenderar den här metoden om du vill lagra dina data, till exempel information om körningshistorik, utanför den instans Cosmos DB flera klienter som finns i vår Microsoft-prenumeration.

Utför följande åtgärder för Cosmos DB aktivera etablering av en instans i din prenumeration med kund-hanterade nycklar:

  • Registrera resursproviders för Microsoft.MachineLearning och Microsoft.DocumentDB i din prenumeration, om de inte redan har gjort det.

  • Använd följande parametrar när du skapar Azure Machine Learning arbetsyta. Båda parametrarna är obligatoriska och stöds i SDK, Azure CLI, REST API:er och Resource Manager mallar.

    • cmk_keyvault: Den här parametern är resurs-ID:t för nyckelvalvet i din prenumeration. Det här nyckelvalvet måste finnas i samma region och prenumeration som du ska använda för Azure Machine Learning arbetsytan.

    • resource_cmk_uri: Den här parametern är den fullständiga resurs-URI:en för den kund hanterade nyckeln i ditt nyckelvalv, inklusive versionsinformationen för nyckeln.

      Anteckning

      Aktivering av mjuk borttagning och rensningsskydd på CMK-nyckelvalvsinstansen krävs innan du skapar en krypterad maskininlärningsarbetsyta för att skydda mot oavsiktlig dataförlust vid borttagning av valvet.

      Anteckning

      Den här nyckelvalvsinstansen kan vara annorlunda än det nyckelvalv som skapas av Azure Machine Learning när du etablerar arbetsytan. Om du vill använda samma nyckelvalvsinstans för arbetsytan skickar du samma nyckelvalv när du etablerar arbetsytan med hjälp key_vault parametern.

Viktigt

Den Cosmos DB-instansen skapas i en Microsoft-hanterad resursgrupp i din prenumeration. Följande tjänster skapas också i den här resursgruppen och används av den kund hanterade nyckelkonfigurationen:

  • Azure Storage-konto
  • Azure Search

Eftersom dessa tjänster skapas i din Azure-prenumeration innebär det att du debiteras för dessa tjänstinstanser. Om din prenumeration inte har tillräckligt med kvot för Azure Cosmos DB tjänsten uppstår ett fel. Mer information om kvoter finns i Azure Cosmos DB tjänstkvoter

Den hanterade resursgruppen heter i formatet <AML Workspace Resource Group Name><GUID> . Om din Azure Machine Learning arbetsyta använder en privat slutpunkt skapas även ett virtuellt nätverk i den här resursgruppen. Det här virtuella nätverket används för att skydda kommunikationen mellan tjänsterna i den här resursgruppen och Azure Machine Learning arbetsyta.

  • Ta inte bort resursgruppen som innehåller den här Cosmos DB instansen eller någon av de resurser som skapas automatiskt i den här gruppen. Om du behöver ta bort resursgruppen, Cosmos DB instans osv. måste du ta bort den Azure Machine Learning som använder den. Resursgruppen, den Cosmos DB instansen och andra automatiskt skapade resurser tas bort när den associerade arbetsytan tas bort.
  • De enheter för begäran som används av Cosmos DB-kontot skalas automatiskt efter behov. Minsta RU är 1200. Maximal RU är 12 000.
  • Du kan inte ange ett eget VNet för användning Cosmos DB instansen som skapas. Du kan inte heller ändra det virtuella nätverket. Du kan till exempel inte ändra ip-adressintervallet som används.

Om du vill beräkna den extra kostnaden för Azure Cosmos DB instansen använder du priskalkylatorn för Azure.

Om du behöver rotera eller återkalla nyckeln kan du göra det när som helst. När du roterar en nyckel Cosmos DB den nya nyckeln (senaste versionen) för att kryptera vilodata. När en nyckel återkallas (inaktiveras) tar Cosmos DB hand om misslyckade begäranden. Det tar vanligtvis en timme för rotationen eller återkallelsen att gälla.

Mer information om kund hanterade nycklar med Cosmos DB finns i Konfigurera kund hanterade nycklar för ditt Azure Cosmos DB konto.

Azure Container Registry

Alla containeravbildningar i registret (Azure Container Registry) krypteras i vila. Azure krypterar automatiskt en avbildning innan den lagras och dekrypterar den Azure Machine Learning hämtar avbildningen.

Om du vill använda dina egna (kund-hanterade) nycklar för att kryptera din Azure Container Registry måste du skapa en egen ACR och koppla den när du etablerar arbetsytan eller kryptera standardinstansen som skapas när arbetsytan etableras.

Viktigt

Azure Machine Learning kräver att administratörskontot är aktiverat på Azure Container Registry. Som standard inaktiveras den här inställningen när du skapar ett containerregister. Information om hur du aktiverar administratörskontot finns i Administratörskonto.

När en Azure Container Registry har skapats för en arbetsyta ska du inte ta bort den. Om du gör det bryts Azure Machine Learning arbetsyta.

Ett exempel på hur du skapar en arbetsyta med hjälp Azure Container Registry en befintlig arbetsyta finns i följande artiklar:

Azure Container-instans

Du kan kryptera en distribuerad Azure Container Instance-resurs (ACI) med hjälp av kund hanterade nycklar. Den kund hanterade nyckeln som används för ACI kan lagras i Azure Key Vault för din arbetsyta. Information om hur du genererar en nyckel finns i Kryptera data med en kund hanterad nyckel.

Om du vill använda nyckeln när du distribuerar en modell till Azure Container Instance skapar du en ny distributionskonfiguration med AciWebservice.deploy_configuration() . Ange viktig information med hjälp av följande parametrar:

  • cmk_vault_base_url: URL:en för nyckelvalvet som innehåller nyckeln.
  • cmk_key_name: Namnet på nyckeln.
  • cmk_key_version: Nyckelns version.

Mer information om hur du skapar och använder en distributionskonfiguration finns i följande artiklar:

Mer information om hur du använder en kund hanterad nyckel med ACI finns i Kryptera data med en kund hanterad nyckel.

Azure Kubernetes Service

Du kan när som helst kryptera Azure Kubernetes Service en distribuerad resurs med hjälp av kundbaserade nycklar. Mer information finns i Bring your own keys with Azure Kubernetes Service.

Med den här processen kan du kryptera både Data och OS-disken för de distribuerade virtuella datorerna i Kubernetes-klustret.

Viktigt

Den här processen fungerar bara med AKS K8s version 1.17 eller senare. Azure Machine Learning stöd för AKS 1.17 den 13 januari 2020.

Machine Learning Beräkna

Beräkningskluster OS-disken för varje beräkningsnod som lagras i Azure Storage krypteras med Microsoft-hanterade nycklar i Azure Machine Learning lagringskonton. Det här beräkningsmålet är tillfälliga och kluster skalas vanligtvis ned när inga körningar köas. Den underliggande virtuella datorn avetablerats och OS-disken tas bort. Azure Disk Encryption stöds inte för OS-disken.

Varje virtuell dator har också en lokal tillfällig disk för OS-åtgärder. Om du vill kan du använda disken för att mellanse träningsdata. Om arbetsytan skapades med hbi_workspace parametern inställd på TRUE krypteras den tillfälliga disken. Den här miljön är kortvarig (endast under körningen) och krypteringsstödet är begränsat till system hanterade nycklar.

Beräkningsinstans OS-disken för beräkningsinstansen krypteras med Microsoft-hanterade nycklar i Azure Machine Learning lagringskonton. Om arbetsytan skapades med parametern inställd hbi_workspace på krypteras den lokala temporära disken på beräkningsinstansen TRUE med Microsoft-hanterade nycklar. Kryptering av kund hanterad nyckel stöds inte för operativsystem och temporär disk.

Azure Databricks

Azure Databricks kan användas i Azure Machine Learning pipelines. Som standard krypteras databricks-filsystemet (DBFS) som används av Azure Databricks med en Microsoft-hanterad nyckel. Information om Azure Databricks att använda kund hanterade nycklar finns i Konfigurera kund hanterade nycklar på standard-DBFS (rot).

Microsoft-genererade data

När du använder tjänster som Automatiserad Machine Learning kan Microsoft generera en tillfällig, förbearbetad data för träning av flera modeller. Dessa data lagras i ett datalager på din arbetsyta, vilket gör att du kan framtvinga åtkomstkontroller och kryptering på rätt sätt.

Du kanske också vill kryptera diagnostikinformation som loggats från den distribuerade slutpunkten till Azure Application Insights instansen.

Kryptering under överföring

Azure Machine Learning använder TLS för att skydda intern kommunikation mellan Azure Machine Learning mikrotjänster. All Azure Storage sker också via en säker kanal.

För att skydda externa anrop till bedömningsslutpunkten använder Azure Machine Learning TLS. Mer information finns i Använda TLS för att skydda en webbtjänst via Azure Machine Learning.

Datainsamling och hantering

Microsoft samlade in data

Microsoft kan samla in information som inte identifierar användare, till exempel resursnamn (till exempel namnet på datauppsättningen eller namnet på maskininlärningsexperimentet) eller jobbmiljövariabler i diagnostiskt syfte. Alla sådana data lagras med Microsoft-hanterade nycklar i lagring som finns i Microsoft-ägda prenumerationer och följer Microsofts standardstandard för sekretesspolicy och datahantering. Dessa data lagras i samma region som din arbetsyta.

Microsoft rekommenderar också att du inte lagrar känslig information (till exempel hemligheter för kontonyckel) i miljövariabler. Miljövariabler loggas, krypteras och lagras av oss. På samma sätt när du run_idbör du undvika att inkludera känslig information, till exempel användarnamn eller hemliga projektnamn. Den här informationen kan visas i telemetriloggar som är tillgängliga Microsoft Support tekniker.

Du kan välja bort diagnostikdata som samlas in genom att ange hbi_workspace parametern TRUE till när du etablerar arbetsytan. Den här funktionen stöds när du använder AzureML Python SDK, Azure CLI, REST API:er eller Azure Resource Manager mallar.

Använda Azure Key Vault

Azure Machine Learning använder den Azure Key Vault-instans som är associerad med arbetsytan för att lagra autentiseringsuppgifter av olika typer:

  • Anslutningssträngen för det associerade lagringskontot
  • Lösenord till Azure Container Repository-instanser
  • Anslutningssträngar till datalager

SSH-lösenord och SSH-nycklar för beräkningsmål som Azure HDInsight och virtuella datorer lagras i ett separat nyckelvalv som är associerat med Microsoft-prenumerationen. Azure Machine Learning lagrar inte några lösenord eller nycklar som tillhandahålls av användare. I stället genererar, auktoriserar och lagrar den sina egna SSH-nycklar för att ansluta till virtuella datorer och HDInsight för att köra experimenten.

Varje arbetsyta har en associerad system tilldelad hanterad identitet som har samma namn som arbetsytan. Den här hanterade identiteten har åtkomst till alla nycklar, hemligheter och certifikat i nyckelvalvet.

Nästa steg