Upgrade na verzi 2

  • Článek

Rozhraní REST API služby Azure Machine Učení verze 2, rozšíření Azure CLI a sada Python SDK představují konzistenci a sadu nových funkcí, které urychlují životní cyklus produkčního strojového učení. Tento článek obsahuje přehled upgradu na verzi 2 s doporučeními, které vám pomůžou rozhodnout se o verzi 1, v2 nebo obojím.

Požadavky

  • Obecná znalost služby Azure Machine Učení a sady Python SDK verze 1
  • Co je v2?

Mám použít v2?

Pokud spouštíte nový projekt nebo pracovní postup strojového učení, měli byste použít verzi 2. Pokud chcete používat nové funkce nabízené ve verzi 2, měli byste použít verzi 2. Toto jsou některé z dostupných funkcí:

  • Spravované odvozování
  • Opakovaně použitelné komponenty v kanálech
  • Vylepšené plánování kanálů
  • Řídicí panel zodpovědné umělé inteligence
  • Registr prostředků

Nový projekt v2 může opakovaně používat existující prostředky v1, jako jsou pracovní prostory a výpočetní prostředky a existující prostředky, jako jsou modely a prostředí vytvořená pomocí verze 1.

Mezi mezery funkcí ve verzi 2 patří:

  • Podpora Sparku v úlohách – aktuálně je ve verzi Preview ve verzi 2.
  • Publikování úloh (kanálů ve v1) jako koncových bodů Kanály ale můžete naplánovat bez publikování.
  • Podpora úložišť dat SQL nebo databáze
  • Možnost používat klasické předem vytvořené komponenty v návrháři s v2

Pak byste měli zajistit, aby funkce, které potřebujete ve verzi 2, splňovaly požadavky vaší organizace, například obecně dostupné.

Důležité

Nové funkce ve službě Azure Machine Učení se spustí jenom ve verzi 2.

Které rozhraní API v2 mám použít?

V rozhraních v2 prostřednictvím rozhraní REST API, rozhraní příkazového řádku a sady Python SDK jsou k dispozici. Rozhraní, které byste měli použít, závisí na vašem scénáři a předvolbách.

rozhraní API Notes
REST Nejmenší závislosti a režijní náklady. Slouží k vytváření aplikací na platformě Azure Machine Učení jako platformy přímo v programovacích jazycích bez poskytnuté sady SDK nebo podle osobních preferencí.
Rozhraní příkazového řádku Doporučuje se pro automatizaci s CI/CD nebo podle osobních preferencí. Umožňuje rychlou iteraci pomocí souborů YAML a jednoduché oddělení mezi kódem modelu Azure Machine Učení a ML.
Python SDK Doporučuje se pro složité skriptování (například programové generování velkých úloh kanálu) nebo podle osobních preferencí. Umožňuje rychlou iteraci pomocí souborů YAML nebo vývoje výhradně v Pythonu.

Mapování sady Python SDK v1 na v2

V každém z následujících článků najdete mapování srovnávacího kódu pro sadu SDK v1 vs. 2.

Prostředky a prostředky Článek
Pracovní prostor Správa pracovních prostorů v sadě SDK v1 a SDK v2
Úložiště dat Správa úložiště dat v sadě SDK v1 a SDK v2
Data Datové prostředky v sadě SDK v1 a v2
Compute Správa výpočetních prostředků v sadě SDK v1 a SDK v2
Školení Spuštění skriptu
Školení Místní spuštění
Školení Ladění hyperparametrů
Školení Paralelní spuštění
Školení Pipelines
Školení AutoML
Modely Správa modelů v sadě SDK v1 a SDK v2
Nasazení Upgrade koncových bodů nasazení na sadu SDK v2

Prostředky a prostředky ve verzi 1 a v2

Tato část poskytuje přehled konkrétních prostředků a prostředků ve službě Azure Machine Učení. Podrobnosti o jejich využití ve verzi 2 najdete v článku o konceptech jednotlivých entit.

Pracovní prostor

Pracovní prostory není potřeba upgradovat pomocí verze 2. Stejný pracovní prostor můžete použít bez ohledu na to, jestli používáte v1 nebo v2.

Pokud vytváříte pracovní prostory pomocí automatizace, zvažte upgrade kódu pro vytvoření pracovního prostoru na verzi 2. Prostředky Azure se obvykle spravují prostřednictvím Azure Resource Manageru (a Bicep) nebo podobných nástrojů pro zřizování prostředků. Alternativně můžete použít soubory CLI (v2) a YAML.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Správa pracovních prostorů v sadě SDK v1 a sadě SDK v2.

Důležité

Pokud váš pracovní prostor používá privátní koncový bod, bude mít automaticky v1_legacy_mode povolený příznak, který brání použití rozhraní API v2. Podrobnosti najdete v tématu konfigurace izolace sítě s v2 .

Připojení ion (připojení pracovního prostoru v 1)

Připojení pracovního prostoru z verze 1 jsou v pracovním prostoru trvalá a plně dostupná s v2.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Správa pracovních prostorů v sadě SDK v1 a sadě SDK v2.

Úložiště dat

Typy úložiště dat úložiště objektů vytvořené s v1 jsou plně dostupné pro použití ve verzi 2. Úložiště dat databáze nejsou podporovány; Doporučený způsob migrace je export do úložiště objektů (obvykle Azure Blob).

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Správa úložiště dat v sadě SDK v1 a sadě SDK v2.

Data (datové sady v1)

Datové sady se přejmenují na datové assety. Poskytuje se zpětná kompatibilita , což znamená, že můžete použít datové sady V1 ve verzi 2. Když v úloze V2 použijete datovou sadu V1, všimnete si, že se automaticky mapují na typy V2 následujícím způsobem:

  • V1 FileDataset = složka V2 (uri_folder)
  • Tabulka V1 TabularDataset = V2 Table (mltable)

Je třeba poznamenat, že není k dispozici kompatibilitapředávání, což znamená, že v 1 nemůžete používat datové prostředky V2.

Tento článek popisuje další informace o zpracování dat v2 – čtení a zápis dat v úloze.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Datové prostředky v sadě SDK v1 a v2.

Compute

Výpočetní prostředky typu AmlCompute a ComputeInstance jsou plně dostupné pro použití ve verzi 2.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Správa výpočetních prostředků v sadě SDK v1 a SDK v2.

Úlohy (experimenty, spuštění, kanály ve verzi 1)

Ve verzi 2 se experimenty, spuštění a kanály souhrnně označují jako úlohy. Úloha má typ. Většina úloh je command úloh, které spouští příkaz, například python main.py. Co se spouští v úloze, je nezávislé na libovolném programovacím jazyce, takže můžete spouštět bash skripty, vyvolávat python interprety, spouštět spoustu curl příkazů nebo cokoli jiného. Dalším běžným typem úlohy je pipeline, který definuje podřízené úlohy, které mohou mít vstupní a výstupní relace, které tvoří směrovaný acyklický graf (DAG).

Porovnání kódu SADY SDK v1 a v2 najdete v tématu

Návrhář

Pomocí návrháře můžete vytvářet kanály pomocí vlastních komponent v2 a nových předem připravených komponent z registru. V takovém případě můžete ve svém kanálu použít datové prostředky v1 nebo v2.

Pomocí návrháře můžete vytvářet kanály pomocí klasických předem připravených komponent a typů datových sad v1 (tabulkové, soubor). Existující předpřipravené komponenty návrháře s datovým assetem v2 nelze použít.

Kanál nelze sestavit pomocí existujících klasických předpřipravených komponent návrháře i vlastních komponent v2.

Model

Modely vytvořené z verze 1 je možné použít ve verzi 2.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Správa modelů v sadě SDK v1 a SDK v2.

Koncový bod a nasazení (koncový bod a webová služba ve verzi 1)

Pomocí sady SDK/CLI v1 můžete modely nasadit v ACI nebo AKS jako webové služby. Vaše stávající nasazení modelů v1 a webové služby budou dál fungovat, ale použití sady SDK/CLI v1 k nasazení modelů v ACI nebo AKS jako webových služeb se teď považuje za starší verzi. Pro nová nasazení modelu doporučujeme upgradovat na verzi 2. Ve verzi 2 nabízíme spravované koncové body nebo koncové body Kubernetes. V následující tabulce najdete naše doporučení:

Typ koncového bodu v2 Upgrade z Notes
Místní ACI Rychlý test nasazení modelu místně; nikoli pro produkční prostředí.
Spravovaný online koncový bod ACI, AKS Infrastruktura nasazení spravovaného modelu na podnikové úrovni s téměř odpověďmi v reálném čase a obrovským škálováním pro produkční prostředí.
Spravovaný koncový bod dávky ParallelRunStep v kanálu pro dávkové vyhodnocování Infrastruktura nasazení spravovaného modelu na podnikové úrovni s masivně paralelním dávkovým zpracováním pro produkční prostředí
Azure Kubernetes Service (AKS) ACI, AKS Spravujte vlastní clustery AKS pro nasazení modelu, které poskytují flexibilitu a podrobné řízení s náklady na IT náklady.
Kubernetes s podporou Azure Arc – Spravujte vlastní clustery Kubernetes v jiných cloudech nebo v místním prostředí, které poskytují flexibilitu a podrobné řízení s náklady na IT režii.

Porovnání kódu SADY SDK v1 a v2 najdete v tématu Upgrade koncových bodů nasazení na sadu SDK v2. Postup migrace ze stávajících webových služeb ACI do spravovaných online koncových bodů najdete v našem článku a blogu o upgradu.

Prostředí

Prostředí vytvořená z verze 1 je možné použít ve verzi 2. Prostředí v2 mají nové funkce, jako je vytvoření z místního kontextu Dockeru.

Správa tajných kódů

Správa tajných kódů služby Key Vault se v porovnání s V1 výrazně liší ve verzi 2. Metody sady SDK set_secret v1 a get_secret nejsou dostupné ve verzi 2. Místo toho by se měl použít přímý přístup pomocí klientských knihoven služby Key Vault.

Podrobnosti o službě Key Vault najdete v tématu Použití tajných kódů přihlašovacích údajů ověřování ve službě Azure Machine Učení trénovacích úloh.

Scénáře životního cyklu strojového učení

Existuje několik běžných scénářů v životním cyklu strojového učení pomocí služby Azure Machine Učení. Podíváme se na několik příkladů a poskytneme obecná doporučení pro upgrade na verzi 2.

Nastavení Azure

Azure doporučuje šablony Azure Resource Manageru (často prostřednictvím Bicep pro snadné použití) k vytváření prostředků. Stejný přístup je vhodný i pro vytváření prostředků azure machine Učení.

Pokud váš tým používá jenom službu Azure Machine Učení, můžete místo toho zvážit zřízení pracovního prostoru a dalších prostředků prostřednictvím souborů YAML a rozhraní příkazového řádku.

Modely prototypů

Pro modely vytváření prototypů doporučujeme v2. Můžete zvážit použití rozhraní příkazového řádku pro interaktivní použití služby Azure Machine Učení, zatímco trénovací kód modelu je Python nebo jakýkoli jiný programovací jazyk. Alternativně můžete s Pythonem využít plně stackový přístup výhradně pomocí sady Azure Machine Učení SDK nebo smíšeného přístupu se soubory Azure Machine Učení Python SDK a YAML.

Trénování produkčního modelu

Pro trénování produkčního modelu doporučujeme v2. Úlohy konsoliduje terminologii a poskytuje sadu konzistence, která umožňuje snadnější přechod mezi typy (například command do) a procesem přívětivého pro sweepGitOps pro serializaci úloh do souborů YAML.

V2 byste měli oddělit kód strojového učení od kódu řídicí roviny. Toto oddělení umožňuje snadnější iteraci a umožňuje snadnější přechod mezi místním prostředím a cloudem. Pro sledování a protokolování modelů také doporučujeme použít MLflow. Podrobnosti najdete v článku konceptů MLflow.

Nasazení produkčního modelu

Pro nasazení produkčního modelu doporučujeme v2. Spravované koncové body abstrahují režijní náklady na IT a poskytují výkonné řešení pro nasazování a bodovací modely, a to jak pro online scénáře (téměř v reálném čase), tak pro dávkové scénáře (masivně paralelní).

Nasazení Kubernetes se podporují ve verzi 2 prostřednictvím AKS nebo Azure Arc a umožňují cloudové a místní nasazení Azure spravované vaší organizací.

Operace strojového učení (MLOps)

Pracovní postup MLOps obvykle zahrnuje CI/CD prostřednictvím externího nástroje. Rozhraní příkazového řádku se obvykle používá v CI/CD, ale alternativně můžete vyvolat Python nebo přímo použít REST.

Akcelerátor řešení pro MLOps s v2 se vyvíjí https://github.com/Azure/mlops-v2 a lze ho použít jako referenci nebo použít k nastavení a automatizaci životního cyklu strojového učení.

Poznámka k GitOps s v2

Klíčovým paradigmatem v2 je serializace entit strojového učení jako souborů YAML pro správu zdrojového kódu s gitpovolením lepších přístupů GitOps, než bylo možné s v1. Můžete například vynutit zásady, podle kterých může vytvořit, aktualizovat nebo odstranit jenom instanční objekt používaný v kanálech CI/CD, a zajistit tak, aby změny prošly řízeným procesem, jako jsou žádosti o přijetí změn s požadovanými kontrolory. Vzhledem k tomu, že soubory ve správě zdrojového kódu jsou YAML, snadno se rozdílují a sledují změny v průběhu času. Vy a váš tým můžete zvážit přechod na toto paradigma při upgradu na verzi 2.

Pomocí rozhraní příkazového řádku můžete získat reprezentaci YAML libovolné entity prostřednictvím az ml <entity> show --output yamlrozhraní příkazového řádku . Všimněte si, že tento výstup bude mít systémem generované vlastnosti, které je možné ignorovat nebo odstranit.

Mám upgradovat existující kód v1 na verzi 2

Existující prostředky v1 můžete znovu použít v pracovních postupech v2. Například model vytvořený ve verzi 1 lze použít k provedení spravovaného odvozování ve verzi 2.

Pokud chcete upgradovat konkrétní části existujícího kódu v1 na verzi 2, projděte si odkazy na porovnání uvedené v tomto dokumentu.

Můžu společně používat v1 a v2?

V1 a v2 mohou existovat společně v pracovním prostoru. Existující prostředky můžete znovu použít v pracovních postupech v2. Například model vytvořený ve verzi 1 lze použít k provedení spravovaného odvozování ve verzi 2. Prostředky, jako jsou pracovní prostory, výpočetní prostředky a úložiště dat, fungují napříč verzemi 1 a v2 s výjimkami. Uživatel může volat sadu Python SDK verze 1, aby změnil popis pracovního prostoru a pak ho znovu změnil pomocí rozšíření rozhraní příkazového řádku verze 2. Úlohy (experimenty, spuštění nebo kanály ve verzi 1) je možné odeslat do stejného pracovního prostoru ze sady Python SDK verze 1 nebo v2. Pracovní prostor může mít koncové body nasazení modelu v1 i v2.

Použití kódu v1 a v2 společně

Nedoporučujeme používat sady SDK v1 a v2 společně ve stejném kódu. Technicky možné použít ve stejném kódu v1 a v2, protože používají různé obory názvů Azure. Existuje však mnoho tříd se stejným názvem v těchto oborech názvů (jako je pracovní prostor, model), které můžou způsobit nejasnost a ztěžovat čitelnost kódu a možnosti ladění.

Důležité

Pokud váš pracovní prostor používá privátní koncový bod, bude mít automaticky v1_legacy_mode povolený příznak, který brání použití rozhraní API v2. Podrobnosti najdete v tématu konfigurace izolace sítě s v2 .

Další kroky