Co jsou cílové výpočetní objekty ve službě Azure Machine Learning?

Cíl výpočetní služby je určený výpočetní prostředek nebo prostředí, kde spustíte školicí skript nebo nakonfigurujete nasazení služby. Toto umístění může být váš místní počítač nebo cloudový výpočetní prostředek. Použití výpočetních cílů vám usnadňuje později změnit výpočetní prostředí, aniž byste museli měnit kód.

Typický životní cyklus vývoje modelu vám může:

  1. Začněte vývojem a experimentováním s malým množstvím dat. V této fázi můžete jako cíl služby COMPUTE použít místní prostředí, jako je například místní počítač nebo cloudový virtuální počítač (VM).
  2. Můžete škálovat až na větší objem dat nebo distribuované školení pomocí jednoho z těchto výpočetních cílů.
  3. Až bude model připravený, nasaďte ho do prostředí pro hostování webů jedním z těchto výpočetních cílů nasazení.

Výpočetní prostředky, které používáte pro cíle výpočtů, jsou připojené k pracovnímu prostoru. Výpočetní prostředky jiné než místní počítač sdílí uživatelé pracovního prostoru.

Školení výpočetních cílů

Azure Machine Learning má různou podporu napříč různými výpočetními cíli. Typický životní cyklus vývoje modelu začíná vývojem nebo experimentováním s malým množstvím dat. V této fázi použijte místní prostředí, jako je váš místní počítač nebo cloudový virtuální počítač. při horizontálním navýšení kapacity školení na větší datové sady nebo provádění distribuovaného školenípoužijte Azure Machine Learning výpočetní prostředí k vytvoření clusteru s jedním nebo několika uzly, který při každém odeslání běhu provádí automatické škálování. Můžete také připojit vlastní výpočetní prostředek, i když se podpora různých scénářů může lišit.

Cíle výpočetní služby se dají znovu použít z jedné školicí úlohy do další. Například po připojení vzdáleného virtuálního počítače k pracovnímu prostoru jej můžete znovu použít pro více úloh. Pro kanály strojového učení použijte odpovídající Krok kanálu pro každý cíl výpočtů.

Pro většinu úloh můžete použít libovolný z následujících zdrojů pro školení výpočetní cíl. Ne všechny prostředky je možné použít pro automatizované strojové učení, kanály strojového učení nebo návrháře. Azure Databricks lze použít jako školicí prostředek pro místní běhy a kanály strojového učení, ale ne jako vzdálený cíl pro jiné školení.

 Cíle školení Automatizované strojové učení Kanály Machine Learningu Návrhář služby Azure Machine Learning
Místní počítač Yes    
Azure Machine Learning výpočetní cluster Yes Yes Yes
Výpočetní instance Azure Machine Learningu Ano (přes SDK) Yes Yes
Vzdálený virtuální počítač Yes Yes  
Fondy Apache Spark (Preview) Ano (pouze místní režim sady SDK) Yes  
 Datacihly Azure Ano (pouze místní režim sady SDK) Yes  
Azure Data Lake Analytics   Yes  
Azure HDInsight   Yes  
Azure Batch   Yes  
Služba Azure Kubernetes (Preview) Yes Yes Yes
Kubernetes s podporou ARC Azure (Preview) Yes Yes Yes

Tip

Instance COMPUTE má disk s operačním systémem s 120 GB. Pokud vyčerpáte místo na disku, před zastavením nebo restartováním výpočetní instance pomocí terminálu vymažte aspoň 1-2 GB.

Přečtěte si další informace o tom, jak Odeslat školicí běh do cílového výpočetníhoprostředí.

Výpočetní cíle pro odvození

při vykonávání odvození Azure Machine Learning vytvoří kontejner docker, který je hostitelem modelu a přidružených prostředků potřebných k jeho použití. Tento kontejner se pak použije v cíli výpočtů.

Cílový výpočetní výkon, který používáte k hostování vašeho modelu, bude mít vliv na náklady a dostupnost nasazeného koncového bodu. Pomocí této tabulky můžete zvolit vhodný cíl služby Compute.

Cílový výpočetní objekt Použití Podpora GPU Podpora FPGA Description
Místní   Webová   Služba Testování a ladění     Používá se pro omezené testování a řešení potíží. Hardwarová akcelerace závisí na použití knihoven v místním systému.
Azure Kubernetes Service (AKS) Odvození v reálném čase

Doporučuje se pro produkční úlohy.
Ano (nasazení webové služby) Ano Použijte pro vysoce škálovatelná produkční nasazení. Poskytuje rychlou odezvu a automatické škálování nasazené služby. automatické škálování clusteru není podporováno sadou Azure Machine Learning SDK. Pokud chcete změnit uzly v clusteru AKS, použijte uživatelské rozhraní pro cluster AKS v Azure Portal.

Podporováno v návrháři.
Azure Container Instances Odvození v reálném čase

Doporučuje se jenom pro účely vývoje a testování.
    Používejte pro vysoce škálovatelné úlohy založené na procesoru, které vyžadují méně než 48 GB paměti RAM. Nevyžaduje správu clusteru.

Podporováno v návrháři.
Výpočetní clustery Azure Machine Learning  Odvození dávky Ano (kanál strojového učení)   Spusťte dávkové vyhodnocování pro výpočetní prostředky bez serveru. Podporuje virtuální počítače s normálním a nízkou prioritou. Žádná podpora pro odvození v reálném čase.
Kubernetes s podporou Azure Arc Odvození v reálném čase

Odvození dávky
Yes Spouštění úloh Inferencing na místních, cloudových a hraničních Kubernetes clusterech spravovaných v Azure ARC

Poznámka

i když výpočetní prostředky, jako jsou místní, a Azure Machine Learning výpočetní clustery, podporují gpu pro školení a experimentování a při nasazení jako webové služby se používá gpu, která je podporovaná jenom v AKS.

použití GPU pro odvození při vyhodnocování s kanálem strojového učení je podporované jenom v Azure Machine Learning compute.

Při volbě SKU clusteru si naplánujte horizontální navýšení kapacity a potom horizontální navýšení kapacity. Začněte s počítačem, který má 150% paměti RAM, který váš model vyžaduje, profilujte výsledek a vyhledejte počítač, který má potřebný výkon. Jakmile se naučíte, můžete zvýšit počet počítačů tak, aby odpovídaly vašemu potřebám souběžného odvození.

Poznámka

  • Instance kontejnerů jsou vhodné jenom pro malé modely, které mají velikost menší než 1 GB.
  • Používejte clustery AKS s jedním uzlem pro vývoj a testování větších modelů.

Naučte se , jak a jak model nasadit do cílového výpočetního prostředí.

Azure Machine Learning compute (spravované)

Spravovaný výpočetní prostředek je vytvořený a spravovaný pomocí Azure Machine Learning. Tato výpočetní prostředí jsou optimalizovaná pro úlohy strojového učení. jediným spravovaným výpočetním prostředím jsou Azure Machine Learning výpočetní clustery a výpočetní instance .

můžete vytvořit Azure Machine Learning výpočetní instance nebo výpočetní clustery z:

Po vytvoření budou tyto výpočetní prostředky automaticky součástí pracovního prostoru, na rozdíl od jiných druhů výpočetních cílů.

Schopnost Výpočtový cluster Instance služby Compute
Cluster s jedním nebo několika uzly Cluster s jedním uzlem
Automatické škálování pokaždé, když odešlete běh
Automatická správa clusteru a plánování úloh
Podpora pro prostředky CPU a GPU

Poznámka

Pokud je výpočetní cluster nečinný, přiřadí se automatické škálování na 0 uzlů, takže nebudete platit, když se nepoužívá. Instance COMPUTE je vždycky zapnutá a neprovádí automatické škálování. Výpočetní instanci byste měli zastavit, pokud ji nepoužíváte, abyste se vyhnuli dodatečným nákladům.

Podporované řady a velikosti virtuálních počítačů

když v Azure Machine Learning vyberete velikost uzlu spravovaného výpočetního prostředku, můžete si vybrat z výběru velikostí virtuálních počítačů dostupných v Azure. Azure nabízí řadu velikostí pro Linux a Windows pro různé úlohy. Další informace najdete v tématu typy a velikosti virtuálních počítačů.

Pro výběr velikosti virtuálního počítače je k dispozici několik výjimek a omezení:

  • Některé série virtuálních počítačů nejsou podporované v Azure Machine Learning.
  • Některé řady virtuálních počítačů jsou omezené. Pokud chcete použít řadu s omezeným přístupem, obraťte se na podporu a požádejte o zvýšení kvóty pro řadu. Informace o tom, jak kontaktovat podporu, najdete v tématu Možnosti podpory Azure.

Další informace o podporovaných řadách a omezeních najdete v následující tabulce.

Podporovaná řada virtuálních počítačů Omezení Kategorie Podporováno nástrojem
DDSv4 Žádné Obecné účely Výpočetní clustery a instance
Dv2 Žádné Obecné účely Výpočetní clustery a instance
Dv3 Žádné Obecné účely Výpočetní clustery a instance
DSv2 Žádné Obecné účely Výpočetní clustery a instance
DSv3 Žádné Obecné účely Výpočetní clustery a instance
EAv4 Žádné Optimalizované pro paměť. Výpočetní clustery a instance
Ev3 Žádné Optimalizované pro paměť. Výpočetní clustery a instance
FSv2 Žádné Optimalizované pro výpočty. Výpočetní clustery a instance
FX Vyžaduje schválení. Optimalizované pro výpočty. Výpočetní clustery
Y Žádné Vysokovýkonné výpočetní prostředí Výpočetní clustery a instance
HB Vyžaduje schválení. Vysokovýkonné výpočetní prostředí Výpočetní clustery a instance
HBv2 Vyžaduje schválení. Vysokovýkonné výpočetní prostředí Výpočetní clustery a instance
HBv3 Vyžaduje schválení. Vysokovýkonné výpočetní prostředí Výpočetní clustery a instance
HC Vyžaduje schválení. Vysokovýkonné výpočetní prostředí Výpočetní clustery a instance
LSv2 Žádné Optimalizované pro úložiště. Výpočetní clustery a instance
4m Vyžaduje schválení. Optimalizované pro paměť. Výpočetní clustery a instance
NC Žádné GPU Výpočetní clustery a instance
Propagační akce síťového adaptéru Žádné GPU Výpočetní clustery a instance
NCv2 Vyžaduje schválení. GPU Výpočetní clustery a instance
NCv3 Vyžaduje schválení. GPU Výpočetní clustery a instance
C Vyžaduje schválení. GPU Výpočetní clustery a instance
NDv2 Vyžaduje schválení. GPU Výpočetní clustery a instance
NV Žádné GPU Výpočetní clustery a instance
NVv3 Vyžaduje schválení. GPU Výpočetní clustery a instance
NCasT4_v3 Vyžaduje schválení. GPU Výpočetní clustery a instance
NDasrA100_v4 Vyžaduje schválení. GPU Výpočetní clustery a instance

i když Azure Machine Learning podporuje tyto řady virtuálních počítačů, nemusí být k dispozici ve všech oblastech Azure. Pokud chcete zjistit, jestli jsou dostupné řady virtuálních počítačů, přečtěte si téma Dostupné produkty v jednotlivých oblastech.

Poznámka

Azure Machine Learning nepodporuje všechny velikosti virtuálních počítačů, které Azure compute podporuje. Chcete-li zobrazit seznam dostupných velikostí virtuálních počítačů, použijte jednu z následujících metod:

Pokud používáte výpočetní cíle s povoleným GPU, je důležité zajistit, aby byly v školicím prostředí nainstalované správné ovladače CUDA. K určení správné verze CUDA použijte následující tabulku:

Architektura GPU Řada virtuálních počítačů Azure Podporované verze CUDA
Ampere NDA100_v4 11.0 +
Turing NCT4_v3 10.0+
Volta NCv3, NDv2 9.0+
Jazyce NCv2, ND 9.0+
Maxwell NV, NVv3 9.0+
Kepler NC, propagační akce NC 9.0+

Kromě toho, že je verze CUDA a hardware kompatibilní, zajistěte, aby byla verze CUDA kompatibilní s verzí rozhraní Machine Learning, kterou používáte:

  • V případě PyTorch můžete kontrolu kompatibility ověřit tady.
  • V případě Tensorflow můžete kontrolu kompatibility ověřit tady.

Izolace výpočtů

Azure Machine Learning compute nabízí velikosti virtuálních počítačů, které jsou izolované na konkrétní typ hardwaru a vyhrazené pro jediného zákazníka. Velikosti izolovaných virtuálních počítačů jsou vhodné pro úlohy, které vyžadují vysoký stupeň izolace od úloh jiných zákazníků z důvodů, které zahrnují splnění požadavků na dodržování předpisů a zákonné požadavky. Použití izolované velikosti zaručuje, že váš virtuální počítač bude jediný spuštěný na konkrétní instanci serveru.

Aktuální nabídky izolovaného virtuálního počítače zahrnují:

  • Standard_M128ms
  • Standard_F72s_v2
  • Standard_NC24s_v3
  • Standard_NC24rs_v3*

*Podpora RDMA

Další informace o izolaci najdete v tématu Izolace ve veřejném cloudu Azure.

Nespravované výpočetní prostředky

Nespravovaný cílový výpočetní objekt nespravuje Azure Machine Learning. Tento typ cílového výpočetního objektu vytvoříte mimo Azure Machine Learning a pak ho připojíte k pracovnímu prostoru. Nespravované výpočetní prostředky mohou vyžadovat další kroky k údržbě nebo zlepšení výkonu úloh strojového učení.

Azure Machine Learning podporuje následující typy nespravovaných výpočetních prostředků:

  • Místní počítač
  • Vzdálené virtuální počítače
  • Azure HDInsight
  • Azure Batch
  • Azure Databricks
  • Azure Data Lake Analytics
  • Instance kontejneru Azure
  • Azure Kubernetes Service & Azure Arc s podporou Kubernetes (Preview)

Další informace najdete v tématu nastavení cílových výpočetních prostředí pro trénování a nasazení modelu.

Další kroky

Naučte se: