Co jsou cílové výpočetní objekty ve službě Azure Machine Learning?
Cíl výpočetní služby je určený výpočetní prostředek nebo prostředí, kde spustíte školicí skript nebo nakonfigurujete nasazení služby. Toto umístění může být váš místní počítač nebo cloudový výpočetní prostředek. Použití výpočetních cílů vám usnadňuje později změnit výpočetní prostředí, aniž byste museli měnit kód.
Typický životní cyklus vývoje modelu vám může:
- Začněte vývojem a experimentováním s malým množstvím dat. V této fázi můžete jako cíl služby COMPUTE použít místní prostředí, jako je například místní počítač nebo cloudový virtuální počítač (VM).
- Můžete škálovat až na větší objem dat nebo distribuované školení pomocí jednoho z těchto výpočetních cílů.
- Až bude model připravený, nasaďte ho do prostředí pro hostování webů jedním z těchto výpočetních cílů nasazení.
Výpočetní prostředky, které používáte pro cíle výpočtů, jsou připojené k pracovnímu prostoru. Výpočetní prostředky jiné než místní počítač sdílí uživatelé pracovního prostoru.
Školení výpočetních cílů
Azure Machine Learning má různou podporu napříč různými výpočetními cíli. Typický životní cyklus vývoje modelu začíná vývojem nebo experimentováním s malým množstvím dat. V této fázi použijte místní prostředí, jako je váš místní počítač nebo cloudový virtuální počítač. při horizontálním navýšení kapacity školení na větší datové sady nebo provádění distribuovaného školenípoužijte Azure Machine Learning výpočetní prostředí k vytvoření clusteru s jedním nebo několika uzly, který při každém odeslání běhu provádí automatické škálování. Můžete také připojit vlastní výpočetní prostředek, i když se podpora různých scénářů může lišit.
Cíle výpočetní služby se dají znovu použít z jedné školicí úlohy do další. Například po připojení vzdáleného virtuálního počítače k pracovnímu prostoru jej můžete znovu použít pro více úloh. Pro kanály strojového učení použijte odpovídající Krok kanálu pro každý cíl výpočtů.
Pro většinu úloh můžete použít libovolný z následujících zdrojů pro školení výpočetní cíl. Ne všechny prostředky je možné použít pro automatizované strojové učení, kanály strojového učení nebo návrháře. Azure Databricks lze použít jako školicí prostředek pro místní běhy a kanály strojového učení, ale ne jako vzdálený cíl pro jiné školení.
| Cíle školení | Automatizované strojové učení | Kanály Machine Learningu | Návrhář služby Azure Machine Learning |
|---|---|---|---|
| Místní počítač | Yes | ||
| Azure Machine Learning výpočetní cluster | Yes | Yes | Yes |
| Výpočetní instance Azure Machine Learningu | Ano (přes SDK) | Yes | Yes |
| Vzdálený virtuální počítač | Yes | Yes | |
| Fondy Apache Spark (Preview) | Ano (pouze místní režim sady SDK) | Yes | |
| Datacihly Azure | Ano (pouze místní režim sady SDK) | Yes | |
| Azure Data Lake Analytics | Yes | ||
| Azure HDInsight | Yes | ||
| Azure Batch | Yes | ||
| Služba Azure Kubernetes (Preview) | Yes | Yes | Yes |
| Kubernetes s podporou ARC Azure (Preview) | Yes | Yes | Yes |
Tip
Instance COMPUTE má disk s operačním systémem s 120 GB. Pokud vyčerpáte místo na disku, před zastavením nebo restartováním výpočetní instance pomocí terminálu vymažte aspoň 1-2 GB.
Přečtěte si další informace o tom, jak Odeslat školicí běh do cílového výpočetníhoprostředí.
Výpočetní cíle pro odvození
při vykonávání odvození Azure Machine Learning vytvoří kontejner docker, který je hostitelem modelu a přidružených prostředků potřebných k jeho použití. Tento kontejner se pak použije v cíli výpočtů.
Cílový výpočetní výkon, který používáte k hostování vašeho modelu, bude mít vliv na náklady a dostupnost nasazeného koncového bodu. Pomocí této tabulky můžete zvolit vhodný cíl služby Compute.
| Cílový výpočetní objekt | Použití | Podpora GPU | Podpora FPGA | Description |
|---|---|---|---|---|
| Místní Webová Služba | Testování a ladění | Používá se pro omezené testování a řešení potíží. Hardwarová akcelerace závisí na použití knihoven v místním systému. | ||
| Azure Kubernetes Service (AKS) | Odvození v reálném čase Doporučuje se pro produkční úlohy. |
Ano (nasazení webové služby) | Ano | Použijte pro vysoce škálovatelná produkční nasazení. Poskytuje rychlou odezvu a automatické škálování nasazené služby. automatické škálování clusteru není podporováno sadou Azure Machine Learning SDK. Pokud chcete změnit uzly v clusteru AKS, použijte uživatelské rozhraní pro cluster AKS v Azure Portal. Podporováno v návrháři. |
| Azure Container Instances | Odvození v reálném čase Doporučuje se jenom pro účely vývoje a testování. |
Používejte pro vysoce škálovatelné úlohy založené na procesoru, které vyžadují méně než 48 GB paměti RAM. Nevyžaduje správu clusteru. Podporováno v návrháři. |
||
| Výpočetní clustery Azure Machine Learning | Odvození dávky | Ano (kanál strojového učení) | Spusťte dávkové vyhodnocování pro výpočetní prostředky bez serveru. Podporuje virtuální počítače s normálním a nízkou prioritou. Žádná podpora pro odvození v reálném čase. | |
| Kubernetes s podporou Azure Arc | Odvození v reálném čase Odvození dávky |
Yes | – | Spouštění úloh Inferencing na místních, cloudových a hraničních Kubernetes clusterech spravovaných v Azure ARC |
Poznámka
i když výpočetní prostředky, jako jsou místní, a Azure Machine Learning výpočetní clustery, podporují gpu pro školení a experimentování a při nasazení jako webové služby se používá gpu, která je podporovaná jenom v AKS.
použití GPU pro odvození při vyhodnocování s kanálem strojového učení je podporované jenom v Azure Machine Learning compute.
Při volbě SKU clusteru si naplánujte horizontální navýšení kapacity a potom horizontální navýšení kapacity. Začněte s počítačem, který má 150% paměti RAM, který váš model vyžaduje, profilujte výsledek a vyhledejte počítač, který má potřebný výkon. Jakmile se naučíte, můžete zvýšit počet počítačů tak, aby odpovídaly vašemu potřebám souběžného odvození.
Poznámka
- Instance kontejnerů jsou vhodné jenom pro malé modely, které mají velikost menší než 1 GB.
- Používejte clustery AKS s jedním uzlem pro vývoj a testování větších modelů.
Naučte se , jak a jak model nasadit do cílového výpočetního prostředí.
Azure Machine Learning compute (spravované)
Spravovaný výpočetní prostředek je vytvořený a spravovaný pomocí Azure Machine Learning. Tato výpočetní prostředí jsou optimalizovaná pro úlohy strojového učení. jediným spravovaným výpočetním prostředím jsou Azure Machine Learning výpočetní clustery a výpočetní instance .
můžete vytvořit Azure Machine Learning výpočetní instance nebo výpočetní clustery z:
- Azure Machine Learning studio.
- Sada Python SDK a rozhraní příkazového řádku Azure:
- Šablona Azure Resource Manager. příklad šablony naleznete v tématu Create a Azure Machine Learning compute cluster.
- Rozšíření Machine Learning pro rozhraní příkazového řádku Azure CLI.
Po vytvoření budou tyto výpočetní prostředky automaticky součástí pracovního prostoru, na rozdíl od jiných druhů výpočetních cílů.
| Schopnost | Výpočtový cluster | Instance služby Compute |
|---|---|---|
| Cluster s jedním nebo několika uzly | ✓ | Cluster s jedním uzlem |
| Automatické škálování pokaždé, když odešlete běh | ✓ | |
| Automatická správa clusteru a plánování úloh | ✓ | ✓ |
| Podpora pro prostředky CPU a GPU | ✓ | ✓ |
Poznámka
Pokud je výpočetní cluster nečinný, přiřadí se automatické škálování na 0 uzlů, takže nebudete platit, když se nepoužívá. Instance COMPUTE je vždycky zapnutá a neprovádí automatické škálování. Výpočetní instanci byste měli zastavit, pokud ji nepoužíváte, abyste se vyhnuli dodatečným nákladům.
Podporované řady a velikosti virtuálních počítačů
když v Azure Machine Learning vyberete velikost uzlu spravovaného výpočetního prostředku, můžete si vybrat z výběru velikostí virtuálních počítačů dostupných v Azure. Azure nabízí řadu velikostí pro Linux a Windows pro různé úlohy. Další informace najdete v tématu typy a velikosti virtuálních počítačů.
Pro výběr velikosti virtuálního počítače je k dispozici několik výjimek a omezení:
- Některé série virtuálních počítačů nejsou podporované v Azure Machine Learning.
- Některé řady virtuálních počítačů jsou omezené. Pokud chcete použít řadu s omezeným přístupem, obraťte se na podporu a požádejte o zvýšení kvóty pro řadu. Informace o tom, jak kontaktovat podporu, najdete v tématu Možnosti podpory Azure.
Další informace o podporovaných řadách a omezeních najdete v následující tabulce.
| Podporovaná řada virtuálních počítačů | Omezení | Kategorie | Podporováno nástrojem |
|---|---|---|---|
| DDSv4 | Žádné | Obecné účely | Výpočetní clustery a instance |
| Dv2 | Žádné | Obecné účely | Výpočetní clustery a instance |
| Dv3 | Žádné | Obecné účely | Výpočetní clustery a instance |
| DSv2 | Žádné | Obecné účely | Výpočetní clustery a instance |
| DSv3 | Žádné | Obecné účely | Výpočetní clustery a instance |
| EAv4 | Žádné | Optimalizované pro paměť. | Výpočetní clustery a instance |
| Ev3 | Žádné | Optimalizované pro paměť. | Výpočetní clustery a instance |
| FSv2 | Žádné | Optimalizované pro výpočty. | Výpočetní clustery a instance |
| FX | Vyžaduje schválení. | Optimalizované pro výpočty. | Výpočetní clustery |
| Y | Žádné | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HB | Vyžaduje schválení. | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HBv2 | Vyžaduje schválení. | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HBv3 | Vyžaduje schválení. | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HC | Vyžaduje schválení. | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| LSv2 | Žádné | Optimalizované pro úložiště. | Výpočetní clustery a instance |
| 4m | Vyžaduje schválení. | Optimalizované pro paměť. | Výpočetní clustery a instance |
| NC | Žádné | GPU | Výpočetní clustery a instance |
| Propagační akce síťového adaptéru | Žádné | GPU | Výpočetní clustery a instance |
| NCv2 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| NCv3 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| C | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| NDv2 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| NV | Žádné | GPU | Výpočetní clustery a instance |
| NVv3 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| NCasT4_v3 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
| NDasrA100_v4 | Vyžaduje schválení. | GPU | Výpočetní clustery a instance |
i když Azure Machine Learning podporuje tyto řady virtuálních počítačů, nemusí být k dispozici ve všech oblastech Azure. Pokud chcete zjistit, jestli jsou dostupné řady virtuálních počítačů, přečtěte si téma Dostupné produkty v jednotlivých oblastech.
Poznámka
Azure Machine Learning nepodporuje všechny velikosti virtuálních počítačů, které Azure compute podporuje. Chcete-li zobrazit seznam dostupných velikostí virtuálních počítačů, použijte jednu z následujících metod:
Pokud používáte výpočetní cíle s povoleným GPU, je důležité zajistit, aby byly v školicím prostředí nainstalované správné ovladače CUDA. K určení správné verze CUDA použijte následující tabulku:
| Architektura GPU | Řada virtuálních počítačů Azure | Podporované verze CUDA |
|---|---|---|
| Ampere | NDA100_v4 | 11.0 + |
| Turing | NCT4_v3 | 10.0+ |
| Volta | NCv3, NDv2 | 9.0+ |
| Jazyce | NCv2, ND | 9.0+ |
| Maxwell | NV, NVv3 | 9.0+ |
| Kepler | NC, propagační akce NC | 9.0+ |
Kromě toho, že je verze CUDA a hardware kompatibilní, zajistěte, aby byla verze CUDA kompatibilní s verzí rozhraní Machine Learning, kterou používáte:
- V případě PyTorch můžete kontrolu kompatibility ověřit tady.
- V případě Tensorflow můžete kontrolu kompatibility ověřit tady.
Izolace výpočtů
Azure Machine Learning compute nabízí velikosti virtuálních počítačů, které jsou izolované na konkrétní typ hardwaru a vyhrazené pro jediného zákazníka. Velikosti izolovaných virtuálních počítačů jsou vhodné pro úlohy, které vyžadují vysoký stupeň izolace od úloh jiných zákazníků z důvodů, které zahrnují splnění požadavků na dodržování předpisů a zákonné požadavky. Použití izolované velikosti zaručuje, že váš virtuální počítač bude jediný spuštěný na konkrétní instanci serveru.
Aktuální nabídky izolovaného virtuálního počítače zahrnují:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3*
*Podpora RDMA
Další informace o izolaci najdete v tématu Izolace ve veřejném cloudu Azure.
Nespravované výpočetní prostředky
Nespravovaný cílový výpočetní objekt nespravuje Azure Machine Learning. Tento typ cílového výpočetního objektu vytvoříte mimo Azure Machine Learning a pak ho připojíte k pracovnímu prostoru. Nespravované výpočetní prostředky mohou vyžadovat další kroky k údržbě nebo zlepšení výkonu úloh strojového učení.
Azure Machine Learning podporuje následující typy nespravovaných výpočetních prostředků:
- Místní počítač
- Vzdálené virtuální počítače
- Azure HDInsight
- Azure Batch
- Azure Databricks
- Azure Data Lake Analytics
- Instance kontejneru Azure
- Azure Kubernetes Service & Azure Arc s podporou Kubernetes (Preview)
Další informace najdete v tématu nastavení cílových výpočetních prostředí pro trénování a nasazení modelu.
Další kroky
Naučte se: