Průvodce migrací pro výpočetní úlohy GPU v Azure

Jakmile budou na marketplace a v datových centrech Microsoft Azure dostupné výkonnější grafické procesory, doporučujeme znovu posoudit výkon úloh a zvážit migraci na novější GPU.

Azure ze stejného důvodu, stejně jako udržování vysoce kvalitní a spolehlivé nabídky služeb, pravidelně vyřazení hardwaru, který využívá starší velikosti virtuálních počítačů. První skupinou produktů GPU, které se mají vyřazení z Azure, jsou původní virtuální počítače řady NC, NC v2 a ND-series, které využívají akcelerátory GPU NVIDIA Tesla K80, P100 a P40. Tyto produkty budou 31. srpna 2022 vyřazeny z provozu a nejstarší virtuální počítače v této sérii zahájené v roce 2016.

Od té doby grafické procesory dělají neuvěřitelně pokroky společně s celým oborem hlubokého učení a prostředí HPC, které obvykle překračují zdvojnásobení výkonu mezi generacemi. Od uvedení grafických procesorů NVIDIA K80, P40 a P100 dodal Azure několik novějších generací a kategorií produktů virtuálních počítače, které jsou zaměřeny na výpočetní výkon a AI akcelerované pomocí GPU, založené na grafických procesorech NVIDIA T4, V100 a A100 a jsou odlišeny volitelnými funkcemi, jako jsou propojené prostředky infrastruktury založené na infiniBand. Toto jsou všechny možnosti, které zákazníkům doporučujeme prozkoumat jako cesty migrace.

Ve většině případů výrazné zvýšení výkonu nabízeného novějšími generacemi GPU snižuje celkové náklady na celkové náklady na výpočetní prostředky snížením doby trvání úlohy, pro úlohy s možností nárůstu výkonu nebo snížením množství celkových virtuálních počítače s podporou GPU, které jsou potřeba k pokrytí požadavků na výpočetní prostředky s pevnou velikostí, i když se náklady na hodinu GPU můžou lišit. Kromě těchto výhod mohou zákazníci vylepšit dobu řešení prostřednictvím výkonnějšího virtuálního počítače a zlepšit stav a podporu svého řešení přijetím novějšího softwaru, modulu runtime CUDA a verzí ovladačů.

Migrace vs. optimalizace

Azure si uvědomuje, že zákazníci mají velké množství požadavků, které mohou diktovat výběr konkrétního produktu virtuálního počítače s GPU, včetně architektonických hledisek GPU, propojení, TCO, doby do řešení a regionální dostupnosti na základě požadavků na dodržování předpisů nebo latence– a některé z nich se v průběhu času dokonce mění.

Akcelerace GPU je zároveň nová a rychle se vyvíjející oblast.

Proto pro tuto produktovou oblast neexistují žádné skutečně univerzální pokyny a migrace je ideální čas přehodnotit potenciálně dramatické změny úlohy, jako je přechod z modelu clusterového nasazení na jeden velký virtuální počítač s 8 GPU nebo naopak, využití datových typů s omezenou přesností, přijetí funkcí, jako je GPU s více instancemi, a mnoho dalšího.

Tyto aspekty – když se zvýší kontext už dramatického výkonu GPU na generaci, kdy funkce, jako je přidání tensorCores, může zvýšit výkon o řádově, jsou extrémně specifické pro konkrétní úlohy.

Kombinace migrace s přenačovací architekturou aplikací může přinést obrovskou hodnotu a zlepšit náklady a čas k řešení.

Tyto druhy vylepšení jsou však nad rámec tohoto dokumentu, jehož cílem je zaměřit se na přímé třídy ekvivalence pro generalizované úlohy, které mohou dnes spouštět zákazníci, a identifikovat nej podobné možnosti virtuálních počítače v oblasti ceny a výkonu pro GPU se stávajícími rodinami virtuálních počítače, které se vyřadí.

Tento dokument proto předpokládá, že uživatel nemusí mít žádné přehledy nebo kontrolu nad vlastnostmi specifickými pro úlohy, jako je počet požadovaných instancí virtuálních počítače, GPU, propojení a další.

NC-Series virtuální počítače s grafickými procesory NVIDIA K80

Virtuální počítače řady NC (v1) jsou nejstarším typem výpočetního virtuálního počítače s akcelerovanými grafickými procesory Azure, který využívá 1 až 4 akcelerátory GPU datacentra NVIDIA Tesla K80 spárované s procesory Intel Xeon E5-2690 v3 (Haswell). Jednou z oblíbených virtuálních počítačů pro náročné aplikace AI, ML a HPC zůstaly oblíbenou volbou po konci životního cyklu produktu (zejména prostřednictvím propagačních cen nc-series) pro uživatele, kteří si cení velmi nízké absolutní náklady na GPU za hodinu nad GPU s vyšší propustností za dolar.

Vzhledem k relativně nízkému výpočetnímu výkonu stárnoucí platformy NVIDIA K80 GPU je v porovnání s řadou virtuálních počítače s novějšími grafickými procesory oblíbeným případem použití řady NC-series odvozování a analýzy v reálném čase, kdy musí být zrychlený virtuální počítač dostupný ve stabilním stavu, aby bylo možné obsloužit žádosti od aplikací hned, jak dorazí. V těchto případech může být objem nebo velikost dávky požadavků nedostatečná, aby bylo možné využít výkonnější gpu. Virtuální počítače NC jsou také oblíbené pro vývojáře a studenty, kteří se učí, vyvíjejí pro akceleraci GPU nebo experimentují s akcelerací GPU, kteří potřebují cenově výhodný cloudový cíl nasazení CUDA, na kterém se iterují a nemusí provádět na produkčních úrovních.

Obecně platí, že zákazníci NC-Series by měli zvážit přechod přímo z velikostí NC na velikosti NC T4 v3. Nová platforma Azure akcelerovaná pomocí GPU pro nenáročné úlohy využívající grafické procesory NVIDIA Tesla T4, i když pro úlohy běžící na velikostech s podporou InfiniBand NC-Series virtuálních počítačů.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_NC6
Standard_NC6_Promo
Standard_NC4as_T4_v3
nebo
Standard_NC8as_T4
PROCESOR: Intel Haswell vs. AMD Amd
Počet GPU: 1 (stejný)< br>generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 IP adresy)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 4 (-2) nebo 8 (+2)
Memory GiB :16 (-40) nebo 56 (stejné)
Temp Storage (SSD) GiB: 180 (-160) nebo 360 (+20)
Maximální počet datových disků: 8 (-4) nebo 16 (+4)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24
Standard_NC24_Promo
Standard_NC64as_T4_v3* PROCESOR: Intel Haswell vs. AMD Amd
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOP)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 64 (+40)
Memory GiB: 440 (+216)
Temp Storage (SSD) GiB: 2880 (+1440)
Maximální počet datových disků: 32 (-32)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24r
Standard_NC24r_Promo

(Velikosti s podporou clusteringu InfiniBand)
Standard_NC24rs_v3* PROCESOR: Intel Haswell vs. Intel Broadwell
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Keppler vs. Volta (+2 generace)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 24 (+0)
Memory GiB: 448 (+224)
Temp Storage (SSD) GiB: 2948 (+1440)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ne (totéž)
Premium Storage: Ano (+)
Propojení InfiniBand: Ano

ND-Series virtuální počítače s grafickými procesory NVIDIA Tesla P40

Virtuální počítače řady ND-series jsou platformou střední kategorie, která byla původně navržená pro úlohy AI a Deep Učení zatížení. Nabízela vynikající výkon pro dávkové odvozování prostřednictvím vylepšených operací s pohyblivou desetinnou čárkou s přesností nad jejich předchůdci a jsou ovlivňovány grafickými procesory NVIDIA Tesla P40 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako nc a NC v2-series nabízí ND-Series konfiguraci se sekundární nízkou latencí a vysokou propustností přes RDMA a připojením InfiniBand, abyste mohli spouštět rozsáhlé trénovací úlohy zahrnující mnoho GPU.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_ND6 Standard_NC4as_T4_v3
nebo
Standard_NC8as_T4
Procesor: Intel Broadwell vs. AMD Amd
Počet GPU: 1 (stejný)
Generace GPU: NVIDIA Pascal vs. Turing (+1 generace)
Paměť GPU (GiB na GPU): 16 (-8)
vCPU: 4 (-2) nebo 8 (+2)
Memory GiB :16 (-40) nebo 56 (-56)
Temp Storage (SSD) GiB: 180 (-552) nebo 360 (-372)
Maximální počet datových disků: 8 (-4) nebo 16 (+4)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_ND12 Standard_NC16as_T4_v3 Procesor: Intel Broadwell vs. AMD Amd
Počet GPU: 1 (-1)
Generace GPU: NVIDIA Pascal vs. Turing (+1 generace)
Paměť GPU (GiB na GPU): 16 (-8)
vCPU: 16 (+ 4)
GiB paměti: 110 (-114)
Temp Storage (SSD) GiB: 360 (-1 114)
Maximální počet datových disků: 48 (+ 16)
Akcelerované síťové služby: Ano (+)
Premium Storage: ano (+)
Standard_ND24 Standard_NC64as_T4_v3 * Procesor: Intel Broadwell vs AMD Řím
Počet GPU: 4 (stejné)
Generování GPU: NVIDIA Pascal vs. Turing (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (-8)
vCPU: 64 (+ 40)
GiB paměti: 440 (stejné)
Temp Storage (SSD) GiB: 2880 (stejné)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: ano (+)
Standard_ND24r Standard_NC24rs_v3 * Procesor: Intel Broadwell (stejné)
Počet GPU: 4 (stejné)
Generování GPU: NVIDIA Pascal vs. Volta (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (-8)
vCPU: 24 (+ 0)
GiB paměti: 448 (stejné)
Temp Storage (SSD) GiB: 2948 (stejné)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: ne (stejné)
Premium Storage: ano (+)
InfiniBand Interconnect: Ano (stejné)

Virtuální počítače řady NC v2 s grafickým procesorem NVIDIA Tesla P100

virtuální počítače řady NC v2 jsou nejdůležitější platformou původně navrženou pro úlohy AI a hloubkové Učení. nabízí vynikající výkon pro hloubkové Učení školení s výkonem na základě GPU přibližně dvojnásobek původního NC-Series a využívají procesory NVIDIA Tesla P100 gpu a Intel Xeon E5-2690 v4 (Broadwell). Podobně jako NC a ND-Series nabízí řada NC v2 konfiguraci se sekundární sítí s nízkou latencí a vysokou propustností prostřednictvím RDMA a InfiniBand konektivitu, takže můžete spouštět rozsáhlé školicí úlohy zahrnující mnoho GPU.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_NC6s_v2 Standard_NC6s_v3 Procesor: Intel Broadwell (stejné)
Počet GPU: 1 (stejné)
Generování GPU: NVIDIA Pascal vs. Volta (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (stejné)
vCPU: 6 (stejné)
GiB paměti: 112 (stejné)
Temp Storage (SSD) GiB: 736 (stejné)
Maximální počet datových disků: 12 (stejné)
Akcelerované síťové služby: ne (stejné)
Premium Storage: ano (+)
Standard_NC12s_v2 Standard_NC12s_v3 Procesor: Intel Broadwell (stejné)
Počet GPU: 2 (stejné)
Generování GPU: NVIDIA Pascal vs. Volta (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (stejné)
vCPU: 12 (stejné)
GiB paměti: 112 (stejné)
Temp Storage (SSD) GiB: 1474 (stejné)
Maximální počet datových disků: 24 (stejné)
Akcelerované síťové služby: ne (stejné)
Premium Storage: ano (+)
Standard_NC24s_v2 Standard_NC24s_v3 Procesor: Intel Broadwell (stejné)
Počet GPU: 4 (stejné)
Generování GPU: NVIDIA Pascal vs. Volta (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (stejné)
vCPU: 24 (stejné)
GiB paměti: 448 (stejné)
Temp Storage (SSD) GiB: 2948 (stejné)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: ne (stejné)
Premium Storage: ano (+)
Standard_NC24rs_v2 Standard_NC24rs_v3 * Procesor: Intel Broadwell (stejné)
Počet GPU: 4 (stejné)
Generování GPU: NVIDIA Pascal vs. Volta (+ 1 generace)
Paměť GPU (GiB per GPU): 16 (stejné)
vCPU: 24 (stejné)
GiB paměti: 448 (stejné)
Temp Storage (SSD) GiB: 2948 (stejné)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: ne (stejné)
Premium Storage: ano (+)
InfiniBand Interconnect: Ano (stejné)

Kroky migrace

Obecné změny

  1. Vyberte řadu a velikost pro migraci. Využijte cenovou kalkulačku pro další přehledy.

  2. Získat kvótu pro cílovou řadu virtuálních počítačů

  3. Změňte velikost * virtuálního počítače řady N Series na cílovou velikost. To může být také dobrý čas k aktualizaci operačního systému používaného imagí virtuálního počítače nebo k přijetí jedné z imagí HPC s ovladači předem nainstalovanými jako výchozí bod.

    Důležité

    Image virtuálního počítače mohla být vytvořená pomocí starší verze CUDA runtime, ovladače NVIDIA a (Pokud je k dispozici pouze pro velikosti s podporou RDMA) Mellanox OFED ovladače, než je vaše nová série virtuálních počítačů GPU vyžaduje, aby se mohla aktualizovat podle pokynů v dokumentaci k Azure.

Zásadní změny

Vybrat cílovou velikost pro migraci

Po posouzení aktuálního využití se rozhodněte, jaký typ virtuálního počítače GPU potřebujete. V závislosti na požadavcích na úlohy máte několik různých možností.

Poznámka

Osvědčeným postupem je vybrat velikost virtuálního počítače na základě nákladů i výkonu. Doporučení v této příručce jsou založená na obecném porovnání metrik výkonu 1:1 a nejbližší shody v jiné řadě virtuálních počítače. Než se rozhodnete o správné velikosti, získejte porovnání nákladů pomocí cenové kalkulačky Azure.

Důležité

Všechny starší velikosti NC, NC v2 a ND-Series jsou dostupné ve velikostech s více GPU, včetně velikosti 4 GPU s propojením InfiniBand a bez nich pro škálované, úzce propojené úlohy, které vyžadují vyšší výpočetní výkon než jeden virtuální počítač se 4 GPU, nebo jeden grafický procesor K80, P40 nebo P100. Přestože výše uvedená doporučení nabízejí přímočarou cestu vpřed, uživatelé těchto velikostí by měli zvážit dosažení svých výkonnostních cílů s výkonnější řadou virtuálních počítačů nvidia V100 založené na grafickém procesoru, jako jsou řady NC v3 a ND v2,které obvykle umožňují stejnou úroveň výkonu úloh s nižšími náklady a lepšími možnostmi správy tím, že poskytují výrazně vyšší výkon na GPU a na virtuální počítač, než se vyžaduje konfigurace s více GPU a více uzly. v uvedeném pořadí.

Získání kvóty pro cílovou rodinu virtuálních počítače

Postupujte podle příručky a požádejte o navýšení kvóty virtuálních procesorů podle rodiny virtuálních počítače. Vyberte cílovou velikost virtuálního počítače, kterou jste vybrali pro migraci.

Změna velikosti aktuálního virtuálního počítače

Velikost virtuálního počítače můžete změnit.

Další kroky

Úplný seznam velikostí virtuálních počítačů s podporou GPU najdete v tématu Přehled zrychleného výpočetního výkonu GPU.