Co je Azure Batch?
Azure Batch umožňuje efektivně spouštět v Azure rozsáhlé paralelní dávkové úlohy a úlohy vysokovýkonného výpočetního prostředí (HPC). Azure Batch vytvoří a spravuje fond výpočetních uzlů (virtuálních počítačů), nainstaluje aplikace, které chcete spouštět, a naplánuje spouštění úloh v uzlech. Neexistuje žádný software clusteru nebo plánovače úloh, který by bylo potřeba nainstalovat, spravovat ani škálovat. Místo toho ke konfiguraci, správě a monitorování úloh použijete rozhraní API a nástroje služby Batch, skripty příkazového řádku nebo web Azure Portal.
Vývojáři můžou službu Batch používat jako službu platformy k sestavování aplikací SaaS nebo klientských aplikací, které vyžadují provádění ve velkém měřítku. Pomocí služby Batch můžete například vytvořit službu, která spustí simulaci rizika Monte Carlo pro společnost s finančními službami, nebo službu pro zpracování mnoha obrázků.
Za používání služby Batch se neúčtují žádné další poplatky. Platíte jenom za spotřebované základní prostředky, jako jsou virtuální počítače, úložiště a sítě.
Porovnání služby Batch a dalších možností řešení HPC v Azure najdete v tématu Vysokovýkonné výpočetní prostředí (HPC) v Azure.
Spouštění paralelních úloh
Služba Batch pracuje s vnitřně paralelními aplikacemi úlohami (také známé jako „jednoduše paralelně zpracovatelné“). Tyto úlohy mají aplikace, které můžou běžet nezávisle, přičemž každá instance dokončí část práce. Když se aplikace spouští, můžou přistupovat k některým běžným datům, ale nekomunikují s jinými instancemi aplikace. Vnitřně paralelní úlohy proto můžou běžet ve velkém měřítku, které závisí na množství výpočetních prostředků dostupných pro souběžné spouštění aplikací.
Některé příklady vnitřně paralelních úloh, které můžete použít ve službě Batch:
- Modelování finančních rizik pomocí simulací Monte Carlo
- Vykreslování vizuálních efektů a 3D obrázků
- Analýza a zpracování obrázků
- Překódování médií
- Genetická sekvenční analýza
- Optické rozpoznávání znaků (OCR)
- Příjem dat, zpracování a operace extrakce, transformace a načítání (ETL)
- Provádění testů softwaru
Službu Batch můžete také použít ke spouštění úzce propojených úloh, kdy spuštěné aplikace spolu musí komunikovat, a ne nezávisle. Vysoce provázané aplikace běžně používají rozhraní API MPI (Message Passing Interface). Ve službě Batch můžete spouštět vysoce provázané úlohy s využitím rozhraní Microsoft MPI nebo Intel MPI. Velikosti virtuálních počítačů specializované pro vysokovýkonné výpočetní prostředí (HPC) a GPU umožňují zvýšit výkon aplikací.
Některé příklady vysoce propojených úloh:
- Analýza konečných prvků
- Dynamika tekutin
- Trénování AI ve více uzlech
Řada vysoce propojených úloh může při použití služby Batch běžet paralelně. Můžete například provést více simulací kapaliny protékající potrubím s různou šířkou potrubí.
Další možnosti služby Batch
Batch podporuje úlohy vykreslování ve větším měřítku v nástrojích, jako jsou Autodesk Maya, 3ds Max, Arnold a V-Ray.
Úlohy služby Batch můžete také spouštět v rámci rozsáhlejšího pracovního postupu transformace dat v Azure spravovaného nástroji, jako je Azure Data Factory.
Jak to funguje
Běžný scénář využití služby Batch zahrnuje horizontální navýšení kapacity vnitřně paralelních úloh, jako je vykreslování obrázků ve 3D scénách, ve fondu výpočetních uzlů. Tento fond může být vaší "vykreslovací farmou", která poskytuje desítky, stovky nebo dokonce tisíce jader pro vaši úlohu vykreslování.
Následující diagram znázorňuje kroky v běžném pracovním postupu služby Batch s klientskou aplikací nebo hostovanou službou, která službu Batch používá ke spouštění paralelních úloh.
| Krok | Popis |
|---|---|
| 1. Nahrajte vstupní soubory a aplikace pro zpracování těchto souborů do účtu služby Azure Storage. | Vstupní soubory mohou být jakákoli data, která vaše aplikace zpracuje, třeba data finančního modelování nebo videosoubory k převodu. Soubory aplikací můžou zahrnovat skripty nebo aplikace zpracovávající data, třeba převaděč médií. |
| 2. Vytvořte ve svém účtu Batch fond výpočetních uzlů Batch, úlohu pro spuštění úlohy ve fondu a úkoly v úloze. | Výpočetní uzly jsou virtuální počítače, které provádějí vaše úlohy. Zadejte vlastnosti fondu, například počet a velikost uzlů, image virtuálního počítače s Windows nebo Linuxem a aplikaci, která se má nainstalovat, když se uzly připojí k fondu. Spravujte náklady a velikost fondu pomocí spotových virtuálních počítačů Azure nebo automatického škálování počtu uzlů podle toho, jak se mění zatížení. Když do úlohy přidáte úkoly, služba Batch automaticky naplánuje úkoly k provedení ve výpočetních uzlech ve fondu. Každý úkol používá aplikaci, kterou jste nahráli, ke zpracování vstupních souborů. |
| 3. Stažení vstupních souborů a aplikací do služby Batch | Před spuštěním každého úkolu si může stáhnout vstupní data, která bude zpracovávat, do přiřazeného uzlu. Pokud ještě není aplikace v daných uzlech fondu nainstalovaná, může se stáhnout v této fázi. Po dokončení stahování ze služby Azure Storage se v přiřazeném uzlu spustí příslušný úkol. |
| 4. Monitorování provádění úkolů | Když se úkoly spouštějí, můžete ve službě Batch zadat dotaz na monitorování postupu úloh a jejich úkolů. Vaše klientská aplikace nebo služba komunikuje se službou Batch přes HTTPS. Vzhledem k tomu, že můžete monitorovat tisíce úloh spuštěných v tisících výpočetních uzlů, ujistěte se, že se služby Batch dotazujete efektivně. |
| 5. Nahrání výstupu úkolu | Úkoly mohou po dokončení nahrát data svých výsledků do služby Azure Storage. Soubory můžete také načíst přímo ze systému souborů na výpočetním uzlu. |
| 6. Stažení výstupních souborů | Když funkce monitorování zjistí, že jsou úkoly ve vaší úloze dokončené, klientská aplikace nebo služba může stáhnout výstupní data k dalšímu zpracování. |
Mějte na paměti, že výše popsaný pracovní postup je jen jedním ze způsobů, jak používat službu Batch, a existuje mnoho dalších funkcí a možností. Například můžete v každém výpočetním uzlu paralelně provádět několik úkolů. Nebo můžete použít úkoly přípravy a dokončení úloh k přípravě uzlů pro úlohy a pak je vyčistit.
Přehled funkcí, jako jsou fondy, uzly, úlohy a úkoly, najdete v tématu Pracovní postup služby Batch a zdroje informací. Prohlédněte si také nejnovější aktualizace služby Batch.
Rezidence dat v oblasti
Azure Batch nepřesouvají ani neukládají zákaznická data mimo oblast, ve které jsou nasazená.
Další kroky
Začněte pracovat se službou Azure Batch pomocí jedné z těchto šablon Rychlý start: