Co je Azure Batch?
Azure Batch umožňuje efektivně spouštět v Azure rozsáhlé paralelní dávkové úlohy a úlohy vysokovýkonného výpočetního prostředí (HPC). Azure Batch vytvoří a spravuje fond výpočetních uzlů (virtuálních počítačů), nainstaluje aplikace, které chcete spouštět, a naplánuje spouštění úloh v uzlech. Pro instalaci, správu nebo škálování není k dispozici žádný software pro cluster ani plánovač úloh. Místo toho ke konfiguraci, správě a monitorování úloh použijete rozhraní API a nástroje služby Batch, skripty příkazového řádku nebo web Azure Portal.
Vývojáři můžou službu Batch používat jako službu platformy k sestavování aplikací SaaS nebo klientských aplikací, které vyžadují provádění ve velkém měřítku. Pomocí služby Batch můžete například vytvořit simulaci rizika Monte Carlo pro společnost finančních služeb nebo službu pro zpracování mnoha obrázků.
Za používání služby Batch se neúčtují žádné další poplatky. Platíte jenom za spotřebované základní prostředky, jako jsou virtuální počítače, úložiště a sítě.
Porovnání mezi službou Batch a dalšími možnostmi řešení prostředí HPC v Azure najdete v tématu Vysoko performance Computing (HPC) v Azure.
Spouštění paralelních úloh
Služba Batch pracuje s vnitřně paralelními aplikacemi úlohami (také známé jako „jednoduše paralelně zpracovatelné“). Tyto úlohy mají aplikace, které mohou běžet nezávisle, a každá instance dokončí část práce. Při spouštění aplikací můžou získat přístup k některým běžným datům, ale nekomunikují s jinými instancemi aplikace. Vnitřně paralelní úlohy proto můžou běžet ve velkém měřítku, které závisí na množství výpočetních prostředků dostupných pro souběžné spouštění aplikací.
Některé příklady vnitřně paralelních úloh, které můžete použít ve službě Batch:
- Modelování finančních rizik pomocí simulací Monte Carlo
- Vykreslování vizuálních efektů a 3D obrázků
- Analýza a zpracování obrázků
- Překódování médií
- Genetická sekvenční analýza
- Optické rozpoznávání znaků (OCR)
- Příjem dat, zpracování a operace extrakce, transformace a načítání (ETL)
- Provádění testů softwaru
Pomocí služby Batch můžete také spouštět těsně ssobě ované úlohy, ve kterých aplikace, které spustíte, potřebují komunikovat mezi sebou, a ne nezávisle na sobě. Vysoce provázané aplikace běžně používají rozhraní API MPI (Message Passing Interface). Ve službě Batch můžete spouštět vysoce provázané úlohy s využitím rozhraní Microsoft MPI nebo Intel MPI. Velikosti virtuálních počítačů specializované pro vysokovýkonné výpočetní prostředí (HPC) a GPU umožňují zvýšit výkon aplikací.
Některé příklady vysoce propojených úloh:
- Analýza konečných prvků
- Dynamika tekutin
- Trénování AI ve více uzlech
Řada vysoce propojených úloh může při použití služby Batch běžet paralelně. Můžete například provést několik simulací kapaliny protékající kanálem s různou šířkou kanálu.
Další možnosti služby Batch
Batch podporuje úlohy vykreslování ve větším měřítku v nástrojích, jako jsou Autodesk Maya, 3ds Max, Arnold a V-Ray.
Úlohy služby Batch můžete také spouštět v rámci rozsáhlejšího pracovního postupu transformace dat v Azure spravovaného nástroji, jako je Azure Data Factory.
Jak to funguje
Běžný scénář využití služby Batch zahrnuje horizontální navýšení kapacity vnitřně paralelních úloh, jako je vykreslování obrázků ve 3D scénách, ve fondu výpočetních uzlů. Tento fond může být vaší "vykreslovací farmou", která vaší úlohu vykreslování poskytuje desítky, stovky nebo dokonce tisíce jader.
Následující diagram znázorňuje kroky v běžném pracovním postupu služby Batch s klientskou aplikací nebo hostovanou službou, která službu Batch používá ke spouštění paralelních úloh.
| Krok | Description |
|---|---|
| 1. Nahrajte vstupní soubory a aplikace ke zpracování těchto souborů do Azure Storage účtu. | Vstupní soubory mohou být jakákoli data, která vaše aplikace zpracuje, třeba data finančního modelování nebo videosoubory k převodu. Soubory aplikací můžou zahrnovat skripty nebo aplikace zpracovávající data, třeba převaděč médií. |
| 2. Ve svém účtu Batch vytvořte fond výpočetních uzlů Batch, úlohu pro spuštění úlohy ve fondu a úkoly v úloze. | Výpočetní uzly jsou virtuální počítače, které spouští vaše úkoly. Zadejte vlastnosti fondu, například počet a velikost uzlů, image virtuálního počítače s Windows nebo Linuxem a aplikaci, která se má nainstalovat, když se uzly připojí k fondu. Spravujte náklady a velikost fondu pomocí virtuálních počítače s nízkou prioritou nebo automatickým škálováním počtu uzlů podle změn úloh. Když do úlohy přidáte úkoly, služba Batch automaticky naplánuje úkoly k provedení ve výpočetních uzlech ve fondu. Každý úkol používá aplikaci, kterou jste nahráli, ke zpracování vstupních souborů. |
| 3. Stažení vstupních souborů a aplikací do služby Batch | Před provedením každého úkolu může stáhnout vstupní data, která bude zpracovávat, do přiřazeného uzlu. Pokud ještě není aplikace v daných uzlech fondu nainstalovaná, může se stáhnout v této fázi. Po dokončení stahování ze služby Azure Storage se v přiřazeném uzlu spustí příslušný úkol. |
| 4. Monitorování provádění úkolů | Když se úkoly spouštějí, můžete ve službě Batch zadat dotaz na monitorování postupu úloh a jejich úkolů. Vaše klientská aplikace nebo služba komunikuje se službou Batch přes HTTPS. Vzhledem k tomu, že můžete monitorovat tisíce úloh spuštěných v tisících výpočetních uzlů, ujistěte se, že se služby Batch dotazujete efektivně. |
| 5. Odeslání výstupu úkolu | Úkoly mohou po dokončení nahrát data svých výsledků do služby Azure Storage. Soubory můžete také načíst přímo ze systému souborů na výpočetním uzlu. |
| 6. Stažení výstupních souborů | Když funkce monitorování zjistí, že jsou úkoly ve vaší úloze dokončené, klientská aplikace nebo služba může stáhnout výstupní data k dalšímu zpracování. |
Mějte na paměti, že výše popsaný pracovní postup je pouze jedním ze způsobů použití služby Batch a existuje mnoho dalších funkcí a možností. Například můžete v každém výpočetním uzlu paralelně provádět několik úkolů. Nebo můžete pomocí úkolů přípravy a dokončení úlohy připravit uzly na úlohy a potom je vyčistit.
Přehled funkcí, jako jsou fondy, uzly, úlohy a úkoly, najdete v tématu Pracovní postup a prostředky služby Batch. Prohlédněte si také nejnovější aktualizace služby Batch.
Rezidence dat v oblasti
Azure Batch nepřesouvuje ani neukládá zákaznická data mimo oblast, ve které je nasazená.
Další kroky
Začněte pracovat se službou Azure Batch pomocí jedné z těchto šablon Rychlý start: