Mi az Azure Batch?
Az Azure Batch használatával hatékonyan futtathat nagy méretű párhuzamos és nagy teljesítményű feldolgozási (high-performance computing, HPC) Batch-feladatokat az Azure-ban. Az Azure Batch egy számítási csomópontokból (virtuális gépekből) álló készletet hoz létre és felügyel, telepíti a futtatni kívánt alkalmazásokat, és ütemezi a feladatok csomópontokon való futtatását. Nincs fürt- vagy feladatütemező szoftver a telepítéshez, kezeléshez vagy skálázáshoz. Ehelyett Batch API-k és -eszközök, parancssori szkriptek vagy az Azure Portal használatával konfigurálhatók, kezelhetők és monitorozhatók a feladatok.
A fejlesztők a Batch platformszolgáltatásként való használatával olyan SaaS-alkalmazásokat vagy ügyfélalkalmazásokat készíthetnek, amelyek esetében nagy mennyiségű végrehajtás szükséges. Létrehozhat például egy szolgáltatást a Batch használatával egy Monte Carlo-kockázatszimuláció futtatásához egy pénzügyi szolgáltató vállalat számára, vagy egy szolgáltatáshoz, amely számos rendszerképet dolgoz fel.
A Batch felár nélkül használható. Csak a mögöttes erőforrások, például a virtuális gépek, a tárolók és a hálózatkezelés használatáért kell fizetnie.
A Batch és az Azure egyéb HPC-megoldási lehetőségeinek összehasonlításáért lásd: Nagy teljesítményű számítástechnika (HPC) az Azure-ban.
Párhuzamos számítási feladatok futtatása
A Batch nagyszerűen működik a belsőleg párhuzamos (más néven „zavaróan párhuzamos”) számítási feladatokkal. Ezek a számítási feladatok olyan alkalmazásokkal rendelkeznek, amelyek egymástól függetlenül futtathatók, és mindegyik példány elvégzi a munka egy részét. Az alkalmazások végrehajtásakor hozzáférhetnek néhány gyakori adathoz, de nem kommunikálnak az alkalmazás más példányaival. A belsőleg párhuzamos számítási feladatok ezért nagy méretben futtathatók, amit csupán az alkalmazások egyidejű futtatásához rendelkezésre álló számítási erőforrások mennyisége határoz meg.
Néhány példa a Batchbe bevonható belsőleg párhuzamos számítási feladatokra:
- Pénzügyi kockázatmodellezés Monte Carlo-szimuláció használatával
- VFX és 3D képek renderelése
- Képelemzés és -feldolgozás
- Médiakonvertálás
- génszekvenciák elemzése,
- Optikai karakterfelismerés (OCR)
- Adatbetöltés, -feldolgozás és ETL-műveletek
- Szoftvertesztek végrehajtása
A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak kommunikálniuk kell egymással ahelyett, hogy egymástól függetlenül kellene futniuk. A szorosan összekapcsolt alkalmazások általában a Message Passing Interface (MPI) API-t használják. A szorosan összekapcsolt számítási feladatokat a Batchben a Microsoft MPI vagy az Intel MPI használatával futtathatja. Az alkalmazások teljesítményét specializált HPC és GPU-optimalizált virtuálisgép-méretek használatával javíthatja.
Néhány példa szorosan összekapcsolt számítási feladatokra:
- Végeselem-elemzés
- Folyadékdinamika
- Több csomópontos MI-betanítás
Számos szorosan összekapcsolt feladat futtatható párhuzamosan a Batch használatával. Például több szimulációt is végrehajthat egy különböző csőszélességű csőben áthaladó folyadékról.
A Batch további képességei
A Batch támogatja a nagy méretű renderelési számítási feladatokat az Autodesk Maya, a 3ds Max, az Arnold, a V-Ray és az egyéb renderelő eszközök használatával.
A Batch feladatokat nagyobb, adatok átalakítását végző Azure-munkafolyamatok részeként is futtathatja az Azure Data Factory vagy hasonló eszközök felügyelete alatt.
Működés
Egy általános Batch-forgatókönyv a belsőleg párhuzamos munkák (például egy 3D jelenet képeinek renderelése) horizontális felskálázása a számítási csomópontok készletén. Ez a készlet lehet a "renderelési farm", amely több tíz, több száz vagy akár több ezer magot biztosít a renderelési feladathoz.
Az alábbi diagram egy általános Batch-munkafolyamat lépéseit mutatja be, ahol az ügyfélalkalmazás vagy az üzemeltetett szolgáltatás Batch szolgáltatással futtat egy párhuzamos számítási feladatot.
| Lépés | Description |
|---|---|
| 1. Töltse fel a bemeneti fájlokat és az alkalmazásokat , hogy feldolgozhassa ezeket a fájlokat az Azure Storage-fiókjába. | A bemeneti fájlok az alkalmazás által feldolgozható bármilyen adatok lehetnek, például pénzügyi modellezési adatok vagy átkódolni kívánt videofájlok. Az alkalmazásfájlok az adatokat feldolgozó szkriptek vagy alkalmazások lehetnek, például adathordozó-átkódolók. |
| 2. Hozzon létre egy Batch-készletet a számítási csomópontokról a Batch-fiókban, egy feladatot , amellyel futtathatja a számítási feladatot a készletben, valamint a feladat tevékenységeit . | A számítási csomópontok a feladatokat végrehajtó virtuális gépek. Adja meg a készlet tulajdonságait, például a csomópontok számát és méretét, egy Windows vagy Linux rendszerű virtuálisgép-lemezképet, valamint egy alkalmazást, amely akkor telepíthető, amikor a csomópontok csatlakoznak a készlethez. A készlet költségének és méretének kezelése Az Azure Spot virtuális gépek használatával vagy a csomópontok számának automatikus skálázásával a számítási feladat változásakor. Amikor tevékenységeket ad hozzá egy munkához, a Batch szolgáltatás automatikusan ütemezi a tevékenységeket a készletben lévő számítási csomópontokon. Mindegyik tevékenység a bemeneti fájlok feldolgozásához feltöltött alkalmazást használja. |
| 3. Töltse le a bemeneti fájlokat és az alkalmazásokat a Batchbe | Az egyes feladatok végrehajtása előtt letöltheti a feldolgozni kívánt bemeneti adatokat a hozzárendelt csomópontra. Ha az alkalmazás még nincs telepítve a készlet csomópontjain, helyette ide tölthető le. Amikor az Azure Storage-ból való letöltés befejeződött, a tevékenység lefut a hozzá rendelt csomóponton. |
| 4. Tevékenység végrehajtásának monitorozása | A tevékenységek futtatásakor lekérdezheti a Batch szolgáltatást a feladat és a tevékenységei állapotának figyeléséhez. Az Ön által készített ügyfélalkalmazások vagy szolgáltatások HTTPS használatával kommunikálhatnak a Batch szolgáltatással. Mivel előfordulhat, hogy számítási csomópontok ezrein futó több ezer tevékenységet kell figyelnie, gondoskodjon arról, hogy hatékonyan kérdezi le a Batch szolgáltatást. |
| 5. Feladat kimenetének feltöltése | A tevékenységek befejeződésekor a tevékenységek feltöltik eredményadataikat az Azure Storage-ba. Közvetlenül a számítási csomóponton lévő fájlrendszerből is lekérhet fájlokat. |
| 6. Kimeneti fájlok letöltése | Amikor a megfigyelés észleli, hogy a feladat tevékenységei befejeződtek, az ügyfélalkalmazás vagy szolgáltatás letöltheti a kimeneti adatokat további feldolgozás céljából. |
Ne feledje, hogy a fent leírt munkafolyamat csak egy módja a Batch használatának, és számos más funkció és lehetőség is rendelkezésre áll. Futtathat például párhuzamosan több tevékenységet mindegyik számítási csomóponton, Vagy a feladat-előkészítési és -befejezési feladatokkal előkészítheti a csomópontokat a feladatokhoz, majd később törölheti őket.
Az olyan funkciók áttekintését, mint a készletek, csomópontok, feladatok és feladatok áttekintése a Batch szolgáltatás munkafolyamatában és erőforrásaiban található. Lásd továbbá a Batch szolgáltatás legújabb frissítéseit.
Régión belüli adattárolás
Azure Batch nem helyezi át és nem tárolja az ügyféladatokat az üzembe helyezési régióból.
Következő lépések
Ismerkedjen az Azure Batch használatának első lépéseivel az alábbi rövid útmutatókkal: