Ez a cikk technikai áttekintést nyújt arról, hogy a Microsoft Azure használatával támogatja és fejleszti a kockázatrács-számítástechnikát a banki környezetben. A cikk az ajánlott rendszereket és a magas szintű architektúrákat ismerteti.
Ez a dokumentum megoldástervezőknek és bizonyos esetekben műszaki döntéshozóknak készült, akik részletes elemzést szeretnének a kockázatelemzéshez javasolt megoldásokról.
Bevezetés
A pénzügyi kockázatelemzési modelleket általában kötegelt feladatokként dolgozzák fel. Nagy számítási terheléssel rendelkeznek, ami nagy számítási teljesítményt, adathozzáférést és elemzést eredményez. A kockázatirács-számításokkal kapcsolatos igények gyakran idővel növekednek, és ezzel együtt nő a számítási erőforrások iránti igény.
Az Azure-ban elérhető termékek és szolgáltatások széles köre azt jelenti, hogy a legtöbb problémára több megoldás is létezik. Ez a cikk áttekintést nyújt azokról a technológiákról, mintákról és eljárásokról, amelyek a leghatékonyabbak a Microsoft Azure Batchet használó banki kockázatrács-számítási megoldások esetében.
Az Azure Batch egy ingyenes szolgáltatás, amely költséghatékony és biztonságos megoldásokat biztosít. A megoldások mind az infrastruktúrára, mind a kötegelt feldolgozás különböző szakaszaira szolgálnak, amelyeket általában kockázatirács-számítási modellekhez használnak. Az Azure Batch a hibrid hálózatok használatával vagy a teljes Batch-folyamat Azure-ba való áthelyezésével bővítheti, bővítheti vagy akár lecserélheti a helyszíni számítási erőforrások aktuális befektetéseit. Az adatok felfelé és lefelé haladhatnak a felhőből, vagy a helyszínen maradhatnak. Más adatokat számítási csomópontok is feldolgozhatnak egy felhőbe irányuló modellben, ha a helyszíni erőforrások alacsonyan futnak.
Azure Batch-futtatás anatómiája
Általában legalább két alkalmazás vesz részt a Batch-futtatásban. Egy alkalmazás, amely általában egy "főcsomóponton" fut, elküldi a feladatot a készletnek, és néha vezényli a számítási csomópontokat. A vezénylés az Azure Portalon is konfigurálható. A másik alkalmazást a számítási csomópontok feladatként futtatják (lásd az 1. ábrát).
A számítási csomópont alkalmazás elvégzi a kockázatmodellező fájlok párhuzamos feldolgozási feladatát. Több alkalmazás is telepíthető és futtatható a számítási csomópontokon.
Ezek az alkalmazások feltölthetők a Batch API-val, közvetlenül az Azure Portalon vagy a Batch Azure CLI-parancsaival.
1. ábra: Azure Batch grid-számítástechnika
Az Azure Batch-futtatás több logikai elemből áll. A 2. ábra egy kötegelt feladat logikai modelljét mutatja be. A készlet a Batch-futtatásban részt vevő virtuális gépek tárolója, és kiépíti a számítási csomópont virtuális gépeit. A készlet a számítási csomópontokon telepített alkalmazások tárolója is. A feladatok a készleten belül jönnek létre és futnak. A feladatokat a feladatok hajtják végre. A feladatok a feldolgozó alkalmazás futtatását jelentik, és parancssori utasítással hívhatók meg.
A munkavégző alkalmazás a létrehozásukkor települ a számítási csomópontra.
2. ábra: Logikai köteg koncepciómodellje
A feladat végrehajtásakor a készlet kiépít minden szükséges feldolgozó virtuális gépet, és telepíti a feldolgozó alkalmazásokat. A feladat feladatokat rendel ezekhez a számítási csomópontokhoz, amelyek parancssori utasítást (CLI) futtatnak. A CLI-szkript általában meghívja a telepített alkalmazásokat vagy szkripteket.
A Batch használata általában egy prototipikus mintát követ, amely a következőképpen írható le:
- Hozzon létre egy erőforráscsoportot, amely tartalmazza a Batch-objektumokat.
- Az erőforráscsoporton belül hozzon létre egy Batch-fiókot.
- Csatolt tárfiók létrehozása.
- Hozzon létre egy készletet, amelyben kiépítheti a feldolgozó virtuális gépeket.
- Töltse fel a számítási csomópont alkalmazást vagy szkripteket a készletbe.
- Hozzon létre egy feladatot, amely feladatokat rendel a készletben lévő virtuális gépekhez.
- Adja hozzá a feladatot a készlethez.
- Kezdje el a Batch futtatását.
- A feladat várólistára állítja a számítási csomópontokon futtatandó feladatokat.
- A számítási csomópontok a virtuális gépek elérhetővé válásával futtatják a feladatokat.
A folyamat ábrája a 3. ábrán látható.
3. ábra: Logikai köteg koncepciómodellje
A tevékenységek befejezése után hasznos lehet eltávolítani a számítási csomópontokat, hogy ne járjanak díjak, miközben nincsenek használatban. A törlésükhöz kódon vagy a portálon keresztül törölhető a tárolókészlet, amely eltávolítja a feldolgozó virtuális gépeket.
A Batch használatának megkezdésével kapcsolatos részletesebb útmutatókért az 5 perces rövid útmutatók több nyelven is végigvezetik a folyamaton, és azt is bemutatja, hogyan használhatja az Azure Portalt.
Kötegelt folyamatütemezés
Az Azure Batch beépített ütemezővel rendelkezik, így az egyes futtatásokat a portálon vagy API-kon keresztül lehet ütemezni. A Batch-feladatütemező több ütemezést is definiálhat több feladat kilövéséhez. Minden feladatnak megvannak a saját tulajdonságai, például hogy mit kell tennie a feladat indításakor és befejezésekor. A feladatütemezések beállíthatók ismétlődő időközönként vagy egyszeri futtatáskor.
Számos bankrács-számítástechnikai rendszer már rendelkezik saját ütemezési szolgáltatással. Lehetséges, hogy nem kell azonnal áthelyezni az ütemezőt az Azure-ba. Ez zökkenőmentesen működik, mert az Azure Batch manuálisan vagy SDK-val hívható meg. Ez a funkció lehetővé teszi az ütemezés helyszíni ütemezését, és lehetővé teszi a számítási feladatok Azure-beli feldolgozását.
A kötegelt feldolgozás előre meghatározott ütemezés szerint vagy igény szerint történhet. Mindkét esetben nincs szükség a számítási csomópont virtuális gépeinek életben tartására, ha nincsenek használatban. Több száz, ha nem ezres virtuálisgép-számítási csomópont használata esetén jelentős költségmegtakarítás érhető el a kiszolgálók üzembe helyezésének megszüntetésével, amikor befejezték az üzenetsorba helyezett feladatok futtatását.
Számítási csomópont alkalmazásai
A számítási csomópontoknak egy alkalmazásra van szükségük, amely egy feladat meghívásakor fut. Ezeket az alkalmazásokat a vállalat a feldolgozói feladatok elvégzéséhez írja, amikor a feldolgozókra telepíti őket. A banki forgatókönyvek kockázatirács-számítástechnikáiban ez az alkalmazás gyakran az adatok olyan formátumokká alakítását végzi, amelyek különösen alkalmasak az alsóbb rétegbeli elemzésekhez vagy más feldolgozáshoz.
Amikor megadja az alkalmazást a készletnek a számítási csomópontok közötti terjesztéshez, az alkalmazáscsomagba lesz feltöltve. Az alkalmazáscsomag lehet egy korábban feltöltött alkalmazáscsomag másik verziója. Egy számítási csomópontra több alkalmazáscsomag is telepíthető. A feladat tartalmazza a feldolgozó gépekre betöltendő alkalmazáscsomagokat.
Az alkalmazáscsomagok üzembe helyezését verzió szerint is felügyelheti. Ha egy alkalmazáscsomag több verzióját is betöltötték egy készletbe, a 4. ábrán látható módon egy adott verzió is kijelölhető a Batch-futtatásban való használatra. Erre szükség lehet auditkörnyezetekben, vagy ha a vállalat egy korábbi futtatást szeretne reprodukálni. Visszaállítási célokra is használható, ha hiba jelenik meg a feldolgozó alkalmazásban.
4. ábra: Számítási csomópont feladatalkalmazások verziószámozása
A rendszer .zip fájlként feltölt egy alkalmazáscsomagot a készletbe. A fájl tartalmazza az alkalmazás bináris fájljait és az alkalmazás futtatásához szükséges kiegészítő fájlokat. Az alkalmazáscsomagok két hatókörrel érhetők el. Az alkalmazáscsomagokat a készlet hatókörében vagy a tevékenységek hatókörében is kijelölheti.
Készletalkalmazás-csomagok
Ezek a csomagok a készlet minden számítási csomópontjában üzembe lesznek helyezve. Ha egy számítási csomópont virtuális gépét kiépítenek, újraindítják vagy újraépítenek, a készletalkalmazás-csomagok új példánya lesz telepítve, ha létezik frissített alkalmazás. Egy vagy több alkalmazáscsomag hozzárendelhető egy készlethez, ami azt jelenti, hogy a számítási csomópontok minden csomagot kijelölnek.
Feladatalkalmazás-csomagok
A tevékenységszintet célzó alkalmazáscsomagok csak a tevékenység futtatására ütemezett számítási csomópontokra vannak telepítve. A feladatalkalmazás-csomagok akkor használhatók, ha egy készletben egynél több feladat fut.
A feladatalkalmazások a készletszintű feladatok által előállított adatok összesítésekor hasznosak. Ezek az alkalmazások relevánsak lehetnek a kockázatirács-számítási forgatókönyvekben. A tevékenységalkalmazások például olyan kockázatszámításokat futtathatnak, amelyek a kockázatszámítási munkafolyamat későbbi részében felhasználandó adatokat hoznak létre.
Kötegelt feladatok skálázása
A bankok gyakran végeznek kockázatelemzési kötegeket hétvégén vagy éjszaka, amikor a számítási erőforrások kihasználatlanok. Bár ez a modell néhánynál működik, gyorsan kinőhető, így több tőkét igényel, hogy több feldolgozó gépet adjon hozzá a rácshoz.
Ha az Azure Batch-feladatok futtatása túl sokáig tart, vagy ha több számítási teljesítményt szeretne a Batch-futtatásokban, az Azure számos lehetőséget kínál.
- További számítási csomópont-gépek lefoglalása a vertikális felskálázáshoz.
- Nagyobb teljesítményű számítási csomópont-gépeket rendelhet a vertikális felskálázáshoz. Az Azure-beli gépeket úgy lehet kiépíteni, hogy megfeleljenek a magok és a memória nagy teljesítményigényének, sőt még a GPU számítási teljesítményének is.
Megjegyzés: A Microsoft HPC Pack és a Batch használata összetettebb modell, és ebben a cikkben nem tárgyaljuk.
Egy Batch-feldolgozó fürtben előfordulhat, hogy legalább két feldolgozó virtuális géppel rendelkezik. Vagy több ezer egyidejű feladat is futhat több ezer virtuálisgép-számítási csomóponton, több tízezer maggal. Minden virtuális gép felelős egyetlen feladat egyidejű futtatásáért. A készletben lévő virtuális gépek száma manuálisan vagy automatikusan skálázható, ahogy a terhelés növekedése vagy csökkentésekor konfigurálva van.
Felhőbe történő kipukkanás
Ha egy helyszíni rács számítási erőforrásai egy nagy elemzési feladat végrehajtása miatt alacsonyan futnak, a "felhőbe törve" több számítási csomópont hozzáadásával bővítheti ezeket az erőforrásokat az Azure-ban. A felhőbe való kipukkadás olyan modell, amelyben a magánfelhők vagy az infrastruktúra elosztja a számítási feladatokat a felhőkiszolgálók között, ha a helyszíni erőforrások iránti igény magas.
Ezek a számítási csomópontok előre konfigurálhatók Linux vagy Windows rendszerű virtuális gépekként, hogy kiépüljenek az Azure IaaS-platformján. Emellett a kiszolgálók kiéphetők és automatikusan konfigurálhatók úgy, hogy működjenek olyan meglévő befektetésekkel, mint a Tibco Gridserver és az IBM Symphony.
Képletek automatikus méretezése
Ez a rugalmasság az Azure Portalon vagy automatikus skálázási képletek használatával konfigurálható. Az automatikus skálázási képletek olyan szkriptek, amelyeket a Batch feldolgozási ütemezőbe töltenek fel a Batch viselkedésének részletes szabályozása érdekében. A számítási csomópontok készletének automatikus skálázása a csomópontok automatikus skálázási képletekkel való társításával történik.
Az alábbi példa egy automatikus skálázási képlet, amely az automatikus skálázást egy virtuális gépre irányítja, és igény szerint 50 virtuális gépet skáláz. A feladatok befejezésekor a virtuális gépek egyenként ingyenessé válnak, és az automatikus méretezési képlet csökkenti a készletet.
startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);
Egyéb skálázási technikák
Az automatikus skálázást az Enable-AzureBatchAutoScale PowerShell-parancsmag is engedélyezheti. Az Enable-AzureBatchAutoScale parancsmag lehetővé teszi a megadott készlet automatikus méretezését. Egy példa a következő.
- Az első parancs definiál egy képletet, majd menti a
$Formulaváltozóba. - A második parancs lehetővé teszi az automatikus skálázást a képlet használatával elnevezett
RiskGridPoolkészleten$Formula.
C:\> $Formula = ‘startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second?WT.mc_id=gridbanksg-docs-dastarr);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);’;
C:\> Enable-AzureBatchAutoScale -Id "RiskGridPool" -AutoScaleFormula $Formula -BatchContext $Context
A skálázás az Azure CLI-vel is elvégezhető a az batch pool resize paranccsal és az Azure Portalon keresztül.
Adattárolás és adatmegőrzés
Miután egy számítási csomópont betöltötte és feldolgozta az adatokat, az eredményül kapott kimeneti adatok tárolhatók egy adatbázisban. A kimeneti adatok tovább feldolgozhatók és elemezhetők vagy átalakíthatók a betöltéskor, a tárolás előtt, a megfelelő formátumok biztosítása érdekében az alsóbb rétegbeli feldolgozáshoz. A Microsoft Azure számos tárolási lehetőséget kínál. Az adattár technológiájának kiválasztása nagyban függ az alsóbb rétegbeli folyamatok elemzési és jelentéskészítési igényeitől.
Hibrid hálózat használata esetén előfordulhat, hogy az adattárolási cél a helyszínen van. Ha a Batchet hibrid hálózaton használja, a számítási csomópontok Azure-alapú tárolási hely nélkül írhatnak adatokat egy helyszíni adattárba. A feldolgozók az Azure File Storage-ba is írhatnak, amely lemezként csatlakoztatható egy helyszíni gépen. Ez a beállítás lehetővé teszi a helyszíni fájlokkal működő folyamatok egyszerű elérését.
Monitorozás és naplózás
A Batch-feladat jövőbeli futtatásainak optimalizálása érdekében adatokat kell rögzíteni az optimalizálási területek azonosításához. Ha például a feldolgozók cpu-kapacitás közelében futnak, a magok számítási csomópontokhoz való hozzáadása segíthet elkerülni a processzorhoz kötöttségeket, és a feladat gyorsabban befejeződhet. A Batch-feladatban futtatott összes alkalmazás saját jellemzőkkel rendelkezik, és a Batch-futtatások virtuális gépeinek optimalizálása eltérő lehet. Memóriaigényes feladatok esetén több memória foglalható le úgy, hogy a következő futtatás során másképpen konfigurálja a gépeket.
A naplózást a számítási csomópont és a rácsfej alkalmazás, vagy a Batch diagnosztikai naplózásával végzett feladat végezheti el. A Batch-futtatások teljesítményével kapcsolatos naplózási információk konfigurálhatók annak megállapításához, hogy mely területek javíthatók a jobb teljesítmény és a gyorsabb feladatkiteljesítés érdekében.
Egyéni Batch-figyelés és naplózás
A vezérlő alkalmazás- és számítási csomópont-alkalmazások létrehozhatják ezeket az adatokat, és további elemzés céljából tárolhatják azokat. A Batch-feladatok optimalizálásában hasznosnak talált adatok a következők:
- Az egyes tevékenységek kezdési és befejezési időpontjai
- Az egyes számítási csomópontok működésének és a tevékenységek futtatásának időpontja
- Az az idő, amikor az egyes számítási csomópontok életben maradnak, és nem futtatnak feladatokat
- A kötegelt feladat teljes futási ideje
Batch diagnosztikai naplózás
A vezérlő és a számítási csomópont alkalmazásainak használatával is kibocsáthatja a rendszerállapot-adatokat. A Batch diagnosztikai naplózása sok futtatási adatot rögzíthet. A Batch diagnosztikai naplózás alapértelmezés szerint nincs engedélyezve, és engedélyezni kell a Batch-fiók számára.
A Batch diagnosztikai naplózása jelentős mennyiségű adattal segíti a Batch-futtatások készítésével és optimalizálásával kapcsolatos problémákat. A feladatok és tevékenységek kezdési és befejezési időpontjai, az magok száma, a csomópontok teljes száma és sok más metrikák.
A Batch-naplózáshoz tárolóhelyre van szükség a kibocsátott naplókhoz, a Batch-futtatás által létrehozott események tárolásához, például a készlet létrehozásához, a feladatok végrehajtásához, a tevékenységek végrehajtásához stb. Amellett, hogy diagnosztikai naplóeseményeket tárol egy Azure Storage-fiókban, a Batch szolgáltatásnapló-események streamelhetők az Azure Event Hubs egy példányára. Az események ezután elküldhetők az Azure Log Analyticsbe.
Ezen adatok használatával optimalizálható az alapvető számítástechnika és a központi csomópont alkalmazása. Ez csökkentheti a költségeket, például a feldolgozó virtuális gépek gyorsabb leépítése miatt, amikor már nincs rájuk szükség, ahelyett, hogy a Batch-futtatás befejezésére várna.
Batch felügyeleti eszközök
Az Azure Portal egy Batch monitorozási irányítópultot biztosít, amely információkat jelenít meg a Batch-ről a feladatok futtatásakor, és még a fiókkvóta-használatról is. Számos Batch-feladatalkalmazáshoz elegendő.
Az Azure Portalon elérhető Batch felügyeleti és vizualizációs eszközök mellett egy ingyenes nyílt forráskódú eszköz, a Batch Explorer is elérhető a Batch kezeléséhez. Ez egy önálló ügyféleszköz az Azure Batch-alkalmazások létrehozásához, hibakereséséhez és monitorozásához. Töltse le a telepítőcsomagot Mac, Linux vagy Windows rendszerre.
Hálózati modellek
A kockázatelemzéshez gyakran több száz, ha nem ezres dokumentumot kell beemészteni a kockázati rács számítási folyamatába. Ezek a fájlok gyakran a helyszínen találhatók egy fájltárolóban, hálózati megosztásban vagy más adattárban. Ha Azure-alapú virtuális gépeket használ a fájlok eléréséhez és feldolgozásához, gyakran hasznos, ha a helyszíni hálózat zökkenőmentesen csatlakozik az Azure-hálózathoz, így a fájlhozzáférés egyszerű és gyors. Ez a megközelítés akár azt is jelentheti, hogy nincs szükség kódmódosításra a számítási csomópontokon végzett feldolgozást végző kódban.
Az Azure két modellt kínál a jelenlegi helyszíni rendszerek biztonságos és megbízható csatlakoztatásához az Azure-hoz, a Microsoft Azure ExpressRoute-hoz és a VPN Gatewayhez. Mindkettő biztonságos megbízható kapcsolatot kínál, bár a megvalósítás, a teljesítmény és más attribútumok között különbségek vannak.
Másik lehetőségként előfordulhat, hogy a kockázati rács számítási fő csomópontja a helyszínen él, és a Batch-feladatot a REST API-k vagy SDK-k segítségével hajtja végre .NET-ben és más nyelveken.
Az Azure és a helyszíni erőforrások közötti szakadék áthidalására más technikák is léteznek hibrid hálózati megoldás nélkül. Erről az alábbiakban talál további információt.
ExpressRoute
Az ExpressRoute a helyszíni vagy adatközponti hálózatot egy olyan privát kapcsolaton keresztül köti össze az Azure-sal, amelyet egy kapcsolati partner, például a jelenlegi internetszolgáltató támogat. Ez lehetővé teszi, hogy mindkét hálózat ugyanazt a hálózati példányt lássa, és zökkenőmentes hozzáférést biztosítson a hálózatok között. A hálózati integráció kritikus fontosságú, ha meglévő helyszíni rendszereket szeretne integrálni egy Azure-hálózattal, és az ExpressRoute a lehető leggyorsabb csatlakozási sebességet kínálja.
Az Azure ExpressRoute további díjszabási információi itt találhatók.
VPN Gateway
A VPN Gateway egy másik módszer a hálózat Azure-hoz való csatlakoztatására. Ennek a modellnek a hátránya az interneten keresztüli forgalom. A kapcsolat emiatt kevésbé rugalmas, és a hálózati sebesség nem éri el az ExpressRoute-belieket, de ez nem feltétlenül jelent akadályt a kockázatirács-számítástechnika szempontjából, mivel az adatfájlok olvasása általában gyors művelet.
A VPN Gateway további díjszabási információi itt találhatók.
Választási lehetőségek a kapcsolat részleteihez
A hálózat Azure-ba való kiterjesztéséhez alapvetően két modell létezik, az 5. ábrán látható módon.
- Virtuális átjáró – helyek közötti
- ExpressRoute – Exchange- vagy internetszolgáltató
5. ábra: Helyek közötti és ExpressRoute
Virtuális átjáró helyek közötti integrációja
A helyek közötti VPN Gateway a helyszíni hálózatot egy Azure-beli virtuális hálózathoz csatlakoztatja. Ez áthidalja a hálózatok közötti szakadékot, így lényegében ugyanazon hálózat részeivé válik, és kétirányú hozzáféréssel rendelkezik az erőforrásokhoz, kiszolgálókhoz és összetevőkhöz. Ez lehetővé teszi a kockázatrács számítási kötegelt feladatát futtató Azure-feldolgozó virtuális gépekről származó adatfájlok közvetlen elérését.
ExpressRoute-integráció
Az Azure-partnerhálózat-szolgáltató által megkönnyített ExpressRoute-kapcsolatok ugyanazokat az előnyöket valósítják meg, mint a helyek közötti kapcsolatok, de nagyobb sebességgel és megbízhatósággal.
További információ az ExpressRoute kapcsolati modelljeiről.
Kötegelt feldolgozás Azure-beli hibrid hálózat nélkül
Egy másik Batch-forgatókönyv az összes adatfájl feltöltése az Azure Storage-ba az Azure-alapú számítási gépek későbbi feldolgozásához. A fájltárolás és a Blob Storage valószínűleg alkalmas a kockázati rácsos számítási adatok tárolására.
Ebben a forgatókönyvben a feladatvezérlő és az összes számítási csomópont az Azure-ban él a 6. ábrán látható módon. A feldolgozott adatok valószínű célja egy Azure-adattár, amely előkészíti az Azure Machine-Tanulás-megoldások vagy más rendszerek további feldolgozását. Ez a további feldolgozás meghaladja a jelen cikk hatókörét.
6. ábra: Batch-feltöltés a végrehajtási életciklusba
Hibrid hálózati kapcsolati erőforrások
Előfordulhat, hogy több konfiguráció is alkalmazható az Ön helyzetében. Ha segítségre van szüksége a hálózati kapcsolat Azure-hoz való csatlakoztatásával kapcsolatos döntésekhez és architekturális útmutatáshoz, tekintse meg a mintát és a gyakorlatcsoportot Csatlakozás helyszíni hálózatot az Azure-hoz.
- Ez a cikk a VPN Gateway konfigurációs alternatíváit ismerteti.
- Az ExpressRoute kapcsolati modelljeinek ismertetése.
- Az ExpressRoute díjszabásának kiszámítása.
- A VPN Gateway díjszabásának kiszámítása.
Biztonsági szempontok
Létre lehet hozni egy Azure-beli virtuális hálózatot (VNet), és a készlet számítási csomópontjait. Ez további elkülönítési szintet biztosít a Batch-futtatásokhoz, és lehetővé teszi a Hitelesítést a Microsoft Entra ID-val. További információ: Készlethálózat konfigurációja.
A Batch-alkalmazások kétféleképpen hitelesíthetők a Microsoft Entra-azonosítóval:
Integrált hitelesítés. A Microsoft Entra-fiókokat használó kötegelt alkalmazások a fiók használatával erőforrásokat szerezhetnek az adattárakhoz és más erőforrásokhoz.
Szolgáltatásnév. A Microsoft Entra szolgáltatásnévi határozzák meg a felhasználók és alkalmazások hozzáférési szabályzatát és engedélyeit. A szolgáltatásnév az adott alkalmazáshoz kötött titkos kulcs használatával biztosít hitelesítést a felhasználóknak. Ez lehetővé teszi egy felügyelet nélküli alkalmazás titkos kulccsal történő hitelesítését. A szolgáltatásnév határozza meg az alkalmazás szabályzatát és engedélyeit, amelyek az alkalmazást képviselik az erőforrások futásidőben való elérésekor. További információt itt talál.
A Microsoft Entra ID-val történő kötegelt feldolgozás biztonságával kapcsolatos további információkért tekintse meg ezt a cikket.
A Batch szolgáltatás megosztott kulccsal is hitelesíthető. A hitelesítési szolgáltatáshoz két fejlécértéket kell hozzáadni a HTTP-kérelemhez, az adatokhoz és az engedélyezéshez. A megosztott kulcsos hitelesítésről itt talál további információt .
Költségoptimalizálás
Az Azure Batch használata díjmentes. Csak a felhasznált mögöttes erőforrásokért kell fizetnie, például a virtuális gépek üzemidejéért, a tárolásért és a hálózatkezelésért. A számítási csomópont virtuális gépei azonban továbbra is pénzbe kerülnek tétlenül ülve, ezért érdemes megszüntetni a gépeket, amikor már nincs rájuk szükség. Ez gyakran az őket tartalmazó készlet törlésével történik.
Készlet létrehozásakor megadhatja, hogy milyen típusú számítási csomópontokat és hányat szeretne. A számítási csomópontok két típusa a következő:
A dedikált számítási csomópontok a számítási feladatok számára vannak fenntartva. Drágábbak, mint az alacsony prioritású csomópontok, de garantáltan soha nem lesznek előszeretetűek.
Az alacsony prioritású számítási csomópontok kihasználják az Azure többletkapacitását a Batch-számítási feladatok futtatásához. Az alacsony prioritású csomópontok olcsóbbak óránként, mint a dedikáltak, és nagy számítási teljesítményt igénylő feladatok futtatását teszik lehetővé. További információ: Alacsony prioritású virtuális gépek használata a Batch szolgáltatással.
Dedikált és alacsony prioritású csomópontok lehetnek ugyanabban a készletben.
Az alacsony prioritású és dedikált számítási csomópontok díjszabását a Batch díjszabása írja le.
A Batch diagnosztikai naplózási szolgáltatás használatakor az Azure Storage-nak kibocsátott adatok költséges. Ezek a tárolási adatok, mint bármely más adat, és a díjszabásra hatással van a megtartott diagnosztikai adatok mennyisége.
Első lépések
Bár számos helyen lehet először megismerkedni egy olyan összetett tartománnyal, mint a Batch computing a kockázatrács-számítástechnikához, az alábbiakban néhány logikai kiindulópontot talál a Batch-technológia jobb megértéséhez.
Az Azure Batch dokumentációja remek kiindulópont. A dokumentáció portál-példákat, API-referenciákat és részletes oktatóanyagokat tartalmaz kód példákkal. Az Azure Batch-mintaalkalmazások a GitHubon is szabadon elérhetők.
Az alábbiakban néhány gyors oktatóanyag segítséget nyújt egy egyszerű alkalmazás létrehozásához és futtatásához kötegelt számítási feladatok létrehozásához és futtatásához. Az alkalmazás létrehozásának lehetőségei a következők:
- Batch .NET API
- Batch SDK for Python
- Batch SDK for Node.js
- Batch-kezelés a PowerShell-lel
- Batch-kezelés az Azure CLI-vel
Érdemes lehet elindítani egy megvalósíthatósági igazolási kezdeményezést. Mi lesz a megközelítése az Azure-ba történő adatbetöltéshez? Hibrid hálózatot használ, vagy SDK- vagy REST-felületen keresztül tölt fel adatokat? Ha hibrid hálózatot fontolgat, érdemes lehet elindítania egy próbaüzemet, hogy ezt a megoldást bevezhesse.
Értékelje ki a Batch számítási feladatainak méretét, majd válassza ki a megfelelő skálázási megoldást. Az automatikus méretezési képletek összetett ütemezési forgatókönyveket tesznek lehetővé, míg az egyszerűbb forgatókönyvek az Azure Portal használatával érhetők el.
Összetevők
Az Azure Batch képes nagy léptékű párhuzamos feldolgozási feladatok futtatására a felhőben.
A Microsoft Entra ID egy több-bérlős, felhőalapú címtár- és identitáskezelési szolgáltatás, amely egyetlen megoldásban egyesíti az alapvető címtárszolgáltatásokat, az alkalmazáshozzáférés-kezelést és az identitásvédelmet.
Az automatikus skálázási képletek a batch-feldolgozási ütemezőbe feltöltött szkriptek, amelyek a Batch skálázási viselkedésének részletes szabályozására használhatók.
A Batch Diagnosztikai naplózás az Azure Batch egyik funkciója, amely lehetővé teszi részletes napló létrehozását a Batch-futtatásokból és a létrehozott eseményekből. A naplók tárolása az Azure Storage-ban történik.
A Batch Explorer egy különálló alkalmazás a Batch monitorozásához és felügyeletéhez elérhető Windows, macOS és Linux rendszeren.
Az ExpressRoute egy nagy sebességű és megbízhatóságú hibrid hálózati megoldás a helyszíni és az Azure-hálózatokhoz való csatlakozáshoz.
Az Azure VPN Gateway egy hibrid hálózati megoldás, amely az interneten keresztül csatlakozik a helyszíni és az Azure-hálózatokhoz.
Összegzés
Ez a dokumentum áttekintést nyújtott az Azure Batch banki kockázatrács-számítástechnikához való használata során használt technikai megoldásokról és szempontokról. A cikk az Azure Batch definíciójától kezdve a hálózatkezelési lehetőségekig, sőt még a költségekkel kapcsolatos szempontokat is tárgyalt.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerzők:
- David Starr | Fő megoldások tervezője
Következő lépések
Ha az Azure Batch kockázatrács-számítástechnika szempontjából történő kiértékelésének előrehaladtát fontolgatja, ez a lap jó erőforrás az első lépésekhez. Mintaalapú oktatóanyagokat biztosít a párhuzamos fájlfeldolgozáshoz, amely a kockázatrács-számítástechnika velejárója. Az oktatóanyagok az Azure Portal, az Azure CLI, a .NET és a Python használatával érhetők el.
Termékdokumentáció: