Nagy teljesítményű feldolgozás (HPC) az Azure-ban

  • Cikk
  • 7 perc alatt elolvasható

A HPC bemutatása

A nagy teljesítményű számítástechnika (HPC), más néven "nagy számítási kapacitás" nagy mennyiségű CPU- vagy GPU-alapú számítógépet használ összetett matematikai feladatok megoldásához.

Számos iparág használ HPC-t a legnehezebb problémák megoldásához. Ilyenek többek között a következő számítási feladatok:

  • Genomics
  • Olaj- és gázszimulációk
  • Finance
  • Félvezetők tervezése
  • Mérnöki tevékenységek
  • Időjárás-modellezés

Miben más a felhőbeli HPC?

A helyszíni HPC-rendszerek és a felhőbeli rendszerek közötti egyik elsődleges különbség az erőforrások szükség szerinti dinamikus hozzáadása és eltávolítása. A dinamikus skálázás megszünteti a számítási kapacitás okozta szűk keresztmetszetet, és így lehetővé teszi, hogy az ügyfelek a feladataik követelményeinek megfelelően igazítsák az infrastruktúrájuk méretét.

A következő cikk további részleteket tartalmaz a dinamikus méretezési képességről.

Megvalósítási ellenőrzőlista

Amikor saját HPC-megoldást tervez megvalósítani az Azure-on, mindenképpen tekintse át a következő témaköröket:

  • A követelményei alapján válassza ki a megfelelő architektúrát
  • Legyen tisztában azzal, hogy melyik számítási lehetőségek felelnek meg számítási feladataihoz
  • Azonosítsa az igényeinek megfelelő tárolási megoldást
  • Döntse el, hogyan fogja kezelni az összes erőforrást
  • Optimalizálja alkalmazását a felhőhöz
  • Gondoskodjon az infrastruktúra védelméről

Infrastruktúra

A HPC-rendszerek létrehozásához számos infrastruktúra-összetevő szükséges. A számítás, a tárolás és a hálózatkezelés biztosítja a mögöttes összetevőket, függetlenül attól, hogyan kezeli a HPC számítási feladatait.

Példák HPC-architektúrákra

A HPC-architektúra számos különböző módon tervezhet és implementálható az Azure-ban. A HPC-alkalmazások több ezer számítási magra is felskálázhatók, kiterjeszthetik a helyszíni fürtöket, de 100%-ban natív felhőalapú megoldásként is futtathatók.

A következő forgatókönyvek a HPC-megoldások felépítésének néhány gyakori módját írják le.

  • Az ábra a HPC-architektúrát szemlélteti az Azure-ban a számítógéppel támogatott mérnöki szolgáltatásokhoz.

    CAE-szolgáltatások az Azure-ban

    SaaS-platformot biztosíthat CAE-projektekhez az Azure-ban.

  • Az ábrán a HPC példaarchitektúrája látható a számítási folyadékdinamikai szimulációkhoz az Azure-ban.

    Számítási folyadékdinamikai (CFD) szimulációk az Azure-ban

    Számítási folyadékdinamikai (CFD) szimulációkat hajthat végre az Azure-ban.

  • Az ábrán a 3D videómegjelenítéshez használható HPC-architektúra látható az Azure-ban.

    3D-s videórenderelés az Azure-ban

    Natív HPC számítási feladatok futtatása az Azure-ban az Azure Batch szolgáltatás használatával

Compute

Az Azure számos méretet kínál, amelyek a CPU & GPU-igényes számítási feladatokhoz is optimalizálva vannak.

CPU-alapú virtuális gépek

GPU-kompatibilis virtuális gépek

Az N-sorozatú virtuális gépeken NVIDIA GPU-k találhatók, amelyek nagy számítási igényű vagy nagy grafikai igényű alkalmazásokhoz vannak tervezve, például mesterséges intelligencia (AI) tanításához és vizualizációhoz.

Tárolás

A nagy méretű Batch és HPC számítási feladatok olyan adattárolási és hozzáférési igényekkel rendelkeznek, amelyek meghaladják a hagyományos felhőalapú fájlrendszerek képességeit. Számos megoldás kezeli a HPC-alkalmazások sebességét és kapacitásigényét az Azure-ban:

A Lustre, a GlusterFS és a BeeGFS azure-beli összehasonlításával kapcsolatos további információkért tekintse át az Azure e-könyv párhuzamos fájlrendszereit és az Azure Lustre blogját .

Hálózatkezelés

A H16r, H16mr, A8 és A9 virtuális gépek magas teljesítményű, háttérben futó RDMA-hálózathoz csatlakozhatnak. Ez a hálózat javíthatja a Microsoft MPI vagy az Intel MPI alatt futó szorosan összekapcsolt párhuzamos alkalmazások teljesítményét.

Kezelés

Önkiszolgáló

A HPC-rendszer létrehozása az Azure-ban jelentős rugalmasságot biztosít, de gyakran nagyon nagy karbantartási igényű.

  1. Állítsa be saját fürtkörnyezetét az Azure-beli virtuális gépeken vagy a virtuálisgép-méretezési csoportokban.
  2. Helyezzen üzembe vezető számításifeladat-kezelőket, infrastruktúrát és alkalmazásokat Azure Resource Manager-sablonok segítségével.
  3. Válasszon HPC és GPU virtuálisgép-méreteket, amelyek speciális hardvert és hálózati kapcsolatokat tartalmaznak az MPI és GPU számítási feladatokhoz.
  4. Nagy teljesítményű tároló hozzáadása I/O-igényes számítási feladatokhoz.

Hibrid és felhőalapú teljesítménynövelés

Ha rendelkezik egy meglévő helyszíni HPC-rendszerrel, amelyet az Azure-hoz szeretne csatlakoztatni, számos erőforrás áll rendelkezésre az első lépésekhez.

Először tekintse át a dokumentáció A helyszíni hálózat Azure-hoz való csatlakoztatásának lehetőségei című cikkét. Ezután a következő csatlakoztatási lehetőségekről szerezhet információt:

A hálózati kapcsolat biztonságos létrejötte után megkezdheti a felhőalapú számítási erőforrások igény szerinti használatát a meglévő számításifeladat-kezelő teljesítménynövelési képességeivel.

A Marketplace-ről származó megoldások

A Azure Marketplace számos számítási feladatkezelő érhető el.

Azure Batch

Az Azure Batch platformszolgáltatás lehetővé teszi, hogy hatékonyan futtasson nagyméretű párhuzamos és nagy teljesítményű feldolgozási (HPC) alkalmazásokat a felhőben. Az Azure Batch számításigényes munkák futtatását ütemezi virtuális gépek felügyelt készletében, és automatikusan képes méretezni a számítási erőforrásokat a feladatok igényeinek megfelelően.

A SaaS-szolgáltatók vagy -fejlesztők a Batch SDK-kal és -eszközökkel HPC-alkalmazásokat vagy tárolókhoz kapcsolódó számítási feladatokat integrálhatnak az Azure-ral, adatokat bocsáthatnak rendelkezésre az Azure-ba, valamint feladat-végrehajtási folyamatokat hozhatnak létre.

Azure CycleCloud

Az Azure CycleCloud nyújtja a legegyszerűbb módszert a HPC számítási feladatok bármilyen ütemezővel (például Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro vagy Symphony) történő kezelésére az Azure-ban.

A CycleCloud a következőket teszi lehetővé:

  • Teljes fürtök és más erőforrások (ütemező, számítási virtuális gépek, tárterület, hálózat és gyorsítótár) üzembe helyezése
  • A feladatok, az adatok és a felhő munkafolyamatainak összehangolása
  • Teljes körű szabályozás biztosítása a rendszergazdáknak afölött, hogy melyik felhasználók futtathatnak feladatokat, illetve hol és milyen költségek mellett tehetik meg ezt.
  • Fürtök testreszabása és optimalizálása speciális szabályzatok és irányítási funkciók, például költségvezérlés, Active Directory-integráció, monitorozás és jelentéskészítés segítségével
  • A jelenlegi feladatütemező és alkalmazások használata módosítás nélkül
  • Beépített, automatikus skálázási funkció és élesben kipróbált referenciaarchitektúrák számos HPC számítási feladathoz és iparághoz

Számításifeladat-kezelők

Az alábbiakban néhány példa látható az Azure-infrastruktúrában futtatható fürt- és számításifeladat-kezelőkre. Önálló fürtöket hozhat létre az Azure-beli virtuális gépeken, illetve adatlöketet vihet át rájuk egy helyszíni fürtről.

Tárolók

Néhány HPC számítási feladat kezeléséhez tárolók is használhatók. Az Azure Kubernetes Service-hez (AKS) hasonló szolgáltatásokkal egyszerűen helyezhetők üzembe a felügyelt Kubernetes-fürtök az Azure-ban.

Költségkezelés

A HPC költségeinek kezelése az Azure-on különböző módokon végezhető el. Mindenképpen tekintse át az Azure vásárlási lehetőségeit a cégének legmegfelelőbb módszer kiválasztásához.

Biztonság

Az Azure ajánlott biztonsági eljárásait az Azure Security dokumentációjában találja.

A Felhőalapú teljesítménynövelés szakaszban elérhető hálózati konfigurációk mellett érdemes lehet megvalósítani egy küllős konfigurációt a hálózati erőforrások elkülönítése érdekében:

HPC-alkalmazások

Egyéni vagy kereskedelmi HPC-alkalmazások futtatása az Azure-ban. Az ebben a szakaszban szereplő számos példa tesztelve lett, hogy hatékonyan lehessen méretezni további virtuális gépekkel vagy számítási magokkal. Az Azure Marketplace-en üzembe helyezésre kész megoldásokat talál.

Megjegyzés

Minden kereskedelmi alkalmazás szállítójánál érdeklődjön a felhőbeli futtatásra vonatkozó licencelési vagy egyéb korlátozásokról. Nem minden szállító kínál használatalapú licencet. Lehet, hogy a megoldásához licenckiszolgálót kell használnia a felhőben, vagy helyszíni licenckiszolgálóhoz kell csatlakoznia.

Mérnöki alkalmazások

Grafika és renderelés

AI és mély tanulás

MPI-szolgáltatók

Távoli vizualizáció

Gpu-alapú virtuális gépek futtatása az Azure-ban a HPC-kimenettel megegyező régióban a legalacsonyabb késés, hozzáférés és távoli vizualizáció érdekében az Azure Virtual Desktop, a Citrix vagy a VMware Horizon használatával.

Teljesítménymérések

Ügyfelek történetei

Számos olyan ügyfél van, aki nagy sikert ért el azzal, hogy az Azure-t használja a HPC számítási feladataihoz. Az alábbiakban néhány ilyen ügyfél esettanulmányát láthatja:

További fontos információk

  • A nagy méretű számítási feladatok futtatásának megkísérlése előtt győződjön meg arról, hogy megnövelte a vCPU-kvótát.

Következő lépések

A legújabb bejelentéseket az alábbi forrásanyagokban tekinti meg:

Microsoft Batch – példák

Ezek az oktatóanyagok részletesen ismertetik az alkalmazások Microsoft Batchben való futtatását: