Nagy teljesítményű feldolgozás (HPC) az Azure-ban

A HPC bemutatása

A nagy teljesítményű feldolgozás (HPC), más néven „Big Compute” számos CPU- vagy GPU-alapú számítógépet használ összetett matematikai feladatok megoldására.

Számos iparág használ HPC-t a legnehezebb problémák megoldásához. Ilyenek többek között a következő számítási feladatok:

  • Genomics
  • Olaj- és gázszimulációk
  • Finance
  • Félvezetők tervezése
  • Mérnöki tevékenységek
  • Időjárás-modellezés

Miben más a felhőbeli HPC?

A helyszíni HPC-rendszerek és a felhőbeli rendszerek közötti egyik fő különbség az, hogy az erőforrások szükség szerint dinamikusan hozzáadhatók és eltávolíthatók. A dinamikus skálázás megszünteti a számítási kapacitás okozta szűk keresztmetszetet, és így lehetővé teszi, hogy az ügyfelek a feladataik követelményeinek megfelelően igazítsák az infrastruktúrájuk méretét.

A következő cikk további részleteket tartalmaz a dinamikus méretezési képességről.

Megvalósítási ellenőrzőlista

Amikor saját HPC-megoldást tervez megvalósítani az Azure-on, mindenképpen tekintse át a következő témaköröket:

  • A követelményei alapján válassza ki a megfelelő architektúrát
  • Legyen tisztában azzal, hogy melyik számítási lehetőségek felelnek meg számítási feladataihoz
  • Azonosítsa az igényeinek megfelelő tárolási megoldást
  • Döntse el, hogyan fogja kezelni az összes erőforrást
  • Optimalizálja alkalmazását a felhőhöz
  • Gondoskodjon az infrastruktúra védelméről

Infrastruktúra

Számos infrastruktúra-összetevőre van szükség egy HPC-rendszer felépítéséhez. A HPC számítási feladatok választott kezelési módjától függetlenül a Compute, a Storage és a Networking adja meg az alapvető összetevőket.

Példák HPC-architektúrákra

Számos különböző módon tervezheti és valósíthatja meg HPC-architektúráját az Azure-on. A HPC-alkalmazások több ezer számítási magra is felskálázhatók, kiterjeszthetik a helyszíni fürtöket, de 100%-ban natív felhőalapú megoldásként is futtathatók.

A következő forgatókönyvek a HPC-megoldások felépítésének néhány gyakori módját írják le.

  • Diagram shows example HPC architecture for computer-aided engineering services on Azure.

    CAE-szolgáltatások az Azure-ban

    SaaS-platformot biztosíthat CAE-projektekhez az Azure-ban.

  • Diagram shows example HPC architecture for computational fluid dynamics simulations on Azure.

    Számítási folyadékdinamikai (CFD) szimulációk az Azure-ban

    Számítási folyadékdinamikai (CFD) szimulációkat hajthat végre az Azure-ban.

  • Diagram shows example HPC architecture for 3D video rendering on Azure.

    3D-s videórenderelés az Azure-ban

    Natív HPC számítási feladatok futtatása az Azure-ban az Azure Batch szolgáltatás használatával

Compute

Az Azure számos, nagy CPU- és GPU-igényű számítási feladatokhoz optimalizált méretet nyújt.

CPU-alapú virtuális gépek

GPU-kompatibilis virtuális gépek

Az N-sorozatú virtuális gépeken NVIDIA GPU-k találhatók, amelyek nagy számítási igényű vagy nagy grafikai igényű alkalmazásokhoz vannak tervezve, például mesterséges intelligencia (AI) tanításához és vizualizációhoz.

Tárolás

A nagy méretű Batch és HPC számítási feladatok olyan adattárolási és hozzáférési igényekkel rendelkeznek, amelyek meghaladják a hagyományos felhőalapú fájlrendszerek képességeit. Számos megoldás létezik az Azure-ban futó HPC-alkalmazások sebesség- és kapacitásigényeinek kezelésére

Az Azure-on a Lustre, a LuststerFS és a BeeGFS összehasonlításával kapcsolatos további információkért tekintse át a Parallel Files Systems on Azure e-könyvet és a Lustre on Azure blogot.

Hálózatkezelés

A H16r, H16mr, A8 és A9 virtuális gépek magas teljesítményű, háttérben futó RDMA-hálózathoz csatlakozhatnak. Ez a hálózat javíthatja a Microsoft MPI vagy az Intel MPI alatt futó szorosan összekapcsolt párhuzamos alkalmazások teljesítményét.

Kezelés

Önkiszolgáló

A HPC-rendszerek az alapoktól való felépítése az Azure-ban jelentős mértékű rugalmasságot nyújt, de gyakran nagyon sok karbantartást igényel.

  1. Állítsa be saját fürtkörnyezetét az Azure-beli virtuális gépeken vagy a virtuálisgép-méretezési csoportokban.
  2. Helyezzen üzembe vezető számításifeladat-kezelőket, infrastruktúrát és alkalmazásokat Azure Resource Manager-sablonok segítségével.
  3. Válasszon HPC és GPU virtuálisgép-méreteket, amelyek speciális hardvert és hálózati kapcsolatokat tartalmaznak az MPI és GPU számítási feladatokhoz.
  4. Adjon hozzá nagy teljesítményű tárolót az I/O-igényes számítási feladatok számára.

Hibrid és felhőalapú teljesítménynövelés

Ha van egy meglévő helyszíni HPC-rendszere, amelyhez csatlakozni szeretne az Azure-hoz, számos erőforrás segíthet az első lépésekben.

Először tekintse át a dokumentáció A helyszíni hálózat Azure-hoz való csatlakoztatásának lehetőségei című cikkét. Ezután a következő csatlakoztatási lehetőségekről szerezhet információt:

A hálózati kapcsolat biztonságos létrejötte után megkezdheti a felhőalapú számítási erőforrások igény szerinti használatát a meglévő számításifeladat-kezelő teljesítménynövelési képességeivel.

A Marketplace-ről származó megoldások

Az Azure Marketplace-en számos számításifeladat-kezelő érhető el.

Azure Batch

Az Azure Batch platformszolgáltatás lehetővé teszi, hogy hatékonyan futtasson nagyméretű párhuzamos és nagy teljesítményű feldolgozási (HPC) alkalmazásokat a felhőben. Az Azure Batch számításigényes munkák futtatását ütemezi virtuális gépek felügyelt készletében, és automatikusan képes méretezni a számítási erőforrásokat a feladatok igényeinek megfelelően.

A SaaS-szolgáltatók vagy -fejlesztők a Batch SDK-kal és -eszközökkel HPC-alkalmazásokat vagy tárolókhoz kapcsolódó számítási feladatokat integrálhatnak az Azure-ral, adatokat bocsáthatnak rendelkezésre az Azure-ba, valamint feladat-végrehajtási folyamatokat hozhatnak létre.

Azure CycleCloud

Az Azure CycleCloud nyújtja a legegyszerűbb módszert a HPC számítási feladatok bármilyen ütemezővel (például Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro vagy Symphony) történő kezelésére az Azure-ban.

A CycleCloud a következőket teszi lehetővé:

  • Teljes fürtök és más erőforrások (ütemező, számítási virtuális gépek, tárterület, hálózat és gyorsítótár) üzembe helyezése
  • A feladatok, az adatok és a felhő munkafolyamatainak összehangolása
  • Teljes körű szabályozás biztosítása a rendszergazdáknak afölött, hogy melyik felhasználók futtathatnak feladatokat, illetve hol és milyen költségek mellett tehetik meg ezt.
  • Fürtök testreszabása és optimalizálása speciális szabályzatok és irányítási funkciók, például költségvezérlés, Active Directory-integráció, monitorozás és jelentéskészítés segítségével
  • A jelenlegi feladatütemező és alkalmazások használata módosítás nélkül
  • Beépített, automatikus skálázási funkció és élesben kipróbált referenciaarchitektúrák számos HPC számítási feladathoz és iparághoz

Számításifeladat-kezelők

Az alábbiakban néhány példa látható az Azure-infrastruktúrában futtatható fürt- és számításifeladat-kezelőkre. Önálló fürtöket hozhat létre az Azure-beli virtuális gépeken, illetve adatlöketet vihet át rájuk egy helyszíni fürtről.

Tárolók

Néhány HPC számítási feladat kezeléséhez tárolók is használhatók. Az Azure Kubernetes Service-hez (AKS) hasonló szolgáltatásokkal egyszerűen helyezhetők üzembe a felügyelt Kubernetes-fürtök az Azure-ban.

Költségkezelés

A HPC költségeinek kezelése az Azure-on különböző módokon végezhető el. Mindenképpen tekintse át az Azure vásárlási lehetőségeit a cégének legmegfelelőbb módszer kiválasztásához.

Biztonság

Az Azure ajánlott biztonsági eljárásait az Azure Security dokumentációjában találja.

A Felhőalapú teljesítménynövelés szakaszban elérhető hálózati konfigurációk mellett érdemes lehet megvalósítani egy küllős konfigurációt a hálózati erőforrások elkülönítése érdekében:

HPC-alkalmazások

Egyéni vagy kereskedelmi HPC-alkalmazások futtatása az Azure-ban. Az ebben a szakaszban szereplő számos példa tesztelve lett, hogy hatékonyan lehessen méretezni további virtuális gépekkel vagy számítási magokkal. Az Azure Marketplace-en üzembe helyezésre kész megoldásokat talál.

Megjegyzés

Minden kereskedelmi alkalmazás szállítójánál érdeklődjön a felhőbeli futtatásra vonatkozó licencelési vagy egyéb korlátozásokról. Nem minden szállító kínál használatalapú licencet. Lehet, hogy a megoldásához licenckiszolgálót kell használnia a felhőben, vagy helyszíni licenckiszolgálóhoz kell csatlakoznia.

Mérnöki alkalmazások

Grafika és renderelés

AI és mély tanulás

MPI-szolgáltatók

Távoli vizualizáció

Teljesítménymérések

Ügyfelek történetei

Sok ügyfél ért el hatalmas sikereket az Azure HPC számítási feladatokhoz való használata során. Az alábbiakban néhány ilyen ügyfél esettanulmányát láthatja:

További fontos információk

  • A nagy méretű számítási feladatok futtatásának megkísérlése előtt győződjön meg arról, hogy megnövelte a vCPU-kvótát.

Következő lépések

A legújabb bejelentéseket itt találja:

Microsoft Batch – példák

Ezek az oktatóanyagok az alkalmazások Microsoft Batch-en való futtatásának részleteit tartalmazzák