Felhőben üzembe helyezett HPC-fürt

Pipelines
Blob Storage
Batch
Monitor

Solution Idea

Ha szeretné látni, hogyan bővítjük ki ezt a cikket olyan további információkkal, mint a lehetséges esetek, az alternatív szolgáltatások, az implementációval kapcsolatos megfontolások vagy a díjszabási útmutató, GitHub visszajelzéssel!

A nagy teljesítményű számítási (HPC-) alkalmazások több ezer számítási magra skálázhatóak, kiterjesztik a helyszíni nagy számítási kapacitást, vagy 100%-os natív felhőalapú megoldásként futtathatók. Ez a HPC-megoldás az Azure által felügyelt szolgáltatásra épül:Azure Batch, és egy Azure Pipelines-feladat indítja el. Ezek a szolgáltatások magas rendelkezésre állású környezetben futnak, javításokkal és támogatással, így Ön a megoldásra összpontosíthat az azok által futtatott környezet helyett.

Architektúra

Architektúradiagram Az architektúra SVG-fájlját töltheti le.

A megoldás a következő lépésekből áll:

  1. Az Azure Pipelines elindít egy folyamatot, amely lefordítja a csapat kódprojektjét, és végrehajtható fájlként tárolja azt az Azure Storage
  2. A folyamat feladatának folytatódása érdekében betölt néhány feldolgozási adatot a tárfiókba.
  3. Végül az Azure Pipelines azt kéri, hogy Azure Batch szolgáltatás kezdeményezze a feldolgozási feladatot a folyamat befejezésével.
  4. A Azure Batch szolgáltatás átmásolja a program végrehajtható és bemeneti adatait a tárolóból, és hozzárendeli a számítási csomópontok készletéhez
  5. A Batch szolgáltatás elvégzi a készlet feladat- és tevékenységkezelését, majd újrapróbálja vagy újra hozzárendeli a tevékenységeket, miközben a csomópontok befejezik a munkájukat.
  6. A számítási csomópontok működésével a Azure Monitor gyűjti a teljesítményadatokat a készletből (CPU, memória, lemez I/O) és naplófájlból. A csapat tanulmányozhatja ezt a telemetriát, hogy a jövőben jobb feladatokat építsen.
  7. Amikor a számítási csomópontok befejezik a tevékenységeket, a programadatokat visszakik az Azure Storage a csapat felülvizsgálatra.

Összetevők

  • Az Azure Pipelines kódprojekteket hoz létre és tesztel, és elindítja a HPC-feladatokat a Azure Batch szolgáltatásban.
  • Az Azure Storage HPC-adatokat és a feladatban használt végrehajtható fájlokat tartalmaznak.
  • Azure Batch nagy számú csomópontra ütemezi a feladatokat és tevékenységeket, és felügyeli az összes számítási erőforrást.
  • Az Azure Virtual Machines, akik a számítási feladatokat végrehajtva, munkamunkásként futnak.
  • Virtual Network ip-kapcsolatot biztosít a számítási erőforrások és a többi felhőszolgáltatás között, a natív Infiniband- vagy RDMA-kommunikáción túl.
  • Azure Monitor gyűjti a felhőerőforrások teljesítménymetrikákat és naplókat a jelentésekhez, a riasztáshoz és az automatikus válaszadáshoz.

Megfontolandó szempontok

A Batch számítási készletei nem tartalmazhatnak kereskedelmi hardvert. Speciális, GPU-processzorral és fejlett hálózattal is használható virtuális gépeket Azure Batch. GPU-optimalizált virtuális gépek NVIDIA Tesla GPU-kkal és nagy átviteli sebességű Infiniband hálózattal érhetők el.

A Batch számítási készletei automatikusan skálázásttudnak, ami a készletben lévő csomópontok számának növekedésével és mennyiségének növekedésével együtt csökken. Ahelyett, hogy a készlet fel nem használt tagjaiért fizet, az automatikus skálázás csökkentheti a feladatok számítási költségeit csak a tevékenységeket végző erőforrásokra.

Díjszabás

A forgatókönyv futtatásával kapcsolatos költségek feltárására használja az Azuredíjkalkulátorát, amely előre konfigurálja az összes Azure-szolgáltatást.

Azure Batch ingyenes szolgáltatás, és az ügyfelek csak a mögöttes virtuális gépért, a tárterületért és a hálózati költségekért fizetnek. Ebben a megoldásban további költségek költségekkel jár az Azure Pipelines és a Azure Monitor szolgáltatások. A Azure Batch azonban lehetőség van grafikus renderelő szoftverek (például Autodesk Maya és Chaos Group V-Ray) percenkénti áron való vásárlásra. További Azure Batch a díjszabást.

Következő lépések