Szerkesztés

Digitális lemezképen alapuló modellezés az Azure-on

Azure Blob Storage
Azure Key Vault
Azure Virtual Machines

Figyelemfelhívás

Ez a cikk a CentOS-ra, egy olyan Linux-disztribúcióra hivatkozik, amely közel áll az élettartam (EOL) állapotához. Fontolja meg a használatát, és ennek megfelelően tervezze meg. További információ: CentOS End Of Life útmutató.

Ez a példaforgatókönyv architektúra- és tervezési útmutatást nyújt minden olyan szervezet számára, amely képalapú modellezést szeretne végezni az Azure-infrastruktúra szolgáltatásként (IaaS) használatával. A forgatókönyvet fotogrammetriai szoftverek Azure-beli virtuális gépeken való futtatására tervezték, nagy teljesítményű tároló használatával, amely felgyorsítja a feldolgozási időt. A környezet igény szerint fel- és leskálázható, és a teljesítmény feláldozása nélkül támogatja a terabájtos tárolást.

Architektúra

Az Azure IaaS rendszerképalapú modellezéséhez használható architektúrát bemutató ábra.

Töltse le az architektúra Visio-fájlját.

Munkafolyamat

  1. A felhasználó számos képet küld a PhotoScannek.
  2. A PhotoScan Scheduler egy Olyan Windows rendszerű virtuális gépen fut, amely fő csomópontként szolgál, és irányítja a felhasználó lemezképeinek feldolgozását.
  3. A PhotoScan megkeresi a fényképek gyakori pontjait, és a grafikus feldolgozási egységekkel (GPU-kkal) rendelkező virtuális gépeken futó PhotoScan feldolgozási csomópontok használatával hozza létre a geometriát (hálót).
  4. Az Azure-hoz készült Avere vFXT egy nagy teljesítményű tárolási megoldást biztosít az Azure-ban a hálózati fájlrendszer 3- (NFSv3) verziója alapján, és legalább négy virtuális gépből áll.
  5. A PhotoScan rendereli a modellt.

Összetevők

  • Agisoft PhotoScan: A PhotoScan Scheduler Windows 2016 Server rendszerű virtuális gépen fut, a feldolgozó csomópontok pedig öt, CentOS Linux 7.5 rendszerű GPU-t futtató virtuális gépet használnak.
  • Az Azure-hoz készült Avere vFXT egy olyan fájl gyorsítótárazási megoldás, amely objektumtárolást és hagyományos, hálózathoz csatlakoztatott tárolást (NAS) használ a nagy adathalmazok tárolásának optimalizálásához. A következőket tartalmazza:
    • Avere Controller. Ez a virtuális gép végrehajtja az Avere vFXT-fürtöt telepítő és az Ubuntu 18.04 LTS-t futtató szkriptet. A virtuális gép később fürtcsomópontok hozzáadására vagy eltávolítására, valamint a fürt megsemmisítésére is használható.
    • vFXT-fürt. Legalább három virtuális gépet használunk, egyet az Avere 5.0.2.1-en alapuló Avere vFXT-csomópontokhoz. Ezek a virtuális gépek alkotják a vFXT-fürtöt, amely az Azure Blob Storage-hoz van csatolva.
  • A Microsoft Active Directory-tartományvezérlők lehetővé teszik a gazdagép számára a tartományi erőforrásokhoz való hozzáférést, és dns-névfeloldási lehetőséget biztosítanak. Az Avere vFXT számos A rekordot ad hozzá – például egy vFXT-fürt minden A rekordja az egyes Avere vFXT-csomópontok IP-címére mutat. Ebben a beállításban minden virtuális gép a ciklikus időszeleteléses mintát használja a vFXT-exportálások eléréséhez.
  • Más virtuális gépek ugrómezőkként szolgálnak, amelyeket a rendszergazda használ az ütemező eléréséhez és a csomópontok feldolgozásához. A Windows jumpbox kötelező, hogy a rendszergazda távoli asztali protokollon keresztül férhessen hozzá a fő csomóponthoz. A második jumpbox nem kötelező, és Linuxot futtat a feldolgozó csomópontok felügyeletéhez.
  • A hálózati biztonsági csoportok korlátozzák a nyilvános IP-címhez (PIP) való hozzáférést, és engedélyezik a 3389- és a 22-s portoknak a Jumpbox alhálózathoz csatolt virtuális gépek elérését.
  • A virtuális hálózatok közötti társviszony-létesítés egy PhotoScan virtuális hálózatot csatlakoztat egy Avere virtuális hálózathoz.
  • Az Azure Blob Storage az Avere vFXT-vel működik fő fájlkezelőként a feldolgozott véglegesített adatok tárolásához. Az Avere vFXT azonosítja az Azure Blobban tárolt aktív adatokat, és egy PhotoScan-feladat futtatásakor a számítási csomópontokban való gyorsítótárazáshoz használt SSD-meghajtókba (SSD) sorolja őket. Ha módosításokat végez, az adatok aszinkron módon lesznek lekötve az alapvető fájlkezelőhöz.
  • Az Azure Key Vault a rendszergazdai jelszavak és a PhotoScan aktiválási kódjának tárolására szolgál.

Alternatívák

  • Ha szeretné kihasználni az Azure-szolgáltatások előnyeit a HPC-fürtök kezeléséhez, használjon olyan eszközöket, mint az Azure CycleCloud vagy az Azure Batch, ahelyett, hogy sablonokkal vagy szkriptekkel felügyeli az erőforrásokat.
  • Helyezze üzembe a Párhuzamos BeeGFS virtuális fájlrendszert háttértárként az Azure-ban az Avere vFXT helyett. A BeeGFS-sablonnal üzembe helyezheti ezt a végpontok közötti megoldást az Azure-ban.
  • Telepítse a választott tárolási megoldást, például a GlusterFS-t, a Lustre-t vagy a Windows Tárolóhelyek Directet. Ehhez szerkessze a PhotoScan sablont , hogy működjön a kívánt tárolási megoldással.
  • Telepítse a feldolgozó csomópontokat a Linux helyett a Windows operációs rendszerrel, ez az alapértelmezett beállítás. Windows-csomópontok használata esetén a tárolási integrációs beállításokat a központi telepítési sablonok nem hajtják végre. Manuálisan kell integrálnia a környezetet egy meglévő tárolási megoldással, vagy testre kell szabnia a PhotoScan sablont, hogy ilyen automatizálást biztosítson az adattárban leírtak szerint.

Forgatókönyv részletei

Ez a példa az Avere vFXT Storage által támogatott Agisoft PhotoScan fotogrammetriai szoftver használatát ismerteti. A PhotoScant a földrajzi információs rendszer (GIS) alkalmazásai, a kulturális örökség dokumentációja, a játékfejlesztés és a vizuális effektusok gyártása terén választották. Alkalmas közeli fotogrammetriára és légi fotogrammetriára is.

A cikkben szereplő fogalmak az infrastruktúraként felügyelt ütemező és feldolgozó csomópontokon alapuló nagy teljesítményű számítási feladatokra (HPC) vonatkoznak. Ehhez a számítási feladathoz az Avere vFXT lett kiválasztva a teljesítménytesztek során. A forgatókönyv azonban leválasztja a tárolót a feldolgozásról, hogy más tárolási megoldások is használhatók legyenek (lásd a dokumentum későbbi verzióinak alternatíváit ).

Ez az architektúra Active Directory-tartományvezérlőket is tartalmaz az Azure-erőforrásokhoz való hozzáférés szabályozásához és belső névfeloldás biztosításához a tartománynévrendszeren (DNS) keresztül. A jump boxok rendszergazdai hozzáférést biztosítanak a megoldást futtató Windows- és Linux rendszerű virtuális gépekhez.

Lehetséges használati esetek

A vonatkozó használati esetek a következők:

  • Épületek, mérnöki szerkezetek és kriminalisztikai baleseti jelenetek modellezése és mérése.
  • Vizuális effektusok létrehozása számítógépes játékokhoz és filmekhez.
  • Digitális képek használata a különböző méretű objektumok méréseinek közvetett létrehozására, mint a várostervezésben és más alkalmazásokban.

Megfontolások

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Ez a forgatókönyv kifejezetten arra szolgál, hogy nagy teljesítményű tárolót biztosítson egy HPC-számítási feladathoz, függetlenül attól, hogy Windowson vagy Linuxon van üzembe helyezve. A HPC-számítási feladat tárolási konfigurációjának általában meg kell egyeznie a helyszíni üzemelő példányokhoz használt ajánlott eljárásokkal.

Az üzembe helyezés szempontjai a használt alkalmazásoktól és szolgáltatásoktól függenek, de néhány megjegyzés az alábbiakra vonatkozik:

  • Nagy teljesítményű alkalmazások létrehozásakor használja az Azure Premium Storage-ot, és optimalizálja az alkalmazásréteget. A gyakori hozzáféréshez optimalizálhatja a tárolót az Azure Blob gyakori szintű hozzáférésének használatával.
  • Olyan tárolóreplikációs lehetőséget használjon, amely megfelel a rendelkezésre állási és teljesítménykövetelményeknek. Ebben a példában az Avere vFXT alapértelmezés szerint magas rendelkezésre állásra van konfigurálva helyileg redundáns tárolással (LRS). A terheléselosztáshoz a beállítás összes virtuális gépe a ciklikus időszeletelési mintát használja a vFXT-exportálások eléréséhez.
  • Ha a háttértárat a Windows-ügyfelek és a Linux-ügyfelek is használni fogják, a Samba-kiszolgálók használatával támogassák a Windows-csomópontokat. A példaforgatókönyv BeeGFS-alapú verziója a Samba használatával támogatja a Windowson futó HPC számítási feladat (PhotoScan) ütemező csomópontját. A terheléselosztó úgy van üzembe helyezve, hogy intelligens csereként működjön a DNS kerek időszeleteléséhez.
  • Futtassa a HPC-alkalmazásokat a Windows- vagy Linux-számítási feladatokhoz leginkább megfelelő virtuálisgép-típussal.
  • Ha el szeretné különíteni a HPC számítási feladatait a tárolási erőforrásoktól, helyezzen üzembe mindegyiket a saját virtuális hálózatában, majd használja a virtuális hálózatok közötti társviszony-létesítést a kettő összekapcsolásához. A társviszony-létesítés alacsony késésű, nagy sávszélességű kapcsolatot hoz létre a különböző virtuális hálózatok erőforrásai között, és csak magánhálózati IP-címeken keresztül irányítja a forgalmat a Microsoft gerinchálózati infrastruktúrán keresztül.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

Ez a példa egy nagy teljesítményű tárolási megoldás üzembe helyezésére összpontosít egy HPC-számítási feladathoz, és nem biztonsági megoldás. Mindenképpen vonja be a biztonsági csapatot a módosításokba.

A hozzáadott biztonság érdekében ez a példainfrastruktúra lehetővé teszi az összes Windows rendszerű virtuális gép tartományhoz való csatlakoztatását, és az Active Directoryt használja a központi hitelesítéshez. Emellett egyéni DNS-szolgáltatásokat is biztosít az összes virtuális géphez. A környezet védelme érdekében ez a sablon hálózati biztonsági csoportokra támaszkodik. A hálózati biztonsági csoport alapvető forgalmi szűrőket és biztonsági szabályokat kínál.

Ebben a forgatókönyvben fontolja meg a következő lehetőségeket a biztonság további javításához:

  • Használjon olyan hálózati virtuális berendezéseket, mint a Fortinet, a Checkpoint és a Juniper.
  • Azure szerepköralapú hozzáférés-vezérlés (Azure RBAC) alkalmazása az erőforráscsoportokra.
  • Engedélyezze a virtuális gép JIT-hozzáférését , ha a jump boxok az interneten keresztül érhetők el.
  • Az Azure Key Vault használatával tárolhatja a rendszergazdai fiókok által használt jelszavakat.

Költségoptimalizálás

A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.

A forgatókönyv futtatásának költsége több tényezőtől függően jelentősen eltérhet. A virtuális gépek száma és mérete, a szükséges tárterület és a feladat elvégzéséhez szükséges idő határozza meg a költségeket.

Az Azure-díjkalkulátor alábbi költségprofilja az Avere vFXT és PhotoScan tipikus konfigurációján alapul:

  • 1 A1_v2 Ubuntu virtuális gép az Avere-vezérlő futtatásához.
  • 3 D16s_v3 Avere operációsrendszer-virtuális gépek, amelyek mindegyike a vFXT-fürtöt alkotó Avere vFXT-csomópontokhoz tartozik.
  • 5 NC24_v2 Linux rendszerű virtuális gép, amely biztosítja a PhotoScan feldolgozási csomópontjaihoz szükséges GPU-kat.
  • 1 D8s_v3 CentOS virtuális gép a PhotoScan ütemező csomóponthoz.
  • 1 DS2_v2 Rendszergazdai jumpboxként használt CentOS.
  • 2 DS2_v2 virtuális gép az Active Directory-tartományvezérlőkhöz.
  • Prémium szintű felügyelt lemezek.
  • Általános célú v2 (GPv2) Blob Storage LRS és gyakori szintű hozzáféréssel (csak A GPv2-tárfiókok teszik elérhetővé az Access Tier attribútumot).
  • 10 TB-os adatátvitelt támogató virtuális hálózat.

Következő lépések

Az alábbi erőforrások további információkat nyújtanak az ebben a forgatókönyvben használt összetevőkről, valamint az Azure-beli kötegelt számítástechnika alternatív megközelítéseivel.