Upravit

Modelování na základě digitálních obrázků v Azure

Azure Blob Storage
Azure Key Vault
Azure Virtual Machines

Upozornění

Tento článek odkazuje na CentOS, linuxovou distribuci, která se blíží stavu Konec životnosti (EOL). Zvažte své použití a odpovídajícím způsobem naplánujte. Další informace najdete v doprovodných materiálech CentOS End Of Life.

Tento ukázkový scénář poskytuje pokyny k architektuře a návrhu pro všechny organizace, které chtějí provádět modelování založené na imagích v infrastruktuře Azure jako službě (IaaS). Scénář je navržený pro spouštění softwaru fotogrammetrie na virtuálních počítačích Azure pomocí vysoce výkonného úložiště, které urychluje dobu zpracování. Prostředí je možné podle potřeby vertikálně navýšit nebo snížit a podporovat terabajty úložiště bez snížení výkonu.

Architektura

Diagram znázorňující architekturu pro modelování založené na imagích v Azure IaaS

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

  1. Uživatel odešle do aplikace PhotoScan několik obrázků.
  2. Plánovač PhotoScan běží na virtuálním počítači s Windows, který slouží jako hlavní uzel a směruje zpracování imagí uživatele.
  3. PhotoScan vyhledá běžné body na fotografiích a vytvoří geometrii (mesh) pomocí uzlů zpracování PhotoScan spuštěných na virtuálních počítačích s grafickými procesory (GPU).
  4. Avere vFXT pro Azure poskytuje vysoce výkonné řešení úložiště v Azure založené na síťovém systému souborů verze 3 (NFSv3) a skládá se alespoň ze čtyř virtuálních počítačů.
  5. PhotoScan vykreslí model.

Komponenty

  • Agisoft PhotoScan: Plánovač PhotoScan běží na virtuálním počítači s Windows 2016 Serverem a uzly zpracování používají pět virtuálních počítačů s GPU, na kterých běží CentOS Linux 7.5.
  • Avere vFXT pro Azure je řešení ukládání souborů do mezipaměti, které využívá úložiště objektů a tradiční síťové úložiště (NAS) k optimalizaci úložiště velkých datových sad. Zahrnuje:
    • Avere Controller. Tento virtuální počítač spustí skript, který nainstaluje cluster Avere vFXT a spustí Ubuntu 18.04 LTS. Virtuální počítač můžete později použít k přidání nebo odebrání uzlů clusteru a ke zničení clusteru.
    • cluster vFXT. Používají se alespoň tři virtuální počítače, jeden pro každý uzel Avere vFXT založený na operačním systému Avere 5.0.2.1. Tyto virtuální počítače tvoří cluster vFXT, který je připojený ke službě Azure Blob Storage.
  • Řadiče domény Služby Microsoft Active Directory umožňují hostiteli přístup k prostředkům domény a poskytují překlad názvů DNS. Avere vFXT přidá několik záznamů A – například každý záznam A v clusteru vFXT odkazuje na IP adresu každého uzlu Avere vFXT. V tomto nastavení používají všechny virtuální počítače pro přístup k exportům vFXT vzor kruhového dotazování.
  • Jiné virtuální počítače slouží jako jump boxy používané správcem pro přístup k plánovači a zpracování uzlů. Jumpbox windows je povinný, aby správce mohl přistupovat k hlavnímu uzlu přes protokol vzdálené plochy. Druhý jumpbox je volitelný a spustí Linux pro správu pracovních uzlů.
  • Skupiny zabezpečení sítě omezují přístup k veřejné IP adrese (PIP) a povolují porty 3389 a 22 pro přístup k virtuálním počítačům připojeným k podsíti Jumpboxu.
  • Partnerský vztah virtuální sítě propojuje virtuální síť PhotoScan s virtuální sítí Avere.
  • Azure Blob Storage pracuje s Avere vFXT jako základním souborovačem pro ukládání potvrzených dat. Avere vFXT identifikuje aktivní data uložená v Objektu blob Azure a vrství je na jednotky SSD (Solid-State Drive) používané k ukládání do mezipaměti ve výpočetních uzlech, zatímco je spuštěná úloha PhotoScan. Pokud dojde ke změnám, data se asynchronně potvrdí zpět do základního fileru.
  • Azure Key Vault slouží k ukládání hesel správce a aktivačního kódu PhotoScan.

Alternativy

  • Pokud chcete využít výhod služeb Azure pro správu clusteru PROSTŘEDÍ HPC, použijte nástroje, jako je Azure CycleCloud nebo Azure Batch, místo správy prostředků pomocí šablon nebo skriptů.
  • Místo Avere vFXT nasaďte paralelní virtuální systém souborů BeeGFS jako back-endové úložiště v Azure. Pomocí šablony BeeGFS nasaďte toto komplexní řešení v Azure.
  • Nasaďte zvolené řešení úložiště, například GlusterFS, Lustre nebo Windows Prostory úložiště s přímým přístupem. Uděláte to tak, že upravíte šablonu PhotoScan tak, aby fungovala s požadovaným řešením úložiště.
  • Výchozí možnost nasaďte pracovní uzly s operačním systémem Windows místo Linuxu. Pokud používáte uzly Windows, možnosti integrace úložiště se nespouštějí šablonami nasazení. Prostředí musíte ručně integrovat s existujícím řešením úložiště nebo přizpůsobit šablonu PhotoScan tak, aby poskytovala takovou automatizaci, jak je popsáno v úložišti.

Podrobnosti scénáře

Tento příklad popisuje použití softwaru Agisoft PhotoScan photogrammetry založeného na úložišti Avere vFXT. PhotoScan byl vybrán pro svou popularitu v aplikacích GIS (Geograficky informační systém), dokumentaci k kulturnímu dědictví, vývoj her a vizuální efekty produkce. Je vhodný jak pro fotogramy v blízkosti, tak pro letecký fotogrammetrii.

Koncepty v tomto článku platí pro všechny úlohy vysokovýkonné výpočetní prostředí (HPC) založené na plánovači a pracovních uzlech spravovaných jako infrastruktura. Pro tuto úlohu byla vybrána funkce Avere vFXT pro vynikající výkon během srovnávacích testů. Scénář však odděluje úložiště od zpracování, aby bylo možné použít jiná řešení úložiště (viz alternativy dále v tomto dokumentu).

Tato architektura zahrnuje také řadiče domény Služby Active Directory pro řízení přístupu k prostředkům Azure a poskytování interního překladu ip adres prostřednictvím DNS (Domain Name System). Jump boxy poskytují přístup správce k virtuálním počítačům s Windows a Linuxem, které řešení používají.

Potenciální případy použití

Mezi relevantní případy použití patří:

  • Modelování a měření budov, technických struktur a forenzních nehod.
  • Vytváření vizuálních efektů pro počítačové hry a filmy
  • Použití digitálních obrázků k nepřímému generování měření objektů různých měřítk, jako jsou v městském plánování a dalších aplikacích.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Tento scénář je navržený speciálně tak, aby poskytoval vysoce výkonné úložiště pro úlohy PROSTŘEDÍ HPC bez ohledu na to, jestli je nasazený ve Windows nebo Linuxu. Obecně platí, že konfigurace úložiště úlohy PROSTŘEDÍ HPC by měla odpovídat příslušným osvědčeným postupům používaným pro místní nasazení.

Důležité informace o nasazení závisí na používaných aplikacích a službách, ale platí několik poznámek:

  • Při vytváření vysoce výkonných aplikací používejte Azure Premium Storage a optimalizujte aplikační vrstvu. Optimalizujte úložiště pro častý přístup s využitím přístupu k horké úrovni objektů blob v Azure.
  • Použijte možnost replikace úložiště, která splňuje vaše požadavky na dostupnost a výkon. V tomto příkladu je Avere vFXT nakonfigurovaný pro vysokou dostupnost ve výchozím nastavení s místně redundantním úložištěm (LRS). Pro vyrovnávání zatížení používají všechny virtuální počítače v tomto nastavení pro přístup k exportům vFXT vzor kruhového dotazování.
  • Pokud back-endové úložiště budou využívat klienti Windows i klienti Linuxu, použijte servery Samba k podpoře uzlů Windows. Verze tohoto ukázkového scénáře založená na BeeGFS používá Samba k podpoře uzlu plánovače úlohy HPC (PhotoScan) spuštěné ve Windows. Nástroj pro vyrovnávání zatížení se nasadí tak, aby fungoval jako inteligentní náhrada za kruhové dotazování DNS.
  • Spouštět aplikace PROSTŘEDÍ HPC s použitím typu virtuálního počítače, který je nejvhodnější pro vaši úlohu s Windows nebo Linuxem .
  • Pokud chcete izolovat úlohu PROSTŘEDÍ HPC od prostředků úložiště, nasaďte je ve své vlastní virtuální síti a pak pomocí partnerského vztahu virtuálních sítí tyto dva připojte. Partnerský vztah vytvoří připojení s nízkou latencí a velkou šířkou pásma mezi prostředky v různých virtuálních sítích a směruje provoz přes páteřní infrastrukturu Microsoftu pouze prostřednictvím privátních IP adres.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

Tento příklad se zaměřuje na nasazení vysoce výkonného řešení úložiště pro úlohy PROSTŘEDÍ HPC a nejedná se o řešení zabezpečení. Nezapomeňte zapojit bezpečnostní tým pro všechny změny.

Pro větší zabezpečení tato ukázková infrastruktura umožňuje připojení všech virtuálních počítačů s Windows k doméně a k centrálnímu ověřování používá Active Directory. Poskytuje také vlastní služby DNS pro všechny virtuální počítače. Kvůli ochraně prostředí tato šablona spoléhá na skupiny zabezpečení sítě. Skupina zabezpečení sítě nabízí základní filtry provozu a pravidla zabezpečení.

Zvažte následující možnosti dalšího zlepšení zabezpečení v tomto scénáři:

Optimalizace nákladů

Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Náklady na provoz tohoto scénáře se můžou výrazně lišit v závislosti na několika faktorech. Počet a velikost virtuálních počítačů, kolik úložiště je potřeba, a doba potřebná k dokončení úlohy určí vaše náklady.

Následující ukázkový profil nákladů v cenové kalkulačce Azure je založený na typické konfiguraci Avere vFXT a PhotoScan:

  • 1 A1_v2 virtuálního počítače s Ubuntu pro spuštění kontroleru Avere.
  • 3 D16s_v3 virtuálních počítačů S operačním systémem Avere, jeden pro každý uzel Avere vFXT, který tvoří cluster vFXT.
  • 5 NC24_v2 virtuálních počítačů s Linuxem, které poskytují gpu vyžadované uzly zpracování PhotoScan.
  • 1 D8s_v3 virtuální počítač CentOS pro uzel plánovače PhotoScan.
  • 1 DS2_v2 CentOS se používá jako jumpbox správce.
  • 2 DS2_v2 virtuálních počítačů pro řadiče domény služby Active Directory.
  • Spravované disky Úrovně Premium.
  • Úložiště objektů blob pro obecné účely v2 (GPv2) s přístupem LRS a horkou vrstvou (pouze účty úložiště GPv2 zpřístupňují atribut Access Tier).
  • Virtuální síť s podporou přenosu dat o 10 TB.

Další kroky

Následující zdroje informací poskytují další informace o komponentách používaných v tomto scénáři spolu s alternativními přístupy pro dávkové výpočty v Azure.