Symulacja zbiorników używa modeli komputerowych intensywnie korzystających z danych do przewidywania złożonych przepływów płynów, takich jak olej, woda i gaz pod powierzchnią ziemi. W tym przykładzie skonfigurowaliśmy oprogramowanie do symulacji zbiorników w infrastrukturze obliczeń o wysokiej wydajności (HPC) platformy Azure. Platforma Azure umożliwia uruchamianie tego typu obciążenia z maksymalną wydajnością, skalowalnością i wydajnością kosztów.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ pracy
Ten diagram zawiera ogólne omówienie architektury używanej w przykładzie. Przepływ pracy jest następujący:
Użytkownicy logują się do węzła głównego za pośrednictwem protokołu SSH, aby przygotować swoje modele do zasobów obliczeniowych.
Usługa PBS Pro 19.1 działa w węźle głównym i planuje zadania w węzłach obliczeniowych.
Przepływ OPM działa w węzłach obliczeniowych. Maszyny wirtualne obliczeniowe są wdrażane jako zestaw skalowania maszyn wirtualnych— grupa identycznych maszyn wirtualnych skalowanych w celu spełnienia wymagań zadań obliczeniowych.
Przepływ OPM wysyła obliczone wyniki do udziału plików w węźle głównym. Dysk w warstwie Premium jest połączony z węzłem głównym i skonfigurowany jako serwer NFS dla węzłów obliczeniowych i maszyny wirtualnej wizualizacji.
Platforma OPM ResInsight uruchomiona na maszynie wirtualnej z systemem Windows w warstwie Standardowa-NV6 wyświetla wizualizacje wyników 3D. Użytkownicy mogą uzyskiwać dostęp do maszyny wirtualnej wizualizacji za pośrednictwem protokołu RDP.
Składniki
Kluczowe technologie używane do implementowania tej architektury:
- Azure CycleCloud
- Azure NetApp Files
- Zestawy skalowania maszyn wirtualnych platformy Azure
- Usługa Key Vault
- Maszyny wirtualne z systemem Linux na platformie Azure
- Virtual Machines
Szczegóły scenariusza
Architektura w tym przykładzie obsługuje platformę OPM Flow, popularny pakiet symulacji ropy naftowej i gazu typu open source z inicjatywy Open Porous Media (OPM). Oprogramowanie OPM Flow działa na maszynach wirtualnych HPC platformy Azure, które zapewniają wydajność zbliżoną lub lepszą niż bieżąca infrastruktura lokalna.
Użytkownicy łączą się z maszyną wirtualną węzła głównego systemu Linux w celu przesyłania modeli do zasobów HPC za pomocą oprogramowania do planowania zadań PBS Pro 19.1. Zasoby HPC uruchamiają przepływ OPM i wysyłają obliczone wyniki do udziału plików. W tym przykładzie udział plików to 4 terabajt (TB) miejsce w sieciowym systemie plików (NFS) na maszynie wirtualnej węzła głównego. W zależności od modelu i wymagań wejściowych i wyjściowych (we/wy) można użyć innych opcji magazynu .
Maszyna wirtualna platformy Microsoft Azure z uruchomioną usługą OPM ResInsight, narzędziem do wizualizacji typu open source, uzyskuje dostęp do udziału plików w celu modelowania i wizualizowania obliczonych wyników. Użytkownicy mogą łączyć się z maszyną wirtualną za pośrednictwem protokołu RDP (Remote Desktop Protocol), aby wyświetlić wizualizacje.
Korzystanie z maszyny wirtualnej platformy Azure oszczędza wydatki na stację roboczą o wysokiej jakości wizualizacji. Aplikacje OPM korzystają ze sprzętu HPC i udostępnionej lokalizacji magazynu dla plików wejściowych i wyjściowych.
Potencjalne przypadki użycia
Modelowanie zbiorników 3D i wizualizacja danych sejsmicznych.
Przetestuj INTERSECT, symulator zbiorników o wysokiej rozdzielczości z Schlumberger. Przykładowa implementacja INTERSECT jest widoczna w witrynie GitHub.
Przetestuj narzędzie Nexus Landmark-Halliburton przy użyciu podobnej konfiguracji na platformie Azure.
Zagadnienia do rozważenia
Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
W tym przykładzie użyto serii HB maszyn wirtualnych o wysokiej wydajności. Seria HB jest zoptymalizowana pod kątem aplikacji opartych na przepustowości pamięci, takich jak obliczeniowa dynamika płynów (CFD), a maszyna wirtualna Standard_HB120rs_v2 jest najnowsza z serii. W przypadku sprzętu opartego na technologii Intel maszyna wirtualna Standard_HC44rs jest opcją.
Aby przetestować tę architekturę przepływu OPM na platformie Azure, przykładowa implementacja usługi GitHub instaluje przypadek Norne, otwarty przypadek porównawczy rzeczywistego pola ropy naftowej na Morzu Norweskim. Aby uruchomić ten przypadek testowy, należy wykonać następujące czynności:
Użyj usługi Azure Key Vault do przechowywania kluczy i wpisów tajnych, co jest wymaganiem skryptów konfiguracji usługi GitHub.
Zainstaluj biblioteki Algebra PACKage (LAPACK) liniowej na wszystkich węzłach obliczeniowych. Skrypty instalacyjne usługi GitHub obejmują ten krok.
Zainstaluj oprogramowanie HP Remote Graphics Software (RGS) na dowolnym komputerze, który ma być używany jako odbiornik wizualizacji. W tym przykładzie użytkownik łączy się z maszyną wirtualną wizualizacji, aby uruchomić usługę ResInsight i wyświetlić przypadek Norne.
Harmonogram zadań
Obciążenia intensywnie korzystające z obliczeń korzystają z oprogramowania orkiestracji HPC, które może wdrażać infrastrukturę obliczeniową i magazynową HPC oraz zarządzać nią. Przykładowa architektura obejmuje dwa sposoby wdrażania zasobów obliczeniowych: platformę azurehpc lub usługę Azure CycleCloud.
Azure CycleCloud to narzędzie do tworzenia, zarządzania, obsługi i optymalizowania klastrów HPC i dużych klastrów obliczeniowych na platformie Azure. Służy do dynamicznego aprowizowania klastrów HPC platformy Azure oraz organizowania danych i zadań dla przepływów pracy hybrydowych i w chmurze. Usługa Azure CycleCloud obsługuje również kilka menedżerów obciążeń dla obciążeń HPC na platformie Azure, takich jak Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm i Symphony.
Sieć
To przykładowe obciążenie wdraża maszyny wirtualne w różnych podsieciach. Aby uzyskać dodatkowe zabezpieczenia, można zdefiniować sieciowe grupy zabezpieczeń dla każdej podsieci. Można na przykład ustawić reguły zabezpieczeń, które zezwalają na ruch sieciowy do lub z różnych węzłów lub go odrzucają. Jeśli nie potrzebujesz tego poziomu zabezpieczeń, nie potrzebujesz oddzielnych podsieci dla tej implementacji.
Storage
Magazyn danych i wymagania dotyczące dostępu różnią się w zależności od skali obciążenia. Platforma Azure obsługuje kilka metod zarządzania szybkością i pojemnością aplikacji HPC. Repozytorium GitHub azurehpc zawiera przykładowe skrypty HPC platformy Azure.
Poniższe podejścia są powszechne w przemyśle naftowym i gazowym. Wybierz rozwiązanie najlepiej dopasowane do unikatowych wymagań dotyczących operacji we/wy i pojemności.
W przypadku obciążeń o niskiej skali, takich jak w bieżącym przykładzie, rozważ uruchomienie systemu plików NFS w węźle głównym przy użyciu maszyny wirtualnej serii Lsv2 zoptymalizowanej pod kątem magazynu z dużymi dyskami efemerycznym lub maszynami wirtualnymi serii D z usługą Azure Premium Storage, w zależności od wymagań. To rozwiązanie odpowiada obciążeniom z 500 rdzeniami lub mniejszą przepływnością do 1,5 gigabajtów na sekundę (GiB/s) oraz do 19 TB pamięci RAM i 100 TB miejsca do magazynowania.
Średnie i duże obciążenia intensywnie korzystające z odczytu: Rozważ użycie rozwiązania Avere vFXT dla platformy Azure (od 6 do 24 węzłów). To rozwiązanie działa w przypadku obciążeń o rozmiarze do 50 000 rdzeni, przepływności do 2 GiB/s dla zapisów i do 14 GiB/s dla operacji odczytu, pamięci podręcznej do 192 TB oraz serwera plików do 2 petabajtów (PB).
Zrównoważone lub intensywnie korzystające z zapisu obciążenia w średniej skali: Rozważ użycie Azure NetApp Files dla obciążeń o rozmiarze do 4000 rdzeni, z przepływnością do 6,5 GiB/s, magazynem do 100 TB/woluminem i maksymalizuj rozmiar pliku o rozmiarze 12 TB.
Obciążenia na dużą skalę: Użyj zorganizowanych równoległych usług plików, takich jak Lustre lub BeeGFS. To podejście działa dla maksymalnie 50 000 rdzeni, z szybkością odczytu/zapisu do 50 GiB/s i 500 TB miejsca do magazynowania. W przypadku jeszcze większych klastrów podejście bez systemu operacyjnego może być bardziej ekonomiczne. Na przykład Cray ClusterStor to zarządzane rozwiązanie magazynu HPC z elastycznością obsługi większych klastrów elastycznych na bieżąco.
Wdrażanie tego scenariusza
Uzyskaj przykładową implementację tej architektury przepływu OPM w usłudze GitHub.
Następne kroki
- Przeczytaj blog HPC: Oil and Gas na platformie Azure .
- Zapoznaj się z omówieniem rozwiązania Avere vFXT for Azure.
- Przejrzyj listę kontrolną dotyczącą wydajności i skalowalności usługi Azure Storage.
- Zapoznaj się z przykładowym obciążeniem dla inżynierii wspomaganej komputerowo (CAE) na platformie Azure.
- Dowiedz się więcej o usłudze HPC na platformie Azure.