Simulaciones de dinámicas de fluido computacionales (CFD) en AzureRunning computational fluid dynamics (CFD) simulations on Azure

Las simulaciones de dinámicas de fluidos computacionales (CFD) requieren un tiempo de proceso considerable y hardware especializado.Computational Fluid Dynamics (CFD) simulations require significant compute time along with specialized hardware. A medida que aumenta el uso de clúster, lo hacen también los tiempos de simulación y el uso de cuadrículas en general, por lo que se producen problemas de capacidad de reserva y tiempos prolongados en cola.As cluster usage increases, simulation times and overall grid use grow, leading to issues with spare capacity and long queue times. El hardware físico puede resultar costoso y no adecuarse al cambio de afluencia de uso que atraviesan las empresas.Adding physical hardware can be expensive, and may not align to the usage peaks and valleys that a business goes through. Gracias a Azure, muchos de estos desafíos se pueden resolver sin costo alguno.By taking advantage of Azure, many of these challenges can be overcome with no capital expenditure.

Azure proporciona el hardware necesario para ejecutar los trabajos de CFD en máquinas virtuales con GPU y CPU.Azure provides the hardware you need to run your CFD jobs on both GPU and CPU virtual machines. Los tamaños de máquina virtual con acceso directo a memoria remota (RDMA) tienen redes basadas en FDR InfiniBand que permiten la comunicación MPI (interfaz de paso de mensajes) de baja latencia.RDMA (Remote Direct Memory Access) enabled VM sizes have FDR InfiniBand-based networking which allows for low latency MPI (Message Passing Interface) communication. La combinación con Avere vFXT, que ofrece un sistema de archivos con clústeres a nivel empresarial, garantiza el máximo rendimiento de lectura en Azure para los clientes.Combined with the Avere vFXT, which provides an enterprise-scale clustered file system, customers can ensure maximum throughput for read operations in Azure.

Se puede usar Azure CycleCloud para aprovisionar los clústeres y orquestar los datos tanto en escenarios híbridos como en la nube para simplificar la creación, la administración y la optimización de los clústeres de informática de alto rendimiento.To simplify the creation, management, and optimization of HPC clusters, Azure CycleCloud can be used to provision clusters and orchestrate data in both hybrid and cloud scenarios. Mediante la supervisión de los trabajos pendientes, CycleCloud inicia automáticamente el proceso a petición, en el que solo paga por uso, que está conectado al programador de cargas de trabajo de su elección.By monitoring the pending jobs, CycleCloud will automatically launch on-demand compute, where you only pay for what you use, connected to the workload scheduler of your choice.

Casos de uso pertinentesRelevant use cases

Otros sectores pertinentes para las aplicaciones de CFD incluyen:Other relevant industries for CFD applications include:

  • AeronáuticaAeronautics
  • AutomociónAutomotive
  • Compilación de HVACBuilding HVAC
  • Petróleo y gasOil and gas
  • Ciencias biológicasLife sciences

ArquitecturaArchitecture

Diagrama de la arquitectura

En este diagrama se muestra una descripción general de un diseño híbrido típico que proporciona supervisión de los trabajos en los nodos de Azure a petición:This diagram shows a high-level overview of a typical hybrid design providing job monitoring of the on-demand nodes in Azure:

  1. Conexión al servidor de Azure CycleCloud para configurar el clúster.Connect to the Azure CycleCloud server to configure the cluster.
  2. Configuración y creación del nodo principal del clúster, mediante máquinas con RDMA para comunicación MPI.Configure and create the cluster head node, using RDMA enabled machines for MPI.
  3. Incorporación y configuración del nodo principal local.Add and configure the on-premises head node.
  4. Si no hay recursos suficientes, Azure CycleCloud escala (o reduce) los recursos de proceso de Azure.If there are insufficient resources, Azure CycleCloud will scale up (or down) compute resources in Azure. Para evitar la sobreasignación, se puede definir un límite predeterminado.A predetermined limit can be defined to prevent over allocation.
  5. Tareas asignadas a los nodos de ejecución.Tasks allocated to the execute nodes.
  6. Datos almacenados en caché en Azure desde el servidor NFS local.Data cached in Azure from on-premises NFS server.
  7. Datos leídos de Avere vFXT para la caché de Azure.Data read in from the Avere vFXT for Azure cache.
  8. Información de los trabajos y las tareas retransmitida al servidor de Azure CycleCloud.Job and task information relayed to the Azure CycleCloud server.

ComponentesComponents

  • Azure CycleCloud una herramienta para crear, administrar, funcionamiento y optimizar clústeres de HPC y Big Compute en Azure.Azure CycleCloud a tool for creating, managing, operating, and optimizing HPC and Big Compute clusters in Azure.
  • Avere vFXT en Azure se usa para proporcionar un sistema de archivos de escala empresarial en clúster creado para la nube.Avere vFXT on Azure is used to provide an enterprise-scale clustered file system built for the cloud.
  • Máquinas virtuales (VM) se utilizan para crear un conjunto estático de instancias de proceso.Azure Virtual Machines (VMs) are used to create a static set of compute instances.
  • Conjuntos de escalado de máquinas virtuales proporcionan un grupo de máquinas virtuales idénticas capaces de que se va a escalar o reducir verticalmente por CycleCloud de Azure.Virtual machine scale sets provide a group of identical VMs capable of being scaled up or down by Azure CycleCloud.
  • Cuentas de Azure Storage: se utilizan para la sincronización y la retención de datos.Azure Storage accounts are used for synchronization and data retention.
  • Virtual Network: permite a muchos tipos de recursos de Azure, como máquinas virtuales de Azure, comunicarse de forma segura entre ellos, con Internet y con las redes locales.Virtual Networks enable many types of Azure resources, such as Azure Virtual Machines (VMs), to securely communicate with each other, the internet, and on-premises networks.

AlternativasAlternatives

Los clientes pueden usar también Azure CycleCloud para crear una cuadrícula completamente en Azure.Customers can also use Azure CycleCloud to create a grid entirely in Azure. En esta configuración, el servidor de Azure CycleCloud se ejecuta en la suscripción de Azure.In this setup, the Azure CycleCloud server is run within your Azure subscription.

Un enfoque moderno de aplicación donde no es necesaria la administración de un programador de la carga de trabajo, Azure Batch puede ayudar a.For a modern application approach where management of a workload scheduler is not needed, Azure Batch can help. Azure Batch puede ejecutar aplicaciones de informática de alto rendimiento (HPC) en paralelo y a gran escala de manera eficaz en la nube.Azure Batch can run large-scale parallel and high-performance computing (HPC) applications efficiently in the cloud. Azure Batch le permite definir los recursos de proceso de Azure para ejecutar las aplicaciones en paralelo o a escala sin tener que configurar ni administrar la infraestructura de forma manual.Azure Batch allows you to define the Azure compute resources to execute your applications in parallel or at scale without manually configuring or managing infrastructure. Azure Batch programa tareas de proceso intensivo y agrega o quita dinámicamente recursos de proceso según sus necesidades.Azure Batch schedules compute-intensive tasks and dynamically adds and removes compute resources based on your requirements.

Escalabilidad y seguridadScalability, and Security

El escalado de los nodos de ejecución en Azure CycleCloud los se realiza manualmente o con la escalabilidad automática.Scaling the execute nodes on Azure CycleCloud can be accomplished either manually or using autoscaling. Para obtener más información, consulte CycleCloud Autoscaling.For more information, see CycleCloud Autoscaling.

Para obtener instrucciones generales sobre el diseño de soluciones seguras, consulte el documentación de Azure security.For general guidance on designing secure solutions, see the Azure security documentation.

Implementación del escenarioDeploy the scenario

Requisitos previosPrerequisites

Antes de implementar la plantilla de Resource Manager, siga estos pasos:Follow these steps before deploying the Resource Manager template:

  1. Crear un serviceprincipal para recuperar el appId, el displayName, el nombre, la contraseña y los inquilinos.Create a service principal for retrieving the appId, displayName, name, password, and tenant.

  2. Generar un par de claves SSH para iniciar sesión en forma segura al servidor CycleCloud.Generate an SSH key pair to sign in securely to the CycleCloud server.

  3. Haga clic en el vínculo siguiente para implementar la solución.Click the link below to deploy the solution.

    Implementación en AzureDeploy to Azure

  4. Inicie sesión en el servidor CycleCloud para configurar y crear un nuevo clúster.Log into the CycleCloud server to configure and create a new cluster.

  5. Crear un clúster.Create a cluster.

La caché de Avere es una solución opcional que aumenta drásticamente el rendimiento de lectura de los datos de trabajo de una aplicación.The Avere Cache is an optional solution that can drastically increase read throughput for the application job data. Avere vFXT para Azure soluciona el problema de la ejecución de estas aplicaciones empresariales de informática de alto rendimiento en la nube y aprovecha a la vez los datos almacenados localmente o en Azure Blob Storage.Avere vFXT for Azure solves the problem of running these enterprise HPC applications in the cloud while leveraging data stored on-premises or in Azure Blob storage.

Para las organizaciones que se planeación una infraestructura híbrida con almacenamiento local y la informática en nube, las aplicaciones HPC pueden "irrumpir" en Azure con los datos almacenados en dispositivos NAS y agilizar CPU virtuales según sea necesario.For organizations that are planning for a hybrid infrastructure with both on-premises storage and cloud computing, HPC applications can "burst" into Azure using data stored in NAS devices and spin up virtual CPUs as needed. El conjunto de datos nunca se mueve por completo a la nube.The data set is never moved completely into the cloud. Durante el procesamiento, los bytes solicitados se almacenan temporalmente en caché mediante un clúster de Avere.The requested bytes are temporarily cached using an Avere cluster during processing.

Para instalar y configurar una instalación de vFXT Avere, siga el Avere instalación y configuración guía.To set up and configure an Avere vFXT installation, follow the Avere Setup and Configuration guide.

PreciosPricing

El costo de ejecutar una implementación de informática de alto rendimiento con el servidor de CycleCloud varía en función de distintos factores.The cost of running an HPC implementation using CycleCloud server will vary depending on a number of factors. Por ejemplo, CycleCloud se paga según el tiempo de proceso utilizado; en general, con el servidor maestro y de CycleCloud asignados y en ejecución permanentemente.For example, CycleCloud is charged by the amount of compute time that is used, with the Master and CycleCloud server typically being constantly allocated and running. El costo de ejecutar los nodos de ejecución dependerá del tiempo que estén en funcionamiento y del tamaño.The cost of running the Execute nodes will depend on how long these are up and running as well as what size is used. También se aplican los cargos de Azure normales por el almacenamiento y las redes.The normal Azure charges for storage and networking also apply.

Este escenario muestra cómo se ejecutan las aplicaciones de CFD en Azure, por lo que las máquinas necesitarán acceso directo a memoria remota, que solo está disponible en tamaños específicos de máquina virtual.This scenario shows how CFD applications can be run in Azure, so the machines will require RDMA functionality, which is only available on specific VM sizes. Los siguientes son ejemplos de costos en los que se incurre con un conjunto de escalado asignado continuamente durante ocho horas al día en un mes, con una salida de datos de 1 TB.The following are examples of costs that could be incurred for a scale set that is allocated continuously for eight hours per day for one month, with data egress of 1 TB. También incluye los precios del servidor de Azure CycleCloud y de la instalación de Avere vFXT para Azure:It also includes pricing for the Azure CycleCloud server and the Avere vFXT for Azure install:

  • Región: Europa del NorteRegion: North Europe
  • Servidor de Azure CycleCloud: 1 x D3 estándar (4 x CPU, 14 GB de memoria, HDD estándar de 32 GB)Azure CycleCloud Server: 1 x Standard D3 (4 x CPUs, 14 GB Memory, Standard HDD 32 GB)
  • Servidor maestro de Azure CycleCloud: 1 x D12 estándar (4 x CPU, 28 GB de memoria, HDD estándar de 32 GB)Azure CycleCloud Master Server: 1 x Standard D12 v (4 x CPUs, 28 GB Memory, Standard HDD 32 GB)
  • Matriz de nodos de Azure CycleCloud: 10 x H16r estándar (16 x CPU, 112 GB de memoria)Azure CycleCloud Node Array: 10 x Standard H16r (16 x CPUs, 112 GB Memory)
  • Avere vFXT en clúster de Azure: 3 x D16s v3 (SO de 200 GB, disco de datos de 1 TB SSD Premium)Avere vFXT on Azure Cluster: 3 x D16s v3 (200 GB OS, Premium SSD 1-TB data disk)
  • Salida de datos: 1 TBData Egress: 1 TB

Revise este el cálculo del precio para el hardware enumerado anteriormente.Review this price estimate for the hardware listed above.

Pasos siguientesNext Steps

Una vez que haya implementado el ejemplo, obtenga más información sobre CycleCloud Azure.Once you've deployed the sample, learn more about Azure CycleCloud.