Esta arquitectura muestra la ejecución de simulaciones de dinámica de fluidos computacionales mediante Azure. Aprenda a crear, administrar y optimizar clústeres mediante Azure CycleCloud.
Architecture
Descargue un archivo Visio de esta arquitectura.
Flujo de trabajo
En este diagrama se muestra una descripción general de un diseño híbrido típico que proporciona supervisión de los trabajos en los nodos de Azure a petición:
- Conexión al servidor de Azure CycleCloud para configurar el clúster.
- Configuración y creación del nodo principal del clúster, mediante máquinas con RDMA para comunicación MPI.
- Incorporación y configuración del nodo principal local.
- Si no hay recursos suficientes, Azure CycleCloud escala verticalmente los recursos de proceso de Azure (o los reduce). Para evitar la sobreasignación, se puede definir un límite predeterminado.
- Las tareas se asignan a los nodos de ejecución.
- Los datos se almacenan en caché en Azure desde el servidor NFS local.
- Los datos se leen desde la caché de Avere vFXT for Azure.
- La información de los trabajos y las tareas se retransmite al servidor de Azure CycleCloud.
Componentes
- Azure CycleCloud, una herramienta para crear, administrar, operar y optimizar los clústeres HPC y Big Compute en Azure.
- Avere vFXT en Azure se usa para proporcionar un sistema de archivos en clúster a nivel empresarial compilado para la nube.
- Azure Virtual Machines (VM) se utiliza para crear un conjunto estático de instancias de proceso.
- Conjuntos de escalado de máquinas virtuales: proporcionan un grupo de VM idénticas que Azure CycleCloud puede escalar o reducir verticalmente.
- Cuentas de Azure Storage: se utilizan para la sincronización y la retención de datos.
- Azure Virtual Network permite a muchos tipos de recursos de Azure, como máquinas virtuales, comunicarse de forma segura entre ellos, con Internet y con las redes locales.
Alternativas
Los clientes pueden usar también Azure CycleCloud para crear una cuadrícula completamente en Azure. En esta configuración, el servidor de Azure CycleCloud se ejecuta en la suscripción de Azure.
Azure Batch facilita un enfoque moderno de aplicación donde no es necesaria la administración de un programador de la carga de trabajo. Azure Batch puede ejecutar aplicaciones de informática de alto rendimiento (HPC) en paralelo y a gran escala de manera eficaz en la nube. Azure Batch le permite definir los recursos de proceso de Azure para ejecutar las aplicaciones en paralelo o a escala sin tener que configurar ni administrar la infraestructura de forma manual. Azure Batch programa tareas de proceso intensivo y agrega o quita dinámicamente recursos de proceso según sus necesidades.
Detalles del escenario
Las simulaciones de dinámicas de fluidos computacionales (CFD) requieren un tiempo de proceso considerable y hardware especializado. A medida que aumenta el uso de clúster, lo hacen también los tiempos de simulación y el uso de cuadrículas en general, por lo que se producen problemas de capacidad de reserva y tiempos prolongados en cola. El hardware físico puede resultar costoso y no adecuarse al cambio de afluencia de uso que atraviesan las empresas. Gracias a Azure, muchos de estos desafíos se pueden resolver sin costo alguno.
Azure proporciona el hardware necesario para ejecutar los trabajos de CFD en máquinas virtuales con GPU y CPU. Los tamaños de máquina virtual con acceso directo a memoria remota (RDMA) tienen redes basadas en FDR InfiniBand que permiten la comunicación MPI (interfaz de paso de mensajes) de baja latencia. La combinación de estas soluciones con Avere vFXT, que ofrece un sistema de archivos con clústeres a nivel empresarial, garantiza el máximo rendimiento de lectura en Azure para los clientes.
Se puede usar Azure CycleCloud para aprovisionar los clústeres y orquestar los datos tanto en escenarios híbridos como en la nube para simplificar la creación, la administración y la optimización de los clústeres de informática de alto rendimiento. Cuando se supervisan los trabajos pendientes, CycleCloud inicia automáticamente el proceso a petición, en el que solo paga por uso, que está conectado al programador de cargas de trabajo de su elección.
Posibles casos de uso
Otros sectores pertinentes para las aplicaciones de CFD incluyen:
- Aeronáuticos y aeroespaciales
- Automoción
- HVAC de edificios (instalaciones)
- Petróleo y gas (energía)
- Ciencias de la vida y atención sanitaria
Consideraciones
Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.
Escalabilidad y seguridad
El escalado de los nodos de ejecución en Azure CycleCloud los se realiza manualmente o con la escalabilidad automática. Para más información, consulte Escalabilidad automática de CycleCloud.
Para instrucciones generales de diseño de soluciones seguras, consulte Documentación de Azure Security Center.
Optimización de costos
La optimización de costos trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para más información, vea Información general del pilar de optimización de costos.
El costo de ejecutar una implementación de informática de alto rendimiento con el servidor de CycleCloud varía en función de distintos factores. Por ejemplo, CycleCloud se paga según el tiempo de proceso utilizado; en general, con el servidor principal y de CycleCloud asignados y en ejecución permanentemente. El costo de ejecutar los nodos de ejecución dependerá del tiempo que estén en funcionamiento y del tamaño. También se aplican los cargos de Azure normales por el almacenamiento y las redes.
Este escenario muestra cómo se ejecutan las aplicaciones de CFD en Azure, por lo que las máquinas necesitarán acceso directo a memoria remota, que solo está disponible en tamaños específicos de máquina virtual. Los siguientes son ejemplos de costos en los que se incurre con un conjunto de escalado asignado continuamente durante ocho horas al día en un mes, con una salida de datos de 1 TB. También incluye los precios del servidor de Azure CycleCloud y de la instalación de Avere vFXT para Azure:
- Región: Norte de Europa
- Servidor de Azure CycleCloud: 1 x D3 estándar (4 x CPU, 14 GB de memoria, HDD estándar de 32 GB)
- Servidor principal de Azure CycleCloud: 1 x D12 estándar (4 x CPU, 28 GB de memoria, HDD estándar de 32 GB)
- Matriz de nodos de Azure CycleCloud: 10 x H16r estándar (16 x CPU, 112 GB de memoria)
- Avere vFXT en clúster de Azure: 3 x D16s v3 (SO de 200 GB, disco de datos de 1 TB SSD Premium)
- Salida de datos: 1 TB
Revise el precio estimado del hardware enumerado anteriormente.
Implementación de este escenario
Requisitos previos
Antes de implementar la plantilla de Resource Manager, siga estos pasos:
Cree una entidad de servicio para recuperar los valores de appId y displayName, el nombre, la contraseña y el inquilino.
Genere un par de claves SSH para iniciar sesión en el servidor de CycleCloud de forma segura.
Haga clic en el vínculo siguiente para implementar la solución.
Inicie sesión en el servidor CycleCloud para configurar y crear un clúster.
La caché de Avere es una solución opcional que aumenta drásticamente el rendimiento de lectura de los datos de trabajo de una aplicación. Avere vFXT para Azure soluciona el problema de la ejecución de estas aplicaciones empresariales de informática de alto rendimiento en la nube y aprovecha a la vez los datos almacenados localmente o en Azure Blob Storage.
Si la organización planea una infraestructura híbrida con almacenamiento local e informática en la nube, las aplicaciones HPC pueden aparecer en Azure mediante los datos almacenados en dispositivos NAS y acelerar las CPU virtuales según sea necesario. El conjunto de datos nunca se mueve por completo a la nube. Durante el procesamiento, los bytes solicitados se almacenan temporalmente en caché mediante un clúster de Avere.
Para configurar una instalación de Avere vFXT, siga la Guía de instalación y configuración de Avere.
Colaboradores
Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.
Autor principal:
- Mike Warrington | Ingeniero de FastTrack para Azure
Pasos siguientes
Documentación del producto:
- Qué es Azure CycleCloud
- Máquinas virtuales (VM) de Azure
- Introducción a Almacenamiento de Azure
- ¿Qué es Azure Virtual Network?
Consulte los siguientes artículos sobre máquinas virtuales: