Executar simulações da dinâmica dos fluidos computacional (CFD) no AzureRunning computational fluid dynamics (CFD) simulations on Azure

As simulações da dinâmica dos fluidos computacionais (CFD) exigem um tempo significativo de computação e um hardware especializado.Computational Fluid Dynamics (CFD) simulations require significant compute time along with specialized hardware. À medida que aumenta o uso de cluster, os tempos de simulação e de uso geral da grade crescem, gerando problemas em relação à capacidade reserva e longas filas de espera.As cluster usage increases, simulation times and overall grid use grow, leading to issues with spare capacity and long queue times. A adição de um hardware físico pode custar caro e pode não estar em conformidade com os períodos de altas e baixas de uma empresa.Adding physical hardware can be expensive, and may not align to the usage peaks and valleys that a business goes through. Usando o Azure, muitos desses desafios podem ser superados sem gastos extras.By taking advantage of Azure, many of these challenges can be overcome with no capital expenditure.

O Azure fornece o hardware necessário para executar seus trabalhos da CFD nas máquinas virtuais do CPU e GPU.Azure provides the hardware you need to run your CFD jobs on both GPU and CPU virtual machines. Os tamanhos de VM habilitados para o RDMA (Acesso Remoto Direto à Memória) têm redes com base no InfiniBand do FDR, o que permite a comunicação do MPI (Message Passing Interface) de baixa latência.RDMA (Remote Direct Memory Access) enabled VM sizes have FDR InfiniBand-based networking which allows for low latency MPI (Message Passing Interface) communication. Combinado com o Avere vFXT, que fornece um sistema de arquivos clusterizados de escala empresarial, os clientes podem garantir a melhor taxa de transferência para operações de leitura no Azure.Combined with the Avere vFXT, which provides an enterprise-scale clustered file system, customers can ensure maximum throughput for read operations in Azure.

Para simplificar a criação, o gerenciamento e a otimização de clusters do HPC, o Azure CycleCloud pode ser usado para provisionar os clusters e organizar os dados em cenários na nuvem e híbridos.To simplify the creation, management, and optimization of HPC clusters, Azure CycleCloud can be used to provision clusters and orchestrate data in both hybrid and cloud scenarios. Com o monitoramento dos trabalhos pendentes, o CycleCloud inicia automaticamente a computação sob demanda, na qual você só paga pelo que usa, conectado ao agendador de carga de trabalho de sua preferência.By monitoring the pending jobs, CycleCloud will automatically launch on-demand compute, where you only pay for what you use, connected to the workload scheduler of your choice.

Casos de uso relevantesRelevant use cases

Outros setores relevantes para aplicativos de CFD incluem:Other relevant industries for CFD applications include:

  • AeronáuticoAeronautics
  • AutomotivoAutomotive
  • HVAC de construçãoBuilding HVAC
  • Óleo e gásOil and gas
  • Ciências da vidaLife sciences

ArquiteturaArchitecture

Diagrama da arquitetura

Este diagrama mostra uma visão geral de alto nível de um típico design híbrido que oferece o monitoramento dos nós sob demanda no Azure:This diagram shows a high-level overview of a typical hybrid design providing job monitoring of the on-demand nodes in Azure:

  1. Conecte-se ao servidor do Azure CycleCloud para configurar o cluster.Connect to the Azure CycleCloud server to configure the cluster.
  2. Configure e crie o nó principal do cluster, usando máquinas com o RDMA habilitado para MPI.Configure and create the cluster head node, using RDMA enabled machines for MPI.
  3. Adicione e configure o nó principal local.Add and configure the on-premises head node.
  4. Caso não haja recursos o suficiente, o Azure CycleCloud irá aumentar (ou reduzir) os recursos de computação no Azure.If there are insufficient resources, Azure CycleCloud will scale up (or down) compute resources in Azure. É possível definir um limite predeterminado para evitar a alocação excessiva.A predetermined limit can be defined to prevent over allocation.
  5. Tarefas alocadas para os nós de execução.Tasks allocated to the execute nodes.
  6. Dados armazenados em cache no Azure do servidor NFS local.Data cached in Azure from on-premises NFS server.
  7. Dados lidos do cache do Avere vFXT para Azure.Data read in from the Avere vFXT for Azure cache.
  8. Informações de trabalho e de tarefa retransmitidas para o servidor do Azure CycleCloud.Job and task information relayed to the Azure CycleCloud server.

ComponentesComponents

  • Azure CycleCloud uma ferramenta para criar, gerenciar, operar e otimizar clusters HPC e Big Compute no Azure.Azure CycleCloud a tool for creating, managing, operating, and optimizing HPC and Big Compute clusters in Azure.
  • VFXT Avere no Azure é usado para fornecer um sistema de arquivos em cluster em escala empresarial criado para a nuvem.Avere vFXT on Azure is used to provide an enterprise-scale clustered file system built for the cloud.
  • Máquinas virtuais (VMs) são usados para criar um conjunto estático de instâncias de computação.Azure Virtual Machines (VMs) are used to create a static set of compute instances.
  • Conjuntos de dimensionamento de máquina virtual forneça um grupo de VMs idênticas capazes de que está sendo dimensionado para cima ou para baixo CycleCloud do Azure.Virtual machine scale sets provide a group of identical VMs capable of being scaled up or down by Azure CycleCloud.
  • As contas do Armazenamento do Azure são usadas para a sincronização e a retenção de dados.Azure Storage accounts are used for synchronization and data retention.
  • As Redes Virtuais permitem vários tipos de recursos do Azure, como Máquinas Virtuais (VMs) do Microsoft Azure, a fim de se comunicar de forma segura com a Internet, com as redes locais e com outras VMs.Virtual Networks enable many types of Azure resources, such as Azure Virtual Machines (VMs), to securely communicate with each other, the internet, and on-premises networks.

AlternativasAlternatives

Os clientes também podem usar o Azure CycleCloud para criar uma grade inteiramente no Azure.Customers can also use Azure CycleCloud to create a grid entirely in Azure. Nessa configuração, o servidor do Azure CycleCloud é executado dentro da assinatura do Azure.In this setup, the Azure CycleCloud server is run within your Azure subscription.

Para onde o gerenciamento de um agendador de carga de trabalho não for necessária, uma abordagem de aplicativo moderno lote do Azure pode ajudar.For a modern application approach where management of a workload scheduler is not needed, Azure Batch can help. O Lote do Azure pode executar com eficiência aplicativos HPC (computação de alto desempenho) e paralelos em grande escala na nuvem.Azure Batch can run large-scale parallel and high-performance computing (HPC) applications efficiently in the cloud. O Lote do Azure permite definir os recursos de computação do Azure para executar seus aplicativos em paralelo ou em escala sem configurar manualmente ou gerenciar a infraestrutura.Azure Batch allows you to define the Azure compute resources to execute your applications in parallel or at scale without manually configuring or managing infrastructure. O Lote do Azure agenda as tarefas que requerem muita computação e adiciona e remove dinamicamente os recursos de computação com base em seus requisitos.Azure Batch schedules compute-intensive tasks and dynamically adds and removes compute resources based on your requirements.

Escalabilidade e SegurançaScalability, and Security

O dimensionamento dos nós de execução no Azure CycleCloud pode ser feito manualmente ou usando o dimensionamento automático.Scaling the execute nodes on Azure CycleCloud can be accomplished either manually or using autoscaling. Para obter mais informações, consulte CycleCloud Autoscaling.For more information, see CycleCloud Autoscaling.

Para obter orientação geral sobre como criar soluções seguras, consulte a documentação de segurança do Azure.For general guidance on designing secure solutions, see the Azure security documentation.

Implantar o cenárioDeploy the scenario

Pré-requisitosPrerequisites

Siga estas etapas antes de implantar o modelo do Resource Manager:Follow these steps before deploying the Resource Manager template:

  1. Criar uma entidade de serviço para recuperar o appId displayName, nome, senha e locatário.Create a service principal for retrieving the appId, displayName, name, password, and tenant.

  2. Gerar um par de chaves SSH entrar com segurança para o servidor CycleCloud.Generate an SSH key pair to sign in securely to the CycleCloud server.

  3. Clique no link abaixo para implantar a solução.Click the link below to deploy the solution.

    Implantar no AzureDeploy to Azure

  4. Faça logon no servidor CycleCloud para configurar e criar um novo cluster.Log into the CycleCloud server to configure and create a new cluster.

  5. Criar um cluster.Create a cluster.

O Cache do Avere é uma solução opcional que pode aumentar drasticamente a taxa de transferência de leitura dos dados do trabalho do aplicativo.The Avere Cache is an optional solution that can drastically increase read throughput for the application job data. O Avere vFXT para Azure resolve o problema da execução desses aplicativos de HPC na nuvem e aproveita os dados armazenados no local ou no Armazenamento de Blobs do Azure.Avere vFXT for Azure solves the problem of running these enterprise HPC applications in the cloud while leveraging data stored on-premises or in Azure Blob storage.

Para organizações que planejam para uma infraestrutura híbrida com o armazenamento local e a computação em nuvem, os aplicativos de HPC "disparar" para o Azure usando dados armazenados em dispositivos NAS e acelerar a CPUs virtuais conforme necessário.For organizations that are planning for a hybrid infrastructure with both on-premises storage and cloud computing, HPC applications can "burst" into Azure using data stored in NAS devices and spin up virtual CPUs as needed. O conjunto de dados nunca é completamente movido para a nuvem.The data set is never moved completely into the cloud. Os bytes solicitados são armazenados temporariamente em cache usando um cluster do Avere durante o processamento.The requested bytes are temporarily cached using an Avere cluster during processing.

Para instalar e configurar uma instalação de vFXT Avere, siga as guia de configuração e instalação Avere.To set up and configure an Avere vFXT installation, follow the Avere Setup and Configuration guide.

PreçosPricing

O custo de executar uma implantação de HPC usando o servidor do CycleCloud varia de acordo com uma série de fatores.The cost of running an HPC implementation using CycleCloud server will vary depending on a number of factors. Por exemplo, o CycleCloud é cobrado pelo tempo de computação que é usado, com o servidor do CycleCloud e Master normalmente sendo constantemente alocado e em execução.For example, CycleCloud is charged by the amount of compute time that is used, with the Master and CycleCloud server typically being constantly allocated and running. O custo para executar os nós de execução depende do tempo de operação deles, bem como do tamanho que é usado.The cost of running the Execute nodes will depend on how long these are up and running as well as what size is used. Também se aplicam os encargos normais de armazenamento e rede do Azure.The normal Azure charges for storage and networking also apply.

Este cenário mostra como os aplicativos de CFD podem ser executados no Azure, as máquinas exigirão a funcionalidade de RDMA, que só está disponível em tamanhos específicos de máquina virtual.This scenario shows how CFD applications can be run in Azure, so the machines will require RDMA functionality, which is only available on specific VM sizes. Veja a seguir exemplos de custos gerados para um conjunto de dimensionamento alocado continuamente oito horas por dia durante um mês, com saída de dados de 1 TB.The following are examples of costs that could be incurred for a scale set that is allocated continuously for eight hours per day for one month, with data egress of 1 TB. Isso inclui também o preço do servidor do Azure CycleCloud e da instalação do Avere vFXT para Azure:It also includes pricing for the Azure CycleCloud server and the Avere vFXT for Azure install:

  • Região: Norte da EuropaRegion: North Europe
  • Servidor Azure CycleCloud: 1 x Standard D3 (4 x CPUs, 14 GB de memória, Standard HDD 32 GB)Azure CycleCloud Server: 1 x Standard D3 (4 x CPUs, 14 GB Memory, Standard HDD 32 GB)
  • Servidor mestre Azure CycleCloud: 1 x Standard D12 v (4 x CPUs, 28 GB de memória, Standard HDD 32 GB)Azure CycleCloud Master Server: 1 x Standard D12 v (4 x CPUs, 28 GB Memory, Standard HDD 32 GB)
  • Matriz de Nó do Azure CycleCloud: 10 x Standard H16r (16 x CPUs, 112 GB de memória)Azure CycleCloud Node Array: 10 x Standard H16r (16 x CPUs, 112 GB Memory)
  • Avere vFXT no Azure Cluster: 3 x D16s v3 (Sistema operacional 200 GB, disco de dados Premium SSD 1-TB)Avere vFXT on Azure Cluster: 3 x D16s v3 (200 GB OS, Premium SSD 1-TB data disk)
  • Saída de Dados: 1 TBData Egress: 1 TB

Examine este estimativa de preço para o hardware listado acima.Review this price estimate for the hardware listed above.

Próximas etapasNext Steps

Depois de implantar o exemplo, saiba mais sobre CycleCloud Azure.Once you've deployed the sample, learn more about Azure CycleCloud.