Esta arquitetura demonstra a execução de simulações dinâmicas de fluidos computacionais com o Azure. Saiba como criar, gerir e otimizar clusters com o Azure CycleCloud.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de trabalho
Este diagrama mostra uma descrição geral de alto nível de um design híbrido típico que fornece monitorização de tarefas dos nós a pedido no Azure:
- Ligue-se ao servidor Azure CycleCloud para configurar o cluster.
- Configure e crie o nó principal do cluster com máquinas com RDMA ativado para MPI.
- Adicionar e configurar o nó principal no local.
- Se não existirem recursos suficientes, o Azure CycleCloud dimensiona os recursos de computação do Azure para cima (ou para baixo). Pode ser definido um limite predeterminado para impedir a alocação excedida.
- As tarefas são alocadas aos nós de execução.
- Os dados são colocados em cache no Azure a partir do servidor NFS no local.
- Os dados são lidos a partir do Avere vFXT para a cache do Azure .
- As informações das tarefas e das tarefas são reencaminhadas para o servidor Azure CycleCloud.
Componentes
- O Azure CycleCloud é uma ferramenta para criar, gerir, operar e otimizar clusters de HPC e Macrocomputação no Azure.
- O Avere vFXT no Azure é utilizado para fornecer um sistema de ficheiros em cluster à escala empresarial criado para a cloud.
- O Azure Máquinas Virtuais (VMs) é utilizado para criar um conjunto estático de instâncias de computação.
- Os conjuntos de dimensionamento de máquinas virtuais fornecem um grupo de VMs idênticas com capacidade para serem aumentados ou reduzidos verticalmente pelo Azure CycleCloud.
- As contas de Armazenamento do Azure são utilizadas para sincronização e retenção de dados.
- As Redes Virtuais do Azure permitem que muitos tipos de recursos do Azure, como VMs, comuniquem entre si, a Internet e as redes no local de forma segura.
Alternativas
Os clientes também podem utilizar o Azure CycleCloud para criar uma grelha inteiramente no Azure. Nesta configuração, o servidor do Azure CycleCloud é executado na sua subscrição do Azure.
Para uma abordagem de aplicação moderna em que a gestão de um agendador de cargas de trabalho não é necessária, Azure Batch pode ajudar. Azure Batch podem executar aplicações de computação de alto desempenho (HPC) paralelas e de grande escala de forma eficiente na cloud. Azure Batch permite-lhe definir os recursos de computação do Azure para executar as suas aplicações em paralelo ou em escala sem configurar ou gerir manualmente a infraestrutura. Azure Batch agenda tarefas intensivas em termos de computação e adiciona e remove dinamicamente recursos de computação com base nos seus requisitos.
Detalhes do cenário
As simulações de dinâmica de fluidos computacionais (CFD) requerem um tempo de computação significativo, juntamente com hardware especializado. À medida que a utilização do cluster aumenta, os tempos de simulação e a utilização geral da grelha aumentam, o que leva a problemas com a capacidade de reserva e tempos de fila longos. A adição de hardware físico pode ser dispendiosa e pode não estar alinhada com os picos de utilização e vales pelos quais uma empresa passa. Ao tirar partido do Azure, muitos destes desafios podem ser ultrapassados sem despesas de capital.
O Azure fornece o hardware de que precisa para executar os seus trabalhos de CFD em máquinas virtuais de GPU e CPU. Os tamanhos de VM ativados para RDMA (Acesso Direto Remoto à Memória) têm redes baseadas em InfiniBand FDR, o que permite comunicação com MPI de baixa latência (Interface de Passagem de Mensagens). Quando combina estas soluções com o Avere vFXT, que fornece um sistema de ficheiros em cluster à escala empresarial, os clientes podem garantir o débito máximo para operações de leitura no Azure.
Para simplificar a criação, gestão e otimização de clusters HPC, o Azure CycleCloud pode ser utilizado para aprovisionar clusters e orquestrar dados em cenários híbridos e na cloud. Quando monitoriza as tarefas pendentes, o CycleCloud inicia automaticamente a computação a pedido, onde paga apenas o que utiliza, ligado ao agendador de cargas de trabalho à sua escolha.
Potenciais casos de utilização
Outros setores relevantes para aplicações CFD incluem:
- Aeronáutica e aeroespacial/aeronaves
- Automóvel
- Edifício HVAC (instalações)
- Petróleo e gás (energia)
- Ciências da vida e cuidados de saúde
Considerações
Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser utilizados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, veja Microsoft Azure Well-Architected Framework.
Escalabilidade e segurança
O dimensionamento dos nós de execução no Azure CycleCloud pode ser feito manualmente ou através do dimensionamento automático. Para obter mais informações, veja CycleCloud Autoscaling (Dimensionamento Automático do CycleCloud).
Para obter orientações gerais sobre a conceção de soluções seguras, veja a documentação de segurança do Azure.
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, veja Descrição geral do pilar de otimização de custos.
O custo da execução de uma implementação HPC com o servidor CycleCloud varia consoante vários fatores. Por exemplo, o CycleCloud é cobrado pela quantidade de tempo de computação utilizado, com o servidor Primário e CycleCloud normalmente alocado e em execução. O custo de execução dos nós Executar dependerá do tempo durante o qual estes estão em execução, bem como do tamanho utilizado. Os custos normais do Azure para armazenamento e rede também se aplicam.
Este cenário mostra como as aplicações CFD podem ser executadas no Azure, pelo que as máquinas irão precisar da funcionalidade RDMA, que só está disponível em tamanhos de VM específicos. Seguem-se exemplos de custos que podem ser incorridos para um conjunto de dimensionamento que é alocado continuamente durante oito horas por dia durante um mês, com saída de dados de 1 TB. Também inclui preços para o servidor Azure CycleCloud e a instalação do Avere vFXT para o Azure:
- Região: Europa do Norte
- Azure CycleCloud Server: 1 x Standard D3 (4 x CPUs, 14 GB de Memória, HDD Standard 32 GB)
- Servidor Primário do Azure CycleCloud: 1 x Standard D12 v (4 x CPUs, 28 GB de Memória, HDD Standard 32 GB)
- Matriz de Nós do Azure CycleCloud: 10 x H16r Standard (16 x CPUs, 112 GB de Memória)
- Avere vFXT no Cluster do Azure: 3 x D16s v3 (SO de 200 GB, disco de dados SSD Premium de 1 TB)
- Saída de Dados: 1 TB
Reveja esta estimativa de preço para o hardware listado acima.
Implementar este cenário
Pré-requisitos
Siga estes passos antes de implementar o modelo de Resource Manager:
Crie um principal de serviço para obter o appId, displayName, nome, palavra-passe e inquilino.
Gere um par de chaves SSH para iniciar sessão de forma segura no servidor CycleCloud.
Clique na ligação abaixo para implementar a solução.
Inicie sessão no servidor CycleCloud para configurar e criar um novo cluster.
A Cache do Avere é uma solução opcional que pode aumentar drasticamente o débito de leitura para os dados da tarefa da aplicação. O Avere vFXT para o Azure resolve o problema de execução destas aplicações HPC empresariais na cloud ao tirar partido dos dados armazenados no local ou no armazenamento de Blobs do Azure.
Para as organizações que estão a planear uma infraestrutura híbrida com armazenamento no local e computação na cloud, as aplicações HPC podem "rebentar" para o Azure com dados armazenados em dispositivos NAS e criar CPUs virtuais conforme necessário. O conjunto de dados nunca é movido completamente para a cloud. Os bytes pedidos são temporariamente colocados em cache com um cluster do Avere durante o processamento.
Para configurar uma instalação do Avere vFXT, siga o Guia de Configuração e Configuração do Avere.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Mike Warrington | FastTrack para Engenheiro do Azure
Passos seguintes
Documentação do produto:
- O que é o Azure CycleCloud?
- Máquinas Virtuais do Azure (VMs)
- Introdução ao Armazenamento do Azure
- O que é o Azure Rede Virtual?
Veja os seguintes artigos sobre máquinas virtuais: