Essa arquitetura demonstra a execução de simulações de dinâmica de fluidos computacional usando o Azure. Aprenda a criar, gerenciar e otimizar clusters usando o Azure CycleCloud.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Workflow
Este diagrama mostra uma visão geral de alto nível de um típico design híbrido que oferece o monitoramento dos nós sob demanda no Azure:
- Conecte-se ao servidor do Azure CycleCloud para configurar o cluster.
- Configure e crie o nó principal do cluster, usando máquinas com o RDMA habilitado para MPI.
- Adicione e configure o nó principal local.
- Se não houver recursos suficientes, o Azure CycleCloud aumenta (ou diminui) os recursos de computação do Azure. É possível definir um limite predeterminado para evitar a alocação excessiva.
- Tarefas são alocadas para os nós de execução.
- Dados são armazenados em cache no Azure do servidor NFS local.
- Dados lidos do cache do Avere vFXT for Azure.
- Informações de trabalho e de tarefa retransmitidas para o servidor do Azure CycleCloud.
Componentes
- O Azure CycleCloud é uma ferramenta para criar, gerenciar, operar e otimizar clusters de HPC e Big Compute no Azure.
- O Avere vFXT no Azure é usado para fornecer um sistema de arquivos clusterizados de escala empresarial desenvolvido para a nuvem.
- Azure Virtual Machines (VMs) são usadas para criar um conjunto estático de instâncias de computação.
- Os conjuntos de dimensionamento de máquinas virtuais oferecem um grupo de VMs idênticas que podem ser ampliadas ou reduzidas no Azure CycleCloud.
- As contas do Armazenamento do Azure são usadas para a sincronização e a retenção de dados.
- As Azure Virtual Networks permitem vários tipos de recursos do Azure, como Máquinas Virtuais (VMs) do Microsoft Azure, a fim de se comunicar de forma segura com a Internet, com as redes locais e com outras VMs.
Alternativas
Os clientes também podem usar o Azure CycleCloud para criar uma grade inteiramente no Azure. Nessa configuração, o servidor do Azure CycleCloud é executado dentro da assinatura do Azure.
Para uma abordagem de aplicativo moderno, em que o gerenciamento de um agendador de carga de trabalho não é necessário, o Lote do Azure pode ajudar. O Lote do Azure pode executar com eficiência aplicativos HPC (computação de alto desempenho) e paralelos em grande escala na nuvem. O Lote do Azure permite definir os recursos de computação do Azure para executar seus aplicativos em paralelo ou em escala sem configurar manualmente ou gerenciar a infraestrutura. O Lote do Azure agenda as tarefas que requerem muita computação e adiciona e remove dinamicamente os recursos de computação com base em seus requisitos.
Detalhes do cenário
As simulações da dinâmica dos fluidos computacionais (CFD) exigem um tempo significativo de computação e um hardware especializado. À medida que aumenta o uso de cluster, os tempos de simulação e de uso geral da grade crescem, gerando problemas em relação à capacidade reserva e longas filas de espera. A adição de um hardware físico pode custar caro e pode não estar em conformidade com os períodos de altas e baixas de uma empresa. Usando o Azure, muitos desses desafios podem ser superados sem gastos extras.
O Azure fornece o hardware necessário para executar seus trabalhos da CFD nas máquinas virtuais do CPU e GPU. Os tamanhos de VM habilitados para o RDMA (Acesso Remoto Direto à Memória) têm redes com base no InfiniBand do FDR, o que permite a comunicação do MPI (Message Passing Interface) de baixa latência. Quando você combina essas soluções com o Avere vFXT, que fornece um sistema de arquivos clusterizados de escala empresarial, os clientes podem garantir a melhor taxa de transferência para operações de leitura no Azure.
Para simplificar a criação, o gerenciamento e a otimização de clusters do HPC, o Azure CycleCloud pode ser usado para provisionar os clusters e organizar os dados em cenários na nuvem e híbridos. Com o monitoramento dos trabalhos pendentes, o CycleCloud inicia automaticamente a computação sob demanda, na qual você só paga pelo que usa, conectado ao agendador de carga de trabalho de sua preferência.
Possíveis casos de uso
Outros setores relevantes para aplicativos de CFD incluem:
- Aeronáutica e aeroespacial/aeronáutica
- Automotivo
- Edifício HVAC (instalações)
- Petróleo e gás (energia)
- Saúde e ciências naturais.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.
Escalabilidade e segurança
O dimensionamento dos nós de execução no Azure CycleCloud pode ser feito manualmente ou usando o dimensionamento automático. Para saber mais, veja Dimensionamento Automático do CycleCloud.
Confira orientações gerais sobre como criar soluções seguras na Documentação de segurança do Azure.
Otimização de custo
A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
O custo de executar uma implantação de HPC usando o servidor do CycleCloud varia de acordo com uma série de fatores. Por exemplo, o CycleCloud é cobrado pelo tempo de computação que é usado, com o servidor do CycleCloud e Primário normalmente sendo constantemente alocado e em execução. O custo para executar os nós de execução depende do tempo de operação deles, bem como do tamanho que é usado. Também se aplicam os encargos normais de armazenamento e rede do Azure.
Este cenário mostra como os aplicativos de CFD podem ser executados no Azure, as máquinas exigirão a funcionalidade de RDMA, que só está disponível em tamanhos específicos de máquina virtual. Veja a seguir exemplos de custos gerados para um conjunto de dimensionamento alocado continuamente oito horas por dia durante um mês, com saída de dados de 1 TB. Isso inclui também o preço do servidor do Azure CycleCloud e da instalação do Avere vFXT para Azure:
- Região: Norte da Europa
- Servidor do Azure CycleCloud: 1x D3 Standard (4x CPUs, 14 GB de Memória, HDD Standard de 32 GB)
- Servidor Primário do Azure CycleCloud: 1x D12 Standard (4x CPUs, 28 GB de Memória, HDD Standard de 32 GB)
- Matriz do Nó do Azure CycleCloud: 10x H16r Standard (16x CPUs, 112 GB de Memória)
- Avere vFXT no Cluster do Azure: 3x D16s v3 (200 GB OS, disco de dados SSD Premium de 1-TB)
- Saída de Dados: 1 TB
Analise esta estimativa de preço do hardware listado acima.
Implantar este cenário
Pré-requisitos
Siga estas etapas antes de implantar o modelo do Resource Manager:
Crie uma entidade de serviço para recuperar o appId, displayName, nome, senha e locatário.
Gere um par de chaves SSH para entrar com segurança no servidor CycleCloud.
Clique no link abaixo para implantar a solução.
Faça logon no servidor do CycleCloud para configurar e criar um novo cluster.
O Cache do Avere é uma solução opcional que pode aumentar drasticamente a taxa de transferência de leitura dos dados do trabalho do aplicativo. O Avere vFXT para Azure resolve o problema da execução desses aplicativos de HPC na nuvem e aproveita os dados armazenados no local ou no Armazenamento de Blobs do Azure.
Para organizações que pretendem usar uma infraestrutura híbrida com computação na nuvem e armazenamento no local, os aplicativos de HPC podem “disparar” para o Azure usando os dados armazenados nos dispositivos NAS e processar CPUs virtuais conforme necessário. O conjunto de dados nunca é completamente movido para a nuvem. Os bytes solicitados são armazenados temporariamente em cache usando um cluster do Avere durante o processamento.
Para definir e configurar uma instalação do Avere vFXT, siga o Guia de Instalação e Configuração do Avere.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Mike Warrington | Engenheiro de FastTrack for Azure
Próximas etapas
Documentação do produto:
- O que é Azure CycleCloud?
- VMs (Máquinas Virtuais) do Azure
- Introdução ao Armazenamento do Azure
- O que é a Rede Virtual do Azure?
Consulte os seguintes artigos sobre máquinas virtuais: