Tamanhos de VMs de computação de alto desempenho

  • Artigo

Atenção

Este artigo faz referência ao CentOS, uma distribuição Linux que está se aproximando do status de Fim da Vida Útil (EOL). Por favor, considere o seu uso e planeje de acordo. Para obter mais informações, consulte as diretrizes de Fim da Vida Útil do CentOS.

Aplica-se a: ✔️ VMs ✔️ Linux VMs ✔️ do Windows Conjuntos ✔️ de escala flexíveis Conjuntos de balanças uniformes

Gorjeta

Experimente a ferramenta Seletor de máquinas virtuais para encontrar outros tamanhos que melhor se adaptem à sua carga de trabalho.

As VMs da série HBv4 são otimizadas para várias cargas de trabalho de HPC, como dinâmica de fluidos computacional, análise de elementos finitos, frontend, renderização, dinâmica molecular, geociência computacional, simulação meteorológica e análise de risco financeiro. As VMs HBv4 apresentam até 176 núcleos de CPU AMD EPYC™ 9V33X (GenoaX) com cache 3D-V da AMD, 768 GB de RAM e sem multithreading simultâneo. As VMs da série HBv4 também fornecem 780 GB/s de largura de banda de memória DDR5 e 2304 MB de cache L3 por VM, para 12 GB/s (leituras) e 7 GB/s (gravações) de desempenho SSD de dispositivo de bloco e frequências de clock de até 3,7 GHz.

Todas as VMs da série HBv4 apresentam InfiniBand NDR de 400 Gb/s da NVIDIA Networking para permitir cargas de trabalho MPI em escala de supercomputador. Essas VMs são conectadas em uma árvore de gordura sem bloqueio para um desempenho RDMA otimizado e consistente. A NDR continua a oferecer suporte a recursos como o Roteamento Adaptativo e o Transporte Conectado Dinamicamente (DCT). Esta nova geração da InfiniBand também traz maior suporte para descarga de coletivos MPI, latências otimizadas do mundo real devido à inteligência de controle de congestionamento e recursos de roteamento adaptativo aprimorados. Esses recursos melhoram o desempenho, a escalabilidade e a consistência do aplicativo, e seu uso é recomendado.

As VMs da série HBv3 são otimizadas para aplicações de HPC, como dinâmica de fluidos, análise explícita e implícita de elementos finitos, modelagem meteorológica, processamento sísmico, simulação de reservatório e simulação RTL. As VMs HBv3 apresentam até 120 núcleos de CPU AMD EPYC™ série 7003 (MilanX), 448 GB de RAM e sem hyperthreading. As VMs da série HBv3 também fornecem 350 GB/s de largura de banda de memória, até 32 MB de cache L3 por núcleo, até 7 GB/s de desempenho SSD de dispositivo de bloco e frequências de clock de até 3,5 GHz.

Todas as VMs da série HBv3 contam com InfiniBand HDR de 200 GB/seg. da NVIDIA Networking para permitir cargas de trabalho à escala de supercomputador. Essas VMs são conectadas em uma árvore de gordura sem bloqueio para um desempenho RDMA otimizado e consistente. A malha HDR InfiniBand também suporta Roteamento Adaptativo e Transporte Conectado Dinâmico (DCT, além de transportes RC e UD padrão). Esses recursos melhoram o desempenho, a escalabilidade e a consistência do aplicativo, e seu uso é altamente recomendado.

As VMs da série HBv2 são otimizadas para aplicativos orientados pela largura de banda da memória, como dinâmica de fluidos, análise de elementos finitos e simulação de reservatório. As VMs HBv2 apresentam 120 núcleos de processador AMD EPYC 7742, 4 GB de RAM por núcleo de CPU e nenhum multithreading simultâneo. Cada VM HBv2 fornece até 340 GB/seg de largura de banda de memória e até 4 teraFLOPS de computação FP64.

As VMs HBv2 apresentam Mellanox HDR InfiniBand de 200 Gb/seg, enquanto as VMs das séries HB e HC apresentam Mellanox EDR InfiniBand de 100 Gb/seg. Cada um desses tipos de VM é conectado em uma árvore de gordura sem bloqueio para um desempenho RDMA otimizado e consistente. As VMs HBv2 suportam o Roteamento Adaptativo e o Transporte Conectado Dinâmico (DCT, além dos transportes RC e UD padrão). Esses recursos melhoram o desempenho, a escalabilidade e a consistência do aplicativo, e seu uso é altamente recomendado.

As VMs da série HB são otimizadas para aplicações orientadas pela largura de banda da memória, como dinâmica de fluidos, análise explícita de elementos finitos e modelagem meteorológica. As VMs da série HB apresentam 60 núcleos de processador AMD EPYC 7551, 4 GB de RAM por núcleo de CPU e nenhum hiperthreading. A plataforma AMD EPYC fornece mais de 260 GB/segundo de largura de banda de memória.

As VMs da série HC são otimizadas para aplicações orientadas por computação densa, como análise implícita de elementos finitos, dinâmica molecular e química computacional. As VMs da série HC apresentam 44 núcleos de processador Intel Xeon Platinum 8168, 8 GB de RAM por núcleo de CPU e nenhum hiperthreading. A plataforma Intel Xeon Platinum suporta o rico ecossistema de ferramentas de software da Intel, como a Intel Math Kernel Library.

As VMs da série HX são otimizadas para cargas de trabalho que exigem capacidade de memória significativa com o dobro da capacidade de memória do HBv4. Por exemplo, cargas de trabalho como o design de silício podem usar VMs da série HX para permitir que os clientes EDA que visam os processos de fabricação mais avançados executem suas cargas de trabalho que consomem mais memória. As VMs HX apresentam até 176 núcleos de CPU AMD EPYC™ 9V33X (GenoaX), 1408 GB de RAM e nenhum multithreading simultâneo. As VMs da série HX também fornecem 780 GB/s de largura de banda de memória DDR5 e 2304 MB de cache L3 por VM, até 12 GB/s (leituras) e 7 GB/s (gravações) de desempenho SSD de dispositivos de bloco e frequências de clock de até 3,7 GHz.

Nota

Todas as VMs das séries HBv4, HBv3, HBv2, HB, HC e HX têm acesso exclusivo aos servidores físicos. Há apenas 1 VM por servidor físico e não há multilocação compartilhada com outras VMs para esses tamanhos de VM.

Instâncias com capacidade de RDMA

A maioria dos tamanhos de VM HPC apresenta uma interface de rede para conectividade RDMA (acesso remoto direto à memória). Os tamanhos selecionados da série N designados com «r» também são compatíveis com RDMA. Essa interface é adicional à interface de rede Ethernet padrão do Azure disponível nos outros tamanhos de VM.

Essa interface secundária permite que as instâncias compatíveis com RDMA se comuniquem através de uma rede InfiniBand (IB), operando com taxas HDR para HBv3, HBv2, taxas EDR para HB, HC, NDv2 e taxas FDR para H16r, H16mr e outras máquinas virtuais da série N compatíveis com RDMA. Esses recursos RDMA podem aumentar a escalabilidade e o desempenho de aplicativos baseados em MPI (Message Passing Interface).

Nota

Suporte a SR-IOV: no Azure HPC, atualmente há duas classes de VMs, dependendo se elas estão habilitadas para SR-IOV para InfiniBand. Atualmente, quase todas as VMs de geração mais recente, compatíveis com RDMA ou habilitadas para InfiniBand no Azure são habilitadas para SR-IOV, exceto para H16r, H16mr e NC24r. O RDMA só está habilitado na rede InfiniBand (IB) e é suportado para todas as VMs compatíveis com RDMA. IP sobre IB só é suportado nas VMs habilitadas para SR-IOV. O RDMA não está ativado através da rede Ethernet.

  • Sistema operacional - Distribuições Linux como CentOS, RHEL, Ubuntu, SUSE são comumente usadas. O Windows Server 2016 e versões mais recentes são suportados em todas as VMs da série HPC. Observe que o Windows Server 2012 R2 não é suportado no HBv2 em diante como tamanhos de VM com mais de 64 núcleos (virtuais ou físicos). Consulte Imagens de VM para obter uma lista de imagens de VM suportadas no Marketplace e como elas podem ser configuradas adequadamente. As respetivas páginas de tamanho de VM também listam o suporte à pilha de software.

  • InfiniBand e drivers - Em VMs habilitadas para InfiniBand, os drivers apropriados são necessários para habilitar o RDMA. Consulte Imagens de VM para obter uma lista de imagens de VM suportadas no Marketplace e como elas podem ser configuradas adequadamente. Consulte também como habilitar o InfiniBand para saber mais sobre extensões de VM ou instalação manual de drivers InfiniBand.

  • MPI - Os tamanhos de VM habilitados para SR-IOV no Azure permitem que quase qualquer tipo de MPI seja usado com o Mellanox OFED. Consulte Configurar MPI para HPC para obter mais detalhes sobre como configurar o MPI em VMs HPC no Azure.

    Nota

    Espaço de endereçamento de rede RDMA: A rede RDMA no Azure reserva o espaço de endereço 172.16.0.0/16. Para executar aplicativos MPI em instâncias implantadas em uma rede virtual do Azure, verifique se o espaço de endereço da rede virtual não se sobrepõe à rede RDMA.

Opções de configuração de clusters

O Azure fornece várias opções para criar clusters de VMs HPC que podem se comunicar usando a rede RDMA, incluindo:

  • Máquinas virtuais - Implante as VMs HPC compatíveis com RDMA no mesmo conjunto de escala ou conjunto de disponibilidade (quando você usa o modelo de implantação do Azure Resource Manager). Se você usar o modelo de implantação clássico, implante as VMs no mesmo serviço de nuvem.

  • Conjuntos de dimensionamento de máquina virtual - Em um conjunto de dimensionamento de máquina virtual, certifique-se de limitar a implantação a um único grupo de posicionamento para comunicação InfiniBand dentro do conjunto de escala. Por exemplo, em um modelo do Gerenciador de Recursos, defina a singlePlacementGroup propriedade como true. Observe que o tamanho máximo do conjunto de escala que pode ser girado é singlePlacementGroup=true limitado a 100 VMs por padrão. Se as suas necessidades de escala de trabalho HPC forem superiores a 100 VMs em um único locatário, você pode solicitar um aumento, abrir uma solicitação de suporte ao cliente on-line sem nenhum custo. O limite do número de VMs em um único conjunto de escala pode ser aumentado para 300. Observe que, ao implantar VMs usando Conjuntos de Disponibilidade, o limite máximo é de 200 VMs por Conjunto de Disponibilidade.

    Nota

    MPI entre máquinas virtuais: se for necessário RDMA (por exemplo, usando comunicação MPI) entre máquinas virtuais (VMs), verifique se as VMs estão no mesmo conjunto de escala de máquina virtual ou conjunto de disponibilidade.

  • Azure CycleCloud - Crie um cluster HPC usando o Azure CycleCloud para executar trabalhos MPI.

  • Azure Batch - Crie um pool de Lotes do Azure para executar cargas de trabalho MPI. Para usar instâncias de computação intensiva ao executar aplicativos MPI com o Azure Batch, consulte Usar tarefas de várias instâncias para executar aplicativos MPI (Message Passing Interface) no Azure Batch.

  • O Microsoft HPC Pack HPC Pack - inclui um ambiente de tempo de execução para MS-MPI que usa a rede RDMA do Azure quando implantado em VMs Linux compatíveis com RDMA. Por exemplo, implantações, consulte Configurar um cluster RDMA Linux com HPC Pack para executar aplicativos MPI.

Considerações sobre implementação

  • Subscrição do Azure – Para implementar mais do que algumas instâncias de computação intensiva, considere uma subscrição pré-paga ou outras opções de compra. Se estiver a utilizar uma conta gratuita do Azure, pode utilizar apenas um número limitado de núcleos de computação do Azure.

  • Preço e disponibilidade - Verifique os preços e a disponibilidade da VM por regiões do Azure.

  • Cota de núcleos – Talvez seja necessário aumentar a cota de núcleos em sua assinatura do Azure a partir do valor padrão. Sua assinatura também pode limitar o número de núcleos que você pode implantar em determinadas famílias de tamanhos de VM, incluindo a série H. Para pedir um aumento de quota, abra um pedido de suporte ao cliente online, sem custos. (Os limites padrão podem variar dependendo da sua categoria de assinatura.)

    Nota

    Entre em contato com o Suporte do Azure se tiver necessidades de capacidade em grande escala. As cotas do Azure são limites de crédito, não garantias de capacidade. Independentemente da sua quota, só lhe são cobrados os núcleos que utilizar.

  • Rede virtual – Uma rede virtual do Azure não é necessária para usar as instâncias de computação intensiva. No entanto, para muitas implantações, você precisa de pelo menos uma rede virtual do Azure baseada em nuvem ou uma conexão site a site se precisar acessar recursos locais. Quando necessário, crie uma nova rede virtual para implantar as instâncias. Não há suporte para a adição de VMs de computação intensiva a uma rede virtual em um grupo de afinidade.

  • Redimensionamento – Devido ao seu hardware especializado, você só pode redimensionar instâncias de computação intensiva dentro da mesma família de tamanhos (série H ou série N). Por exemplo, você só pode redimensionar uma VM da série H de um tamanho da série H para outro. Considerações adicionais sobre o suporte ao driver InfiniBand e discos NVMe podem precisar ser consideradas para determinadas VMs.

Outros tamanhos

Próximos passos