Cluster HPC implantado na nuvem

Pipelines
Armazenamento de Blobs
Lote
Monitor

Ideia da solução

se você quiser nos ver, expanda este artigo com mais informações, como casos de uso em potencial, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco com GitHub comentários!

Aplicativos de HPC (computação de alto desempenho) podem ser dimensionados para milhares de núcleos de computação, estender grande computação local ou executar como uma solução nativa de nuvem 100%. Essa solução de HPC é criada no serviço gerenciado do Azure: Lote do Azuree iniciada por um Azure Pipelines trabalho. Esses serviços são executados em um ambiente de alta disponibilidade, com patch e suporte, permitindo que você se concentre em sua solução em vez de no ambiente em que eles são executados.

Arquitetura

Diagrama de arquitetura Baixe um SVG dessa arquitetura.

A solução envolve as seguintes etapas:

  1. Azure Pipelines um pipeline que compila o projeto de código da equipe e o armazena como um executável no Azure Armazenamento
  2. O trabalho de pipeline continua carregando alguns dados de processamento na conta de armazenamento.
  3. Por fim, Azure Pipelines solicita que o serviço de Lote do Azure inicie seu trabalho de processamento, concluindo o pipeline.
  4. O Lote do Azure serviço copiará os executáveis do programa e os dados de entrada do armazenamento e os atribuirá a um pool de nós de computação
  5. O serviço lote executa o gerenciamento de tarefas e trabalhos para o pool, tentando novamente ou reatribuindo tarefas à medida que os nós concluem seu trabalho.
  6. Conforme os nós de computação funcionam, Azure Monitor coleta dados de desempenho do pool (CPU, memória, E/S de disco) e arquivos de log. A equipe pode estudar essa telemetria para criar trabalhos melhores no futuro.
  7. Quando os nós de computação concluem tarefas, eles retornarão os dados do programa para o Azure Armazenamento para a revisão da equipe.

Componentes

  • Azure Pipelines cria e testa projetos de código e inicia os trabalhos de HPC no Lote do Azure serviço.
  • O Azure Armazenamento os dados HPC e os arquivos executáveis usados em um trabalho.
  • Lote do Azure agenda os trabalhos e tarefas em um grande número de nós e gerencia todos os recursos de computação.
  • As Máquinas Virtuais do Azure são executadas como trabalhos, executando as tarefas de computação.
  • A Rede Virtual fornece conectividade IP entre os recursos de computação e os outros serviços de nuvem, acima e além de qualquer comunicação nativa de Infiniband ou RDMA.
  • Azure Monitor coleta métricas de desempenho e logs dos recursos de nuvem para relatórios, alertas e resposta automatizada.

Considerações

Os pools de computação em lote não precisam conter hardware de mercadoria. Máquinas virtuais especializadas com processadores de GPU e rede avançada existem para serem usadas por Lote do Azure. Máquinas virtuais otimizadas para GPU com GPUs NVIDIA Tesla e rede infiniband de alta taxa de transferência estão disponíveis.

Os pools de computação em lote podem fazer o autoescala, que aumenta e reduz o número de nós no pool à medida que a quantidade de trabalho muda. Em vez de pagar por membros do pool não utilizados, o cálculo automático pode reduzir os custos de computação de um trabalho apenas para os recursos que estão executando tarefas.

Preços

Para explorar o custo da execução desse cenário, use a calculadora de preços do Azure, que pré-configura todos os serviços do Azure.

Lote do Azure é um serviço gratuito e os clientes pagam apenas pelos custos de rede, armazenamento e máquina virtual subjacentes. Nesta solução, há custos adicionais para os serviços Azure Pipelines e Azure Monitor serviços. Especificamente para Lote do Azure, no entanto, é uma opção para comprar software de renderização de gráficos (como Autodesk Maya e Chaos Group V-Ray) a uma taxa por minuto. Confira Lote do Azure preços para obter detalhes.

Próximas etapas