Exercício - Criar um cluster HPC a partir de modelos incorporados

Concluído

Você pode criar novos clusters diretamente da interface gráfica do aplicativo Web Azure CycleCloud. O CycleCloud oferece muitos modelos predefinidos e específicos do agendador, que simplificam o provisionamento de cluster para os agendadores correspondentes.

Agora que você provisionou uma máquina virtual do Azure que hospeda os aplicativos Web CycleCloud, está pronto para avaliar seu uso para implantação de um cluster HPC baseado em Slurm no Azure. Primeiro, você precisa garantir que sua assinatura do Azure acomoda os requisitos de recursos do cluster. Você também deseja considerar se sua equipe de gerenciamento deseja manter o custo do cluster dentro do orçamento do projeto. Portanto, você planeja configurar alertas de orçamento do CycleCloud e desprovisionar o ambiente de laboratório depois de concluir a avaliação.

Neste exercício, você percorre a implantação de um cluster HPC baseado em Slurm no Azure usando o Azure CycleCloud. O exercício consiste nas seguintes tarefas:

  • Tarefa 1: Preparar a implantação de um cluster de HPC
  • Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud
  • Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud
  • Tarefa 4: Limpar o ambiente de laboratório

Tarefa 1: Preparar a implantação de um cluster de HPC

Antes de implantar um cluster HPC, você deve primeiro garantir que tem recursos de rede e computação suficientes para acomodar seu uso.

Nota

Para concluir este exercício, você não precisa satisfazer os requisitos de cota para acomodar o provisionamento dos nós de computação, pois não executará nenhum trabalho no cluster criado. No entanto, se esse for o caso, você pode notar uma incompatibilidade entre as capturas de tela neste exercício e sua interface da Web do CycleCloud, já que o CycleCloud não pré-criará nós de computação de espaço reservado se você não tiver o número suficiente de núcleos disponíveis.

  1. No seu computador, alterne para a janela do navegador da Web que exibe o portal do Azure.

  2. No portal do Azure, use a caixa de pesquisa na parte superior da interface do portal para pesquisar o grupo de recursos cyclecloud-rg .

  3. No portal do Azure, na página cyclecloud-rg , na lista de recursos, selecione a entrada cyclecloud-rg-vnet , que representa a rede virtual que você provisionou no exercício anterior deste módulo.

  4. Na página cyclecloud-rg-vnet, no menu vertical do lado esquerdo, selecione Sub-redes.

  5. No cyclecloud-rg-vnet | Painel Sub-redes, selecione + Sub-rede.

  6. No painel Adicionar sub-rede, na caixa de texto Nome, insira contoso-slurm-lab-cluster-subnet, aceite o intervalo de sub-rede padrão e selecione Salvar.

    Nota

    Recomendamos separar a sub-rede que hospeda a VM do Azure CycleCloud das sub-redes que hospedam recursos de computação de cluster. Para clusters maiores, você deve alocar intervalos de endereços IP de tamanho suficiente.

  7. No portal do Azure, use a caixa de pesquisa para pesquisar Assinaturas.

  8. Na página Subscrições, selecione a subscrição do Azure que está a utilizar para exercícios neste módulo.

  9. Na página que exibe a assinatura do Azure, no menu vertical à esquerda, na seção Configurações , selecione Uso + cotas.

  10. No painel Uso + cotas, defina as seguintes configurações de filtragem (deixe outras pessoas com seus valores padrão):

    Definição Value
    Selecione um serviço Selecione vCPUs da família Dv3 padrão, vCPUs da família FSv2 padrão e vCPUs regionais totais.
    Selecione um fornecedor Selecione a entrada Microsoft.Compute .
    Selecionar uma localização Selecione o nome da região do Azure onde você pretende implantar o cluster neste exercício.
  11. Analise a saída e identifique o número de vCPUs disponíveis em cada grupo.

    Captura de ecrã que mostra o painel Utilização mais quotas no portal do Azure.

Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud

Agora você tem o aplicativo Web CycleCloud instalado em uma VM do Azure, núcleos vCPU suficientes disponíveis em sua assinatura do Azure e uma sub-rede de rede designada capaz de acomodar o dimensionamento automático de nós de cluster. Você está pronto para prosseguir com a implantação de um cluster baseado em Slurm.

  1. No seu computador, na janela do navegador da Web que exibe a página Assinaturas do aplicativo Web Azure CycleCloud, no canto superior esquerdo, selecione o link Voltar aos clusters .

  2. Na página Criar um Novo Cluster, revise as opções disponíveis e, na seção Agendadores, selecione Slurm.

    Captura de ecrã que mostra a página Criar um Novo Cluster da aplicação Web Azure CycleCloud.

  3. Na guia Sobre da página Novo Cluster Slurm, na caixa de texto Nome do Cluster, digite contoso-slurm-lab-cluster.

    Captura de ecrã que mostra o separador Acerca da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

  4. Na guia Configurações Necessárias da página Novo Cluster Slurm, na caixa de texto Nome do Cluster, defina as seguintes configurações (deixe os outros com seus valores padrão):

    Definição Value
    País/Região Selecione o nome da região do Azure onde você pretende implantar o cluster neste exercício.
    Tipo de VM do Agendador Selecione Escolher e, na janela pop-up Selecionar um tipo de máquina, na caixa de texto Pesquisa de SKU, digite "D2ds_v5". Na lista de resultados, marque a caixa de seleção ao lado da entrada D2ds_v5 e, em seguida, selecione Aplicar.

    Captura de ecrã que mostra o separador Selecionar uma janela pop-up de tipo de máquina da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

    Definição Value
    Núcleos HPC máximos Digite 100
    Max Núcleos HTC Digite 100
    Máximo de VMs por conjunto de escalas Digite 40
    ID da sub-rede Selecione cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet

    Captura de ecrã que mostra o separador Definições Necessárias da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

    Nota

    A configuração Max VMs per Scaleset limita o tamanho máximo de um trabalho da Interface de Passagem de Mensagens que pode ser executado no cluster, já que o conjunto de escalas é atualmente o limite da malha InfiniBand.

  5. Na guia Network Attached Storage da página New Slurm Cluster, verifique se o Tipo NFS está definido como Builtin. Aceite o valor padrão de Tamanho (GB) definido como 100 e selecione Avançar.

    Captura de ecrã que mostra o separador Armazenamento Anexado à Rede da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

  6. Na guia Configurações Avançadas da página Novo Cluster Slurm, revise as opções disponíveis sem fazer alterações e selecione Avançar.

    Captura de ecrã que mostra o separador Definições Avançadas da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

  7. Na guia Cloud-init da página New Slurm Cluster, revise as opções disponíveis sem fazer alterações e selecione Salvar.

Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud

Para se preparar para operacionalizar seu cluster, defina alertas para notificá-lo quando os custos de uso do cluster atingirem o orçamento alocado para o custo dos recursos do Azure. Você também valida sua implantação iniciando o cluster com a interface gráfica do aplicativo Web CycleCloud.

  1. No seu computador, no navegador da Web que exibe a interface gráfica do aplicativo Web Azure CycleCloud, examine as propriedades do cluster recém-implantado.

    Captura de tela que mostra a página de contoso-slurm-lab-cluster no estado desativado no aplicativo Web Azure CycleCloud.

  2. Na página contoso-slurm-lab-cluster, selecione o link Criar novo alerta.

  3. Na janela pop-up Alerta de uso de cluster para contoso-slurm-lab-cluster , especifique as seguintes configurações e selecione Salvar:

    Definição Value
    Orçamento $100,00
    Por Month
    Enviar notificação Ativado
    Destinatários cc-admin@contoso.com

    Captura de tela que mostra o alerta de uso de cluster para a janela pop-up contoso-slurm-lab-cluster no aplicativo Web Azure CycleCloud.

  4. De volta à página contoso-slurm-lab-cluster, selecione o link Iniciar e, quando solicitado a confirmar, selecione OK.

  5. Monitore o processo de inicialização.

    Nota

    O processo envolve o provisionamento da VM do Azure que serve a função do nó principal do cluster e a instalação e configuração do agendador Slurm. Isto pode demorar cerca de cinco minutos.

    Captura de ecrã que mostra a página do separador Nós de contoso-slurm-lab-cluster no estado iniciado na aplicação Web Azure CycleCloud.

Tarefa 4: Limpar o ambiente de laboratório

Você concluiu o teste do processo de implantação de cluster usando o aplicativo Azure CycleCloud. Para evitar custos desnecessários associados ao uso de recursos do Azure, encerre o cluster e remova todos os recursos provisionados ao longo dos exercícios deste curso.

  1. No seu computador, no navegador da Web que exibe a interface gráfica do aplicativo Web Azure CycleCloud, na página contoso-slurm-lab-cluster, selecione o link Encerrar e, quando solicitado a confirmar, selecione OK.

  2. Monitore o processo de rescisão.

    Nota

    O processo envolve o desprovisionamento da VM do Azure que serve a função do nó principal do cluster. Isto pode demorar cerca de cinco minutos.

    Nota

    Você deve excluir os recursos implantados como parte deste exercício, conforme descrito nesta tarefa. Se não eliminar os recursos, poderá incorrer em encargos adicionais para a sua subscrição.

    Nota

    Para excluir todos os outros recursos provisionados neste laboratório, exclua o grupo de recursos cyclecloud-rg .

  3. No seu computador, alterne para a janela do navegador que exibe o portal do Azure.

  4. No portal do Azure, navegue até a folha cyclecloud-rg . Selecione a entrada Excluir grupo de recursos na barra de ferramentas e, na caixa de texto DIGITE O NOME DO GRUPO DE RECURSOS, digite cyclecloud-rg e selecione Excluir.

  5. Repita a etapa anterior para excluir o grupo de recursos com o nome começando com contoso-slurm-lab-cluster- que contém o recurso de disco usado pelo cluster.

Parabéns! Concluiu com sucesso o segundo exercício deste módulo. Você garantiu a disponibilidade de recursos de computação e rede necessários para acomodar a implantação de um novo cluster. Em seguida, você implantou o cluster usando o Azure CycleCloud, configurou seus alertas de orçamento e iniciou-o para validar sua funcionalidade. Finalmente, você encerrou o cluster e excluiu todos os recursos provisionados neste módulo para evitar custos desnecessários.