Esercizio - Creare un cluster HPC da modelli predefiniti

Completato

È possibile creare nuovi cluster direttamente dall'interfaccia grafica dell'applicazione Web Azure CycleCloud. CycleCloud offre molti modelli predefiniti specifici delle utilità di pianificazione, che semplificano il provisioning del cluster per le utilità di pianificazione corrispondenti.

Dopo aver effettuato il provisioning di una macchina virtuale di Azure che ospita le applicazioni Web CycleCloud, è possibile valutarne l'uso per la distribuzione in Azure di un cluster HPC basato su Slurm. È prima di tutto necessario assicurarsi che la sottoscrizione di Azure soddisfi i requisiti del cluster relativi alle risorse. È anche opportuno considerare se il team di gestione non vuole che i costi del cluster sforino il budget del progetto. Si decide quindi di configurare avvisi di CycleCloud relativi al budget e di effettuare il deprovisioning dell'ambiente lab dopo aver completato la valutazione.

In questo esercizio viene illustrata la distribuzione in Azure di un cluster HPC basato su Slurm usando Azure CycleCloud. L'esercizio è costituito dalle attività seguenti:

  • Attività 1: Preparare la distribuzione di un cluster HPC
  • Attività 2: Creare un cluster HPC usando Azure CycleCloud
  • Attività 3: Configurare e avviare un cluster HPC usando Azure CycleCloud
  • Attività 4: Eseguire la pulizia dell'ambiente lab

Attività 1: Preparare la distribuzione di un cluster HPC

Prima di distribuire un cluster HPC, è consigliabile assicurarsi di avere risorse di rete e di calcolo sufficienti per poterlo utilizzare.

Nota

Per completare questo esercizio, non è necessario soddisfare i requisiti di quota per supportare il provisioning dei nodi di calcolo, dal momento che non si eseguiranno processi nel cluster creato. In questo caso, tuttavia, gli screenshot di questo esercizio potrebbero non corrispondere all'interfaccia Web di CycleCloud, perché CycleCloud non creerà preliminarmente nodi di calcolo segnaposto se il numero di core disponibili non è sufficiente.

  1. Nel computer passare alla finestra del Web browser che visualizza il portale di Azure.

  2. Nel portale di Azure usare la casella di ricerca nella parte superiore dell'interfaccia del portale per cercare il gruppo di risorse cyclecloud-rg.

  3. Nell'elenco di risorse della pagina cyclecloud-rg del portale di Azure selezionare la voce cyclecloud-rg-vnet, che rappresenta la rete virtuale di cui è stato effettuato il provisioning nell'esercizio precedente di questo modulo.

  4. Nella pagina cyclecloud-rg-vnet selezionare Subnet nel menu verticale a sinistra.

  5. Nel riquadro cyclecloud-rg-vnet | Subnet selezionare + Subnet.

  6. Nel riquadro Aggiungi subnet immettere contoso-slurm-lab-cluster-subnet nella casella di testo Nome, accettare l'intervallo di subnet predefinito e selezionare Salva.

    Nota

    È consigliabile separare la subnet che ospita la macchina virtuale di Azure per CycleCloud dalle subnet che ospitano le risorse di calcolo del cluster. Per cluster di dimensioni maggiori, è consigliabile allocare intervalli di indirizzi IP sufficientemente grandi.

  7. Nel portale di Azure usare la casella di ricerca per cercare Sottoscrizioni.

  8. Nella pagina Sottoscrizioni selezionare la sottoscrizione di Azure usata per gli esercizi di questo modulo.

  9. Nella pagina in cui è visualizzata la sottoscrizione di Azure selezionare Utilizzo e quote nel menu verticale a sinistra della sezione Impostazioni.

  10. Nel riquadro Utilizzo e quote configurare le impostazioni del filtro seguenti (lasciare i valori predefiniti per le altre impostazioni):

    Impostazione Valore
    Seleziona un servizio Selezionare le voci Standard Dv3 Family vCPUs (vCPU famiglia DSv3 Standard), Standard FSv2 Family vCPUs (vCPU famiglia FSv2 Standard) e Totale vCPU locali.
    Selezionare un provider Selezionare la voce Microsoft.Compute.
    Selezionare una località Selezionare il nome dell'area di Azure in cui si intende distribuire il cluster in questo esercizio.
  11. Esaminare l'output e identificare il numero di vCPU disponibili in ogni gruppo.

    Screenshot che mostra il riquadro Utilizzo e quote nel portale di Azure.

Attività 2: Creare un cluster HPC usando Azure CycleCloud

L'applicazione Web CycleCloud è ora installata in una macchina virtuale di Azure, è disponibile un numero sufficiente di core vCPU nella sottoscrizione di Azure ed è stata designata una subnet di rete in grado di supportare la scalabilità automatica dei nodi del cluster. A questo punto è possibile procedere con la distribuzione di un cluster basato su Slurm.

  1. Nel computer in uso, nella finestra del Web browser in cui è visualizzata la pagina Subscriptions (Sottoscrizioni) dell'applicazione Web Azure CycleCloud, nell'angolo superiore sinistro selezionare il collegamento Back to clusters (Torna ai cluster).

  2. Nella pagina Create a New Cluster (Crea un nuovo cluster) esaminare le opzioni disponibili e nella sezione Schedulers (Utilità di pianificazione) selezionare Slurm.

    Screenshot che mostra la pagina relativa alla creazione di un nuovo cluster dell'applicazione Web Azure CycleCloud.

  3. Nella scheda About (Informazioni) della pagina New Slurm Cluster (Nuovo cluster Slurm), nella casella di testo Cluster Name (Nome cluster) immettere contoso-slurm-lab-cluster.

    Screenshot che mostra la scheda Informazioni della pagina relativa al nuovo cluster Slurm dell'applicazione Web Azure CycleCloud.

  4. Nella scheda Required Settings (Impostazioni obbligatorie) della pagina New Slurm Cluster (Nuovo cluster Slurm), nella casella di testo Cluster Name (Nome cluster) configurare le impostazioni seguenti (lasciare i valori predefiniti per le altre impostazioni):

    Impostazione Valore
    Area Selezionare il nome dell'area di Azure in cui si intende distribuire il cluster in questo esercizio.
    Scheduler VM Type (Tipo di VM dell'utilità di pianificazione) Selezionare Choose (Scegli) e quindi nella finestra popup Select a machine type (Selezionare un tipo di computer), nella casella di testo SKU Search (Ricerca SKU) immettere “D2ds_v5”. Nell'elenco dei risultati selezionare la casella di controllo accanto alla voce D2ds_v5 e quindi selezionare Apply (Applica).

    Screenshot che mostra la scheda della finestra popup relativa alla selezione di un tipo di macchina virtuale della pagina del nuovo cluster Slurm dell'applicazione Web Azure CycleCloud.

    Impostazione Valore
    Max HPC Cores (Numero massimo core HPC) Immettere 100
    Max HTC Cores (Numero massimo core HTC) Immettere 100
    Max VMs per Scaleset (Numero massimo VM per set di scalabilità) Immettere 40
    Subnet ID Selezionare cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet

    Screenshot che mostra la scheda delle impostazioni obbligatorie della pagina relativa al nuovo cluster Slurm dell'applicazione Web Azure CycleCloud.

    Nota

    L'impostazione Max VMs per Scaleset (Numero massimo VM per set di scalabilità) limita le dimensioni massime di un processo Message Passing Interface che può essere eseguito nel cluster, perché il set di scalabilità è attualmente il limite di infrastruttura InfiniBand.

  5. Nella scheda Network Attached Storage della pagina New Slurm Cluster (Nuovo cluster Slurm) verificare che l'opzione NFS Type (Tipo NFS) sia impostata su Builtin (Predefinito). Accettare il valore predefinito di Size (GB) (Dimensioni - GB) impostato su 100 e selezionare Next (Avanti).

    Screenshot che mostra la scheda Network Attached Storage della pagina relativa al nuovo cluster Slurm dell'applicazione Web Azure CycleCloud.

  6. Nella scheda Advanced Settings (Impostazioni avanzate) della pagina New Slurm Cluster (Nuovo cluster Slurm) esaminare le opzioni disponibili senza apportare alcuna modifica e quindi selezionare Next (Avanti).

    Screenshot che mostra la scheda delle impostazioni avanzate della pagina relativa al nuovo cluster Slurm dell'applicazione Web Azure CycleCloud.

  7. Nella scheda Cloud-init della pagina New Slurm Cluster (Nuovo cluster Slurm) esaminare le opzioni disponibili senza apportare alcuna modifica e quindi selezionare Save (Salva).

Attività 3: Configurare e avviare un cluster HPC usando Azure CycleCloud

Prima di rendere operativo il cluster, impostare gli avvisi in modo da ricevere una notifica quando i costi di utilizzo del cluster raggiungono il budget allocato per le risorse di Azure. Convalidare inoltre la distribuzione avviando il cluster con l'interfaccia grafica dell'applicazione Web CycleCloud.

  1. Nel computer in uso, nel Web browser in cui è visualizzata l'interfaccia grafica dell'applicazione Web Azure CycleCloud esaminare le proprietà del cluster appena distribuito.

    Screenshot che mostra la pagina contoso-slurm-lab-cluster nello stato disattivato nell'applicazione Web Azure CycleCloud.

  2. Nella pagina contoso-slurm-lab-cluster selezionare il collegamento Create new alert (Crea nuovo avviso).

  3. Nella finestra popup Cluster usage alert for contoso-slurm-lab-cluster (Avviso utilizzo cluster per contoso-slurm-lab-cluster) specificare le impostazioni seguenti e quindi selezionare Save (Salva):

    Impostazione Valore
    Budget $100.00
    Per Month
    Invio notifica Abilitato
    Destinatari cc-admin@contoso.com

    Screenshot che mostra l'avviso di utilizzo del cluster per la finestra popup contoso-slurm-lab-cluster nell'applicazione Web Azure CycleCloud.

  4. Nella pagina contoso-slurm-lab-cluster selezionare il collegamento Start (Avvia) e, quando viene chiesta conferma, selezionare OK.

  5. Monitorare il processo di avvio.

    Nota

    Il processo comprende il provisioning della macchina virtuale di Azure che svolge il ruolo del nodo head del cluster e l'installazione e la configurazione dell'utilità di pianificazione Slurm. Possono essere necessari circa cinque minuti.

    Screenshot che mostra la scheda relativa ai nodi della pagina contoso-slurm-lab-cluster nello stato avviato nell'applicazione Web Azure CycleCloud.

Attività 4: Eseguire la pulizia dell'ambiente lab

Il test del processo di distribuzione del cluster è stato completato usando l'applicazione Azure CycleCloud. Per evitare costi non necessari associati all'uso delle risorse di Azure, terminare il cluster e rimuovere tutte le risorse di cui è stato effettuato il provisioning durante gli esercizi di questo corso.

  1. Nel computer in uso, nel Web browser in cui è visualizzata l'interfaccia grafica dell'applicazione Web Azure CycleCloud, nella pagina contoso-slurm-lab-cluster selezionare il collegamento Terminate (Termina) e, quando viene chiesta conferma, selezionare OK.

  2. Monitorare il processo di terminazione.

    Nota

    Il processo prevede il deprovisioning della macchina virtuale di Azure che svolge il ruolo del nodo head del cluster. Possono essere necessari circa cinque minuti.

    Nota

    È consigliabile eliminare le risorse distribuite durante questo esercizio, come illustrato in questa attività. Se non si eliminano le risorse, potrebbero essere addebitati costi aggiuntivi per la sottoscrizione.

    Nota

    Per eliminare tutte le altre risorse di cui è stato effettuato il provisioning in questo lab, eliminare il gruppo di risorse cyclecloud-rg.

  3. Nel computer passare alla finestra del browser in cui è visualizzato il portale di Azure.

  4. Nel portale di Azure passare al pannello cyclecloud-rg. Selezionare la voce Elimina gruppo di risorse nella barra degli strumenti, nella casella di testo DIGITARE IL NOME DEL GRUPPO DI RISORSE immettere cyclecloud-rg e quindi selezionare Elimina.

  5. Ripetere il passaggio precedente per eliminare il gruppo di risorse con il nome che inizia con contoso-slurm-lab-cluster- contenente la risorsa disco usata dal cluster.

Complimenti. Il secondo esercizio del modulo è stato completato. Sono state rese sempre disponibili le risorse di calcolo e di rete necessarie per supportare la distribuzione di un nuovo cluster. Il cluster è stato quindi distribuito usando Azure CycleCloud e, dopo aver configurato gli avvisi relativi al budget, è stato avviato per convalidarne la funzionalità. Il cluster è stato infine terminato e sono state eliminate tutte le risorse di cui è stato effettuato il provisioning in questo modulo per evitare costi non necessari.