Abilitare InfiniBand

Si applica a: ✔️ macchine virtuali Linux ✔️ Windows macchine virtuali ✔️ set di scalabilità flessibili ✔️ set di scalabilità uniformi

Le macchine virtualiserie H eserie N con supporto per RDMAcomunicano tramite la rete InfiniBand a bassa latenza e larghezza di banda elevata. La funzionalità RDMA su un'interconnessione di questo tipo è fondamentale per migliorare la scalabilità e le prestazioni dei carichi di lavoro HPC e di intelligenza artificiale su nodi distribuiti. Le macchine virtuali serie H e serie N abilitate per InfiniBand sono connesse in strutture Fat Tree non bloccanti a diametro ridotto per prestazioni RDMA ottimizzate e coerenti.

Esistono diversi modi per abilitare InfiniBand nelle dimensioni delle macchine virtuali idonee.

Immagini di macchine virtuali con driver InfiniBand

Per un elenco delle immagini di vm supportate nel Marketplace, precaricate con driver InfiniBand (per macchine virtuali SR-IOV o non SR-IOV), vedere Immagini vm supportate nel Marketplace o che possono essere configurate con i driver appropriati per le macchine virtuali con supporto per RDMA. Le immagini di macchine virtuali CentOS-HPC e Ubuntu-HPC nel Marketplace sono il modo più semplice per iniziare.

Estensioni macchina virtuale del driver InfiniBand

In Linux è possibile usare l'estensione vm InfiniBandDriverLinux per installare i driver Mellanox OFED e abilitare InfiniBand nelle macchine virtuali serie H e N abilitate per SR-IOV.

In Windows, l'estensione macchina virtuale InfiniBandDriverWindows installa i driver di Windows Network Direct (in macchine virtuali non SR-IOV) o i driver Mellanox OFED (nelle macchine virtuali SR-IOV) per la connettività RDMA. In alcune distribuzioni di istanze A8 e A9, l'estensione HpcVmDrivers viene aggiunta automaticamente. Si noti che l'estensione della macchina virtuale HpcVmDrivers è deprecata. non verrà aggiornato.

Per aggiungere l'estensione macchina virtuale a una macchina virtuale, è possibile usare i cmdlet di Azure PowerShell. Per altre informazioni, vedere Estensioni e funzionalità della macchina virtuale. È anche possibile usare estensioni delle macchine virtuali nel modello di distribuzione classico.

Installazione manuale

I driver Mellanox OpenFabrics (OFED) possono essere installati manualmente nelle macchine virtuali serieH e N abilitate per SR-IOV.

Linux

I driver OFED per Linux possono essere installati con l'esempio seguente. Anche se l'esempio è per RHEL/CentOS, ma i passaggi sono generali e possono essere usati per qualsiasi sistema operativo Linux compatibile, ad esempio Ubuntu (16.04, 18.04 19.04, 20.04) e SLES (12 SP4 e 15). Altri esempi per altre distribuzione sono disponibili nel repo azhpc-images. Anche i driver della posta in arrivo funzionano, ma i driver Mellanox OFED offrono più funzionalità.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
yum install -y kernel-devel-${KERNEL}
./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Per Windows, scaricare e installare Mellanox OFED per Windows driver.

Abilitare l'indirizzo IP su InfiniBand (IB)

Se si prevede di eseguire processi MPI, in genere non è necessario IPoIB. La libreria MPI userà l'interfaccia verbi per la comunicazione IB (a meno che non si usi in modo esplicito il canale TCP/IP della libreria MPI). Tuttavia, se si dispone di un'app che usa TCP/IP per la comunicazione e si vuole eseguire su IB, è possibile usare IPoIB sull'interfaccia IB. Usare i comandi seguenti (per RHEL/CentOS) per abilitare l'indirizzo IP su InfiniBand.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Passaggi successivi