Prérequis pour Azure HPC Cache

Article
03/25/2023

Avant de créer un cache Azure HPC Cache, assurez-vous que votre environnement répond à ces exigences.

Abonnement Azure

Un abonnement payant est recommandé.

Infrastructure réseau

Avant de pouvoir utiliser votre cache, vous devez configurer ces prérequis liés au réseau :

Un sous-réseau dédié pour l’instance Azure HPC Cache
La prise en charge du DNS afin que le cache puisse accéder au stockage et aux autres ressources
Accédez depuis le sous-réseau à d’autres services d’infrastructure Microsoft Azure, y compris les serveurs NTP et le service Stockage File d’attente Azure.

Sous-réseau du cache

Azure HPC Cache a besoin d’un sous-réseau dédié avec les qualités suivantes :

Le sous-réseau doit disposer d’au moins 64 adresses IP.
La communication à l’intérieur du sous-réseau doit être illimitée. Si vous utilisez un groupe de sécurité réseau pour le sous-réseau de cache, assurez-vous qu’il autorise tous les services entre les adresses IP internes.
Le sous-réseau ne peut pas héberger d’autres machines virtuelles, même pour les services associés tels que les ordinateurs clients.
Si vous utilisez plusieurs instances Azure HPC Cache, chacune d’elles doit avoir son propre sous-réseau.

La méthode recommandée consiste à créer un nouveau sous-réseau pour chaque cache. Vous pouvez créer un réseau virtuel et un sous-réseau dans le cadre de la création du cache.

Lors de la création de ce sous-réseau, veillez à ce que ses paramètres de sécurité autorisent l’accès aux services d’infrastructure nécessaires mentionnés plus loin dans cette section. Vous pouvez restreindre la connectivité Internet sortante, mais assurez-vous qu’il existe des exceptions pour les éléments décrits ici.

Accès DNS

Le cache a besoin d’un accès DNS pour accéder aux ressources situées en dehors de son réseau virtuel. Selon les ressources que vous utilisez, vous devrez peut-être configurer un serveur DNS personnalisé et configurer un transfert entre ce serveur et les serveurs Azure DNS :

Pour accéder aux points de terminaison du stockage Blob Azure et à d’autres ressources internes, vous avez besoin d’un serveur DNS basé sur Azure.
Pour accéder au stockage local, vous devez configurer un serveur DNS personnalisé capable de résoudre les noms d’hôte de votre stockage. Vous devez effectuer cette opération avant de créer le cache.

Si vous n’utilisez que le Stockage Blob, vous pouvez vous servir du serveur DNS par défaut qui est fourni par Azure pour votre cache. Toutefois, si vous avez besoin d’accéder au stockage ou à d’autres ressources en dehors d’Azure, nous vous recommandons de créer un serveur DNS personnalisé et de le configurer dans le but de transférer au serveur Azure DNS toutes les demandes de résolution propres à Azure.

Pour utiliser un serveur DNS personnalisé, vous devez effectuer ces étapes de configuration avant de créer votre cache :

Créez le réseau virtuel qui hébergera Azure HPC Cache.
Créez le serveur DNS.
Ajoutez le serveur DNS au réseau virtuel du cache.

Procédez comme suit pour ajouter le serveur DNS au réseau virtuel dans le portail Azure :
1. Ouvrez le réseau virtuel dans le portail Azure.
2. Choisissez Serveurs DNS dans le menu Paramètres de la barre latérale.
3. Sélectionnez Personnalisée.
4. Entrez l’adresse IP du serveur DNS dans le champ.

Un simple serveur DNS peut également être utilisé pour équilibrer la charge des connexions clientes entre tous les points de montage du cache disponibles.

Pour plus d’informations sur les réseaux virtuels Azure et les configurations de serveur DNS, consultez Résolution de noms des ressources dans les réseaux virtuels Azure.

Accès NTP

HPC Cache a besoin d’accéder à un serveur NTP pour un fonctionnement normal. Si vous limitez le trafic sortant à partir de vos réseaux virtuels, assurez-vous d’autoriser le trafic vers au moins un serveur NTP. Le serveur par défaut est time.windows.com et le cache contacte ce serveur sur le port UDP 123.

Créez une règle dans le groupe de sécurité réseau du réseau de votre cache qui autorise le trafic sortant vers votre serveur NTP. La règle peut simplement autoriser tout le trafic sortant sur le port UDP 123, ou avoir des restrictions supplémentaires.

Cet exemple ouvre explicitement le trafic sortant vers l’adresse IP 168.61.215.74, qui est l’adresse utilisée par time.windows.com.

Priorité	Nom	Port	Protocol	Source	Destination	Action
200	NTP	Tout	UDP	Tout	168.61.215.74	Autoriser

Assurez-vous que la règle NTP a une priorité plus élevée que toutes les règles qui refusent largement l’accès sortant.

Conseils supplémentaires pour l’accès NTP :

Si vous avez des pare-feu entre HPC Cache et le serveur NTP, assurez-vous que ces pare-feu autorisent également l’accès NTP.
Vous pouvez configurer le serveur NTP utilisé par HPC Cache sur la page Mise en réseau. Pour plus d’informations, consultez Configurer des paramètres supplémentaires.

Accès au Stockage File d’attente Azure

Le cache doit être en mesure d’accéder en toute sécurité au service Stockage File d’attente Azure à partir de son sous-réseau dédié. Azure HPC Cache utilise le service de file d’attente lors de la communication des informations de configuration et d’état.

Si le cache ne peut pas accéder au service de file d’attente, un message CacheConnectivityError peut s’afficher lors de la création du cache.

Il existe deux façons de fournir l’accès :

Créer un point de terminaison de service Stockage Azure dans votre sous-réseau de cache. Lisez Ajouter un sous-réseau de réseau virtuel pour obtenir des instructions pour ajouter le point de terminaison de service Microsoft.Storage.
Configurer l’accès au domaine de service File d’attente Stockage Azure dans votre groupe de sécurité réseau ou d’autres pare-feu.

Ajoutez des règles pour autoriser l’accès sur ces ports :
- Port TCP 443 pour sécuriser le trafic vers n’importe quel hôte dans le domaine queue.core.windows.net (*.queue.core.windows.net).
- Port TCP 80 - utilisé pour la vérification du certificat côté serveur. On parle parfois de vérification de la liste de révocation des certificats (CRL) et de communications avec protocole de statut de certificat en ligne (Online Certificate Status Protocol - OCSP). Toutes les instances *.queue.core.windows.net utilisent le même certificat et, par conséquent, les mêmes serveurs CRL/OCSP. Le nom d’hôte est stocké dans le certificat SSL côté serveur.
Pour plus d’informations, reportez-vous aux conseils sur les règles de sécurité dans Accès NTP.

Cette commande répertorie les serveurs CRL et OSCP qui doivent avoir un accès autorisé. Ces serveurs doivent pouvoir être résolus par DNS et être accessibles sur le port 80 à partir du sous-réseau de cache.
```
openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
```
La sortie ressemble à ce qui suit et peut changer si le certificat SSL est mis à jour :
```
OCSP - URI:http://ocsp.msocsp.com
CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
```

Vous pouvez vérifier la connectivité du sous-réseau à l’aide de cette commande à partir d’une machine virtuelle de test à l’intérieur du sous-réseau :

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Une connexion réussie donne la réponse suivante :

OCSP Response Status: successful (0x0)

Accès au serveur d’événements

Azure HPC Cache utilise des points de terminaison de serveur d’événements Azure pour superviser l’intégrité du cache et envoyer des informations de diagnostic.

Assurez-vous que le cache peut accéder aux hôtes dans le domaine events.data.microsoft.com en toute sécurité, c’est-à-dire ouvrir le port TCP 443 pour le trafic vers *.events.data.microsoft.com.

Autorisations

Consultez les prérequis liés aux autorisations avant de créer votre cache.

L’instance de cache doit pouvoir créer des interfaces réseau virtuelles (NIC). L’utilisateur qui crée le cache doit disposer de privilèges suffisants dans l’abonnement pour créer des cartes réseau.
Si vous utilisez le stockage Blob, Azure HPC Cache a besoin d’une autorisation pour accéder à votre compte de stockage. Utilisez le contrôle d’accès basé sur le rôle Azure (Azure RBAC) pour permettre au cache d’accéder à votre stockage Blob. Deux rôles sont requis : Stockage Contributeur de compte et contributeur de données Blob Stockage.

Suivez les instructions fournies dans Ajouter des cibles de stockage.

Infrastructure du stockage

Le cache prend en charge les conteneurs d’objets blob Azure, les exportations de stockage matériel NFS et les conteneurs d’objets blob ADLS montés sur NFS. Ajoutez des cibles de stockage après avoir créé le cache.

Chaque type de stockage possède des conditions préalables spécifiques.

Exigences relatives au stockage Blob

Si vous souhaitez utiliser le stockage Blob Azure avec votre cache, vous aurez besoin d’un compte de stockage compatible, et soit d’un conteneur d’objets blob vide, soit d’un conteneur comprenant des données au format Azure HPC Cache. Pour plus d’informations, consultez Déplacer des données vers le stockage Blob Azure.

Remarque

Des exigences différentes s’appliquent au stockage d’objets blob monté NFS. Pour plus d’informations, consultez Exigences du stockage ADLS-NFS.

Créez le compte avant de tenter d’ajouter une cible de stockage. Vous pouvez créer un conteneur lorsque vous ajoutez la cible.

Pour créer un compte de stockage compatible, utilisez une des combinaisons suivantes :

Performances	Type	Réplication	Niveau d’accès
Standard	StorageV2 (v2 universel)	Stockage localement redondant (LRS) ou stockage redondant interzone (ZRS)	Chaud
Premium	Objets blob de blocs	Stockage localement redondant (LRS)	Chaud

Le compte de stockage doit être accessible à partir du sous-réseau privé de votre cache. Si votre compte utilise un point de terminaison privé ou public qui est limité à des réseaux virtuels spécifiques, veillez à activer l’accès à partir du sous-réseau du cache. (Il n’est pas recommandé d’utiliser un point de terminaison public ouvert.)

Pour obtenir des conseils sur l’utilisation de points de terminaison privés avec les cibles de stockage HPC Cache, consultez Utiliser des points de terminaison privés.

Il est recommandé d’utiliser un compte de stockage se trouvant dans la même région Azure que votre cache.

Vous devez également autoriser l’application de cache à accéder à votre compte de stockage Azure, tel que mentionné dans Autorisations, ci-dessus. Suivez la procédure indiquée dans Ajouter des cibles de stockage pour accorder au cache les rôles d’accès requis. Si vous n’êtes pas le propriétaire du compte de stockage, demandez au propriétaire d’effectuer cette étape.

Conditions requises pour le stockage NFS

Si vous utilisez un système de stockage NFS (par exemple, un système NAS matériel local), assurez-vous qu’il répond à ces exigences. Vous devrez peut-être travailler avec les administrateurs réseau ou les managers de pare-feu de votre système de stockage (ou centre de données) pour vérifier ces paramètres.

Remarque

La création de la cible de stockage échoue si le cache ne dispose pas d’un accès suffisant au système de stockage NFS.

Pour plus d’informations, consultez Résoudre les problèmes de configuration NAS et de cible de stockage NFS.

Connectivité réseau : Azure HPC Cache a besoin d’un accès réseau à bande passante élevée entre le sous-réseau du cache et le centre de données du système NFS. Il est recommandé de disposer d’un accès ExpressRoute ou similaire. Si vous utilisez un VPN, vous devrez peut-être le configurer pour fixer la MSS TCP à 1350 afin de vous assurer que les paquets volumineux ne sont pas bloqués. Pour obtenir de l’aide relative à la résolution des problèmes de paramètres VPN, consultez Restrictions de taille des paquets VPN.
Accès aux ports : le cache a besoin d’accéder à des ports TCP/UDP spécifiques sur votre système de stockage. Les différents types de stockage ont des exigences de port différentes.

Pour vérifier les paramètres de votre système de stockage, procédez comme suit.
- Adressez une commande rpcinfo à votre système de stockage pour vérifier les ports nécessaires. La commande ci-dessous répertorie les ports et met en forme les résultats pertinents dans une table. (Utilisez l’adresse IP de votre système à la place du terme <storage_IP>.)
  
  Vous pouvez lancer cette commande à partir de tout client Linux doté d’une infrastructure NFS. Si vous utilisez un client à l’intérieur du sous-réseau du cluster, il peut également vous aider à vérifier la connectivité entre le sous-réseau et le système de stockage.
```
rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
```
Assurez-vous que tous les ports renvoyés par la requête rpcinfo permettent un trafic illimité à partir du sous-réseau d’Azure HPC Cache.
- Si vous ne pouvez pas utiliser la commande rpcinfo, assurez-vous que ces ports couramment utilisés autorisent le trafic entrant et sortant :
  
  Protocole Port Service
  
  TCP/UDP 111 rpcbind
  
  TCP/UDP 2049 NFS
  
  TCP/UDP 4045 nlockmgr
  
  TCP/UDP 4046 mountd
  
  TCP/UDP 4047 statut
  
  Certains systèmes utilisent des numéros de port différents pour ces services : consultez la documentation de votre système de stockage pour vous en assurer.
- Vérifiez les paramètres du pare-feu pour vous assurer qu’ils autorisent le trafic sur tous ces ports requis. Veillez à vérifier les pare-feux utilisés dans Azure ainsi que ceux de votre centre de données.
Le stockage back-end NFS doit être une plateforme matérielle ou logicielle compatible. Le stockage doit prendre en charge NFS version 3 (NFSv3). Pour plus d’informations, contactez l’équipe Azure HPC Cache.

Protocole	Port	Service
TCP/UDP	111	rpcbind
TCP/UDP	2049	NFS
TCP/UDP	4045	nlockmgr
TCP/UDP	4046	mountd
TCP/UDP	4047	statut

Exigences du stockage d’objets blob montés sur NFS (ADLS-NFS)

Azure HPC Cache peut également utiliser un conteneur d’objets blob monté avec le protocole NFS comme cible de stockage.

Pour plus d’informations sur cette fonctionnalité, consultez Prise en charge du protocole NFS 3.0 dans le Stockage Blob Azure.

Les exigences en matière de compte de stockage sont différentes pour une cible de stockage d’objets blob ADLS-NFS et pour une cible de stockage d’objets blob standard. Suivez avec soin les instructions de Montage du stockage blob avec le protocole NFS (Network File System) 3.0 pour créer et configurer le compte de stockage compatible NFS.

Il s’agit d’une vue d’ensemble générale de la procédure. Les étapes sont susceptibles de changer. Pour connaître les informations à jour, consultez toujours les instructions ADLS-NFS.

Vérifiez que les fonctionnalités dont vous avez besoin sont disponibles dans les régions où vous envisagez de travailler.
Activez la fonctionnalité de protocole NFS pour votre abonnement, et ce, avant de créer le compte de stockage.
Créez un réseau virtuel sécurisé (VNet) pour le compte de stockage. Utilisez le même réseau virtuel pour votre compte de stockage compatible NFS que pour votre instance Azure HPC Cache. (Ne choisissez pas le même sous-réseau que pour le cache.)
Créez le compte de stockage.
- Au lieu d’utiliser les paramètres d’un compte de stockage d’objets blob standard, suivez les instructions contenues dans le guide pratique. Le type de compte de stockage pris en charge peut varier selon la région Azure.
- Dans la section Mise en réseau, choisissez un point de terminaison privé dans le réseau virtuel sécurisé que vous avez créé (recommandé), ou bien un point de terminaison public avec accès restreint à partir du réseau virtuel sécurisé.
  
  Pour obtenir des conseils sur l’utilisation de points de terminaison privés avec les cibles de stockage HPC Cache, consultez Utiliser des points de terminaison privés.
- N’oubliez pas d’effectuer la section « Avancé », dans laquelle vous activez l’accès NFS.
- Autorisez l’application de cache à accéder à votre compte de stockage Azure (cf. Autorisations plus haut). Vous pouvez effectuer cette opération la première fois que vous créez une cible de stockage. Suivez la procédure indiquée dans Ajouter des cibles de stockage pour accorder au cache les rôles d’accès requis.
  
  Si vous n’êtes pas le propriétaire du compte de stockage, demandez au propriétaire d’effectuer cette étape.

Pour en savoir plus sur l’utilisation de cibles de stockage ADLS-NFS avec Azure HPC cache, voir Utilisation du stockage BLOB monté sur NFS avec Azure HPC Cache.

Utiliser des points de terminaison privés

Le Stockage Azure prend en charge les points de terminaison privés pour permettre un accès sécurisé aux données. Vous pouvez utiliser des points de terminaison privés avec des cibles de Stockage Blob Azure ou de stockage d’objets blob montées sur NFS.

En savoir plus sur les points de terminaison privés

Un point de terminaison privé fournit une adresse IP spécifique que le cache HPC Cache utilise pour communiquer avec votre système de stockage back-end. Si cette adresse IP change, le cache ne peut pas rétablir automatiquement une connexion avec le stockage.

Si vous avez besoin de modifier la configuration d’un point de terminaison privé, procédez comme suit pour éviter des problèmes de communication entre le stockage et le cache HPC Cache :

Suspendez la cible de stockage (ou toutes les cibles de stockage qui utilisent ce point de terminaison privé).
Apportez des modifications au point de terminaison privé et enregistrez ces modifications.
Remettez la cible de stockage en service avec la commande « resume ».
Actualisez le paramètre DNS de la cible de stockage.

Lisez Afficher et gérer les cibles de stockage pour savoir comment suspende, reprendre et actualiser le DNS pour les cibles de stockage.

Configuration de l’accès Azure CLI (facultatif)

Si vous souhaitez créer ou gérer Azure HPC Cache à partir de l’interface de ligne de commande Azure (Azure CLI), vous devez installer Azure CLI et l’extension hpc-cache. Suivez les instructions dans Configurer Azure CLI pour Azure HPC Cache.

Étapes suivantes

Créez une instance d’Azure HPC Cache à partir du portail Azure.