Cette architecture illustre l’exécution de simulations de dynamique des fluides de calcul à l’aide d’Azure. Découvrez comment créer, gérer et optimiser des clusters à l’aide d’Azure CycleCloud.
Architecture
Téléchargez un fichier Visio de cette architecture.
Workflow
Ce diagramme présente une vue d’ensemble générale d’une conception hybride traditionnelle assurant la supervision des travaux des nœuds à la demande dans Azure :
- Connexion au cluster Azure CycleCloud pour configurer le cluster.
- Configuration et création du nœud principal du cluster, à l’aide de machines prenant en charge RDMA pour MPI.
- Ajout et configuration du nœud principal local.
- S’il existe des ressources insuffisantes, Azure CycleCloud met à l’échelle les ressources de calcul Azure vers le haut (ou vers le bas). Il est possible de définir une limite prédéterminée pour empêcher une surutilisation.
- Allocation de tâches aux nœuds d’exécution.
- Mise en cache des données dans Azure à partir du serveur NFS local.
- Lecture des données d’Avere vFXT pour le cache Azure.
- Transfert des informations de travail et de tâche vers le serveur Azure CycleCloud.
Components
- Azure CycleCloud est un outil de création, de gestion, d’exploitation et d’optimisation de clusters HPC et Big Compute dans Azure.
- Avere vFXT sur Azure fournit un système de fichiers d’entreprise en cluster conçu pour le cloud.
- Les machines virtuelles Azure permettent de créer un ensemble statique d’instances de calcul.
- Groupe de machines virtuelles identiques fournit un groupe de machines virtuelles identiques pouvant faire l’objet d’une montée ou d’une descente en puissance par Azure CycleCloud.
- Les comptes Stockage Azure sont utilisés pour la synchronisation et la rétention des données.
- Les réseaux virtuels Azure permettent à de nombreux types de ressources Azure, comme les machines virtuelles, de communiquer entre elles, avec Internet et avec les réseaux locaux de façon sécurisée.
Autres solutions
Les clients peuvent également utiliser Azure CycleCloud pour créer une grille entièrement dans Azure. Dans cette configuration, le serveur Azure CycleCloud est exécuté au sein de votre abonnement Azure.
Dans le cadre d’une approche moderne ne nécessitant pas la gestion d’un planificateur de charge de travail, Azure Batch peut se révéler utile. Azure Batch peut exécuter efficacement des applications de calcul haute performance (HPC) en parallèle et à grande échelle dans le cloud. Azure Batch vous permet de définir les ressources de calcul Azure pour exécuter vos applications en parallèle ou à grande échelle sans avoir à configurer ou gérer manuellement votre infrastructure. Azure Batch planifie les tâches nécessitant beaucoup de ressources système et ajoute ou supprime des ressources de calcul de manière dynamique en fonction de vos besoins.
Détails du scénario
Les simulations de mécanique des fluides numérique (CFD) nécessitent un temps de calcul considérable ainsi que du matériel spécialisé. À mesure que le recours aux clusters s’intensifie, les temps de simulation et l’utilisation totale des grilles augmentent, entraînant ainsi des problèmes de capacité de réserve et des temps d’attente excessifs. L’ajout de matériel physique peut se révéler coûteux et ne cadre pas toujours avec les pics d’utilisation et les creux d’activité auxquels sont confrontées les entreprises. Azure vous permet de surmonter la plupart de ces difficultés sans engager de dépenses en capital.
Azure vous fournit le matériel dont vous avez besoin pour exécuter vos travaux CFD sur des machines virtuelles avec capacités GPU et UC. Les tailles de machine virtuelle prenant en charge la fonctionnalité RDMA présentent une mise en réseau basée sur InfiniBand FDR qui autorise une communication MPI à faible latence. Quand vous associez ces solutions à Avere vFXT, qui fournit un système de fichiers d’entreprise en cluster, les clients sont en mesure de garantir un débit maximal pour les opérations de lecture dans Azure.
Afin de simplifier la création, la gestion et l’optimisation des clusters HPC (calcul haute performance), vous pouvez utiliser Azure CycleCloud pour approvisionner les clusters et orchestrer les données dans les scénarios hybrides et cloud. Quand vous monitorez les travaux en attente, CycleCloud lance automatiquement les calculs à la demande, et vous ne payez que ce que vous utilisez, en vous connectant au planificateur de charge de travail de votre choix.
Cas d’usage potentiels
Voici plusieurs autres secteurs d’activité utilisant le CFD :
- Aéronautique et aérospatiale/aéronefs
- Automobile
- Chauffage, ventilation et climatisation (HVAC) de bâtiments (installations)
- Hydrocarbures (énergie)
- Biosciences et santé
Considérations
Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.
Extensibilité et sécurité
La mise à l’échelle des nœuds d’exécution sur Azure CycleCloud peut être effectuée manuellement ou automatiquement. Pour plus d’informations, consultez l’article Mise à l’échelle automatique CycleCloud.
Pour obtenir des conseils d’ordre général sur la conception de solutions sécurisées, consultez la documentation sur la sécurité Azure.
Optimisation des coûts
L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.
Les coûts d’exécution d’une implémentation HPC avec un serveur CycleCloud dépendent d’un certain nombre de facteurs. Par exemple, CycleCloud est facturé en fonction du temps de calcul utilisé, lorsque le serveur principal et le serveur CycleCloud sont alloués et exécutés en continu. Les coûts d’exécution des nœuds d’exécution dépendent de la durée pendant laquelle ces nœuds sont opérationnels, ainsi que de la taille utilisée. Les frais de stockage et de mise en réseau Azure standard s’appliquent également.
Ce scénario indique comment exécuter des applications CFD dans Azure. Par conséquent, les machines virtuelles nécessitent la fonctionnalité RDMA, qui est uniquement disponible sur des tailles de machine virtuelle spécifiques. Vous trouverez ci-après des exemples de coûts induits par l’utilisation d’un groupe identique alloué en continu huit heures par jour pendant un mois, avec une sortie de données de 1 To. La tarification du serveur Azure CycleCloud et de l’installation d’Avere vFXT pour Azure est également incluse :
- Région : Europe Nord
- Serveur Azure CycleCloud : 1 x Standard D3 (4 UC, 14 Go de mémoire, HDD Standard 32 Go)
- Serveur principal Azure CycleCloud : 1 x Standard D12 (4 UC, 28 Go de mémoire, HDD Standard 32 Go)
- Tableau de nœuds Azure CycleCloud : 10 x Standard H16r (16 UC, 112 Go de mémoire)
- Avere vFXT sur un cluster Azure : 3 x D16s v3 (système d’exploitation avec 200 Go, 1 disque SSD Premium de 1 To)
- Sortie de données : 1 To
Examinez cette estimation de prix pour le matériel répertorié ci-dessus.
Déployer ce scénario
Prérequis
Avant de déployer le modèle Resource Manager, procédez comme suit :
Créez un principal de service pour la récupération des valeurs d’ID d’application, de nom d’affichage, de nom, de mot de passe et de locataire.
Générez une paire de clés SSH pour vous connecter en toute sécurité au serveur CycleCloud.
Cliquez sur le lien ci-dessous pour déployer la solution.
Connectez-vous au serveur CycleCloud pour configurer et créer un nouveau cluster.
Avere Cache est une solution facultative pouvant augmenter considérablement le débit de lecture des données de travail d’application. Avere vFXT pour Azure résout le problème de l’exécution de ces applications HPC d’entreprise dans le cloud tout en tirant profit des données stockées localement ou dans le service Stockage Blob Azure.
Pour les organisations qui planifient l’utilisation d’une infrastructure hybride combinant stockage local et cloud computing, les applications HPC peuvent s’intégrer à Azure en utilisant les données stockées dans des périphériques de stockage NAS et démarrer des processeurs virtuels en fonction des besoins. Le jeu de données n’est jamais déplacé intégralement vers le cloud. Les octets requis sont temporairement mis en cache à l’aide d’un cluster Avere pendant le traitement.
Pour installer et configurer une installation Avere vFXT, suivez les instructions du guide d’installation et de configuration d’Avere.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteur principal :
- Mike Warrington | FastTrack for Azure Engineer
Étapes suivantes
Documentation du produit :
- Présentation de Azure CycleCloud
- Machines virtuelles Azure
- Introduction à Azure Storage
- Qu’est-ce que le réseau virtuel Azure ?
Consultez les articles suivants relatifs aux machines virtuelles :