Система HPC и решения для больших вычисленийHPC System and Big Compute Solutions

Концепция решения Solution Idea

Если вы хотите ознакомиться с этой статьей, дополнительные сведения (сведения о реализации, рекомендации по ценам, примеры кода и т. д.), сообщите нам о отзывах в GitHub!If you'd like to see us expand this article with more information (implementation details, pricing guidance, code examples, etc), let us know with GitHub Feedback!

Рабочие нагрузки больших вычислений и высокопроизводительных вычислений (HPC) обычно потребляют много ресурсов и могут выполняться параллельно, используя преимущества масштабирования и гибкости облака.Big compute and high performance computing (HPC) workloads are typically compute-intensive and can be run in parallel, taking advantage of the scale and flexibility of the cloud. Рабочие нагрузки часто выполняются асинхронно с помощью пакетной обработки, а вычислительные ресурсы — для выполнения работы и планирования заданий, необходимых для указания работы.The workloads are often run asynchronously using batch processing, with compute resources required to run the work and job scheduling required to specify the work. Примеры рабочих нагрузок для больших вычислений и HPC включают моделирование финансовых рисков Монте-Карло, визуализацию изображений, кодирование мультимедиа, обработку файлов, а также проектирование или инженерное моделирование.Examples of Big Compute and HPC workloads include financial risk Monte Carlo simulations, image rendering, media transcoding, file processing, and engineering or scientific simulations.

Это решение реализует собственное облачное приложение с пакетной службой Azure, которое обеспечивает выделение и управление ресурсами вычислений, установку приложений, автоматическое масштабирование ресурсов и планирование заданий в качестве службы платформы.This solution implements a cloud-native application with Azure Batch, which provides compute resource allocation and management, application installation, resource autoscaling, and job scheduling as a platform service. Пакетная служба также предлагает ускорители рабочих нагрузок более высокого уровня, специально предназначенные для параллельного выполнения R, обучения ии и подготовки к просмотру рабочих нагрузок.Batch also offers higher-level workload accelerators specifically for running R in parallel, AI training, and rendering workloads.

Это решение основано на управляемых службах, включая виртуальные машины, хранилище и пакетную службу.This solution is built on managed services including Virtual Machines, Storage, and Batch. Эти службы Azure работают в среде с высоким уровнем доступности, исправленной и поддерживаемой, что позволяет сосредоточиться на решении.These Azure services run in a high-availability environment, patched and supported, allowing you to focus on your solution.

Ссылки на разделы справа содержат документацию по развертыванию продуктов Azure и управлению ими, перечисленные в описанной выше архитектуре решения.The links to the right provide documentation on deploying and managing the Azure products listed in the solution architecture above.

Документация по пакетной службеBatch documentation

Виртуальные машиныVirtual Machines

Пакетная служба AzureAzure Batch

Хранилище BLOB-объектов AzureAzure Blob Storage

АрхитектураArchitecture

Схема архитектуры . Скачайте SVG этой архитектуры.Architecture Diagram Download an SVG of this architecture.

Поток данныхData Flow

  1. Отправьте входные файлы и приложения в учетную запись хранения Azure.Upload input files and the applications to your Azure Storage account.
  2. Создайте пул пакетной службы для кластерных узлов, задание для запуска рабочей нагрузки в пуле и задачи в задании.Create a Batch pool of compute nodes, a job to run the workload on the pool, and the tasks in the job.
  3. Пакетная загрузка входных файлов и приложений.Batch downloads input files and applications.
  4. Пакетная мониторинг выполнения задачи.Batch monitors task execution.
  5. Пакетная передача выходных данных задачи.Batch uploads task output.
  6. Скачивание выходных файлов.Download output files.

ComponentsComponents

  • Учетные записи хранения: масштабируемое хранилище объектов для неструктурированных данных.Storage Accounts: Massively scalable object storage for unstructured data.
  • Пакетнаясреда: планирование заданий и управление расчетами в облаке.Batch: Cloud-scale job scheduling and compute management.

Следующие шагиNext steps