What is Azure CycleCloud? (Что такое Azure CycleCloud)
Azure CycleCloud — это доступное для предприятий средство для оркестрации сред высокопроизводительных вычислений (HPC) в Azure и управления ими. С помощью CycleCloud пользователи могут подготавливать инфраструктуру для систем HPC, развертывать знакомые планировщики HPC и автоматически масштабировать инфраструктуру для эффективного выполнения заданий в любом масштабе. С помощью CycleCloud пользователи могут создавать различные типы файловых систем и подключать их к узлам вычислительного кластера для поддержки рабочих нагрузок HPC.
Azure CycleCloud предназначен для администраторов HPC и пользователей, которые хотят развернуть среду HPC с учетом определенного планировщика. Часто используемые планировщики, такие как Slurm, PBSPro, LSF, Grid Engine и HT-Condor, поддерживаются готовыми. CycleCloud — это дочерний продукт для пакетная служба Azure, который предоставляет планировщик как услугу в Azure.
Сведения о сравнении CycleCloud с другими решениями Azure HPC см. в статье Высокопроизводительные вычисления (HPC) в Azure .
Почему следует использовать Azure CycleCloud?
Организации, которые некоторое время управляли средами HPC, обычно накапливают многолетний опыт и внутренние инструменты вокруг определенного планировщика, и перепроектирование или развертывание этих сред в Azure может быть сложной задачей. CycleCloud абстрагирует основные стандартные блоки Azure, такие как виртуальные машины, масштабируемые наборы, сетевые интерфейсы и диски. Это позволяет администратору HPC сосредоточиться на привычном кластере HPC, состоящем из узлов, и настраиваемом планировщике на выбор.
CycleCloud развертывает подключаемые модули автомасштабирования поверх поддерживаемых планировщиков, поэтому пользователям не нужно самостоятельно реализовывать сложные функции и подпрограммы автомасштабирования, а использовать только знакомые им конфигурации уровня планировщика.
Благодаря богатому декларативному формату шаблонов CycleCloud предоставляет мощные инструменты для создания полных сред HPC в Azure. Пользователи могут развертывать среды, включающие серверы NFS, параллельные файловые системы, узлы входа, серверы лицензий и службы каталогов ( по сути, все компоненты, необходимые в системе HPC), через одну плоскость управления.
CycleCloud интегрируется со службами Azure, такими как Azure Monitor и средства управления затратами Azure.
Возможности CycleCloud
| Планировщик не зависит от Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте подключаемые модули автомасштабирования CycleCloud для работы с собственным планировщиком. |
 |
| Управление вычислительными ресурсами Управление виртуальными машинами и масштабируемыми наборами для предоставления гибкого набора вычислительных ресурсов, которые могут соответствовать требованиям динамической рабочей нагрузки. |
 |
| Автомасштабирование ресурсов Автоматическая настройка размера кластера и компонентов в зависимости от нагрузки заданий, доступности и требований к времени |
 |
| Мониторинг и анализ Сбор и анализ данных о производительности с помощью средств визуализации |
 |
| Кластеры шаблонов Использование шаблонов CycleCloud для предоставления общего доступа к топологиям кластера сообществу |
 |
| Настройка и расширение функциональных возможностей Используйте комплексный API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок. |
 |
| Интеграция с существующими рабочими процессами Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки |
 |
| Планировщик не зависит от Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте подключаемые модули автомасштабирования CycleCloud для работы с собственным планировщиком. |
 |
| Управление вычислительными ресурсами Управление виртуальными машинами и масштабируемыми наборами для предоставления гибкого набора вычислительных ресурсов, которые могут соответствовать требованиям динамической рабочей нагрузки. |
|
| Автомасштабирование ресурсов Автоматическая настройка размера кластера и компонентов в зависимости от нагрузки заданий, доступности и требований к времени |
|
| Мониторинг и анализ Сбор и анализ данных о производительности с помощью средств визуализации |
|
| Кластеры шаблонов Использование шаблонов CycleCloud для предоставления общего доступа к топологиям кластера сообществу |
|
| Настройка и расширение функциональных возможностей Используйте комплексный API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок. |
|
| Интеграция с существующими рабочими процессами Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки |
|
Как использовать Azure CycleCloud?
Azure CycleCloud — это устанавливаемое веб-приложение, которое можно запускать локально или на виртуальной машине Azure. После установки CycleCloud можно настроить для использования вычислительных ресурсов и ресурсов данных в подготовленной подписке Azure. CycleCloud предоставляет ряд официальных шаблонов кластеров для планировщиков (PBSPro, LSF, Grid Engine, Slurm, HTCondor) и файловых систем (NFS, BeeGFS). Также доступны шаблоны кластеров, предоставляемые сообществом CycleCloud. Вы можете использовать эти шаблоны кластеров без изменений или настроить их в соответствии с конкретными потребностями.
После создания кластера автоматически настраивается автомасштабирование по умолчанию для обработки вычислительных заданий, отправляемых в планировщик. Административные функции CycleCloud управляют доступом к кластеру CycleCloud для других пользователей в организации.
Инструменты с помощью шаблонов и скриптов конфигурации позволяют быстро создавать сложные среды HPC и реплицировать их для отдельных команд в организации.
Что такое CycleCloud?
В CycleCloud нет функций планирования заданий. Другими словами, CycleCloud — это не планировщик, а платформа, которая позволяет пользователям развертывать собственный планировщик в Azure. CycleCloud поставляется со встроенной поддержкой ряда часто используемых планировщиков (PBSPro, Slurm, IBM LSF, Grid Engine и HT Condor), но пользователи CycleCloud часто реализуют собственный планировщик поверх предоставленного API автомасштабирования.
CycleCloud не диктует топологию кластера; установка поставляется с шаблонами, предназначенными для быстрого запуска и запуска систем HPC в Azure, но операторы HPC могут настроить эти шаблоны для адаптации инфраструктуры в соответствии с их требованиями. Сообщество Azure HPC предоставляет шаблоны с мнением, оптимизированные для различных типов рабочих нагрузок и отраслей.
Как выглядит развернутая среда CycleCloud
В инфраструктуре Azure можно развернуть всю систему CycleCloud HPC. CycleCloud устанавливается в качестве сервера приложений на виртуальной машине в Azure, которая требует исходящего доступа к API поставщика ресурсов Azure. Затем CycleCloud запускает и управляет виртуальными машинами, образующими системы HPC, которые обычно состоят из головных узлов планировщика HPC и вычислительных узлов, но могут также включать в себя сетевое хранилище на основе виртуальных машин, например сервер NFS или кластер BeeGFS, узлы входа, узлы-бастионы и другие компоненты, необходимые для поддержки инфраструктуры HPC. Состав системы HPC полностью определяется с помощью шаблонов CycleCloud. Кроме того, среды CycleCloud HPC могут использовать другие службы PaaS, такие как Azure NetApp Files, Azure HPC Cache и Azure домен Active Directory Service.