Share via

служба хранилища для HPC в финансовом секторе

  • Статья

В этой статье приведены рекомендации по реализации хранилища в средах HPC для финансового сектора. Крупномасштабные рабочие нагрузки HPC в финансовых средах создают требования к хранилищу данных и доступу, превышающим возможности традиционных облачных файловых систем.

Рекомендации по проектированию

Чтобы решить, какое решение хранилища следует использовать, необходимо учитывать следующие требования к приложению.

  • Задержка
  • ОПЕРАЦИЙ ВВОДА-ВЫВОДА
  • Пропускная способность
  • Размеры и число файлов
  • Среда выполнения задания
  • Связанные затраты
  • Сходство с расположением хранилища: локальная среда и Azure

Рекомендации по проектированию

  • Используйте Хранилище BLOB-объектов Azure уровня "Стандартный" или "Премиум" для хранилища с высокой пропускной способностью и низкой задержкой. Он предлагает следующие преимущества:

    • Он предоставляет высокопроизводительный, высокопроизводительный, низкий уровень задержки, доступ к знакомой файловой системе и доступ с несколькими протоколами (REST, HDFS, NFS).
    • Это экономично.
    • С помощью BLOB-объекта можно подключить служба хранилища как файловую систему с помощью BLOBFuse. Это упрощает подключение нескольких узлов к одному контейнеру для сценариев только для чтения.
    • Она поддерживает NFS 3.0 в конечной точке службы BLOB-объектов для высокопроизводительных рабочих нагрузок с высокой пропускной способностью.
    • Вы можете оптимизировать затраты, переместив данные на более холодные уровни с помощью возможности управления жизненным циклом с помощью интеллектуального распределения времени последнего обновления и доступа с настраиваемыми политиками.

  • Используйте Azure NetApp Files для ReadWriteMany (уникальные) или однократные приложения для чтения. Он предоставляет следующие преимущества:

    • Широкий выбор протоколов файлов (NFSv3, NFSv4.1, S МБ 3).
    • Производительность, сравнимая с локальной производительностью, с несколькими уровнями (Ультра, Премиум, Стандартный).
    • Развертывается в минутах и предлагает широкий спектр уровней и гибкости.
    • Гибкие типы пула емкости и производительность, где QoS для каждого тома автоматически назначается на основе уровня пула и квоты тома.

В следующей таблице приведено сравнение служба хранилища BLOB-объектов, Файлы Azure, Управляемого Lustre Azure и Azure NetApp Files.

Хранилище BLOB-объектов Файлы Azure Управляемый Lustre в Azure Azure NetApp Files
Варианты использования Лучше всего подходит для крупномасштабных рабочих нагрузок последовательного доступа с большим объемом чтения, в которых данные получаются один раз и минимально изменены.

Низкая общая стоимость владения, если есть легкое обслуживание.		 Высокодоступная служба, которая лучше всего подходит для рабочих нагрузок случайного доступа.

Для общих папок NFS Файлы Azure предоставляет полную поддержку файловой системы POSIX. Встроенный драйвер CSI позволяет легко использовать его с платформ контейнеров, таких как Экземпляры контейнеров Azure и Служба Azure Kubernetes (AKS), помимо платформ на основе виртуальных машин.		 Управляемый Lustre Azure — это полностью управляемая параллельная файловая система, подходящая для средних и больших рабочих нагрузок HPC.

Позволяет приложениям HPC в облаке без нарушения совместимости приложений, предоставляя знакомые функции параллельной файловой системы Lustre, поведение и производительность, обеспечивая долгосрочные инвестиции в приложения.		 Полностью управляемая файловая служба в облаке с поддержкой NetApp с расширенными возможностями управления.

Azure NetApp Files подходит для рабочих нагрузок, требующих случайного доступа. Она обеспечивает широкую поддержку протокола и улучшенную защиту данных.
Доступные протоколы NFS 3.0

ОСТАЛЬНЫЕ

Azure Data Lake Storage		 S МБ

NFS 4.1

(Взаимодействие между протоколом отсутствует.)		 Блеск NFS 3.0 и 4.1

S МБ


Ключевые функции Интегрирована с Azure HPC Cache для рабочих нагрузок с низкой задержкой.

Интегрированное управление, включая управление жизненным циклом, неизменяемые большие двоичные объекты, отработка отказа данных и индекс метаданных.		 Зональная избыточность для обеспечения высокой доступности.

Стабильная задержка в несколько миллисекунд.

Прогнозируемая производительность и затраты, которые масштабируются с учетом емкости.		 Высокая емкость хранилища до 2,5PB.

Низкая задержка (~2 мс).

Создание новых кластеров в минутах.

Поддерживает контейнерные рабочие нагрузки с помощью AKS.		 Крайне низкая задержка (не ниже миллисекунда).

Возможности управления Rich NetApp ONTAP, такие как SnapMirror Cloud.

Согласованная работа в гибридном облаке.
Производительность (на один том) До 20 000 операций ввода-вывода в секунду. До 100 ГиБ/с пропускной способности. До 100 000 операций ввода-вывода в секунду. 80 ГиБ/с пропускной способности. До 100 000 операций ввода-вывода в секунду до 500 ГиБ/с. До 460 000 операций ввода-вывода в секунду. До 36 ГиБ/с пропускной способности.
Масштабировать До 2 PiB для одного тома.

До 4,75 ТиБ для одного файла.

Минимальные требования к емкости отсутствуют.		 До 100 ТиБ для одного тома.

До 4 ТиБ для одного файла.

Минимальная емкость 100 ГиБ.		 До 2,5 PiB для одного тома.

32 PB для одного файла.

Минимальная емкость 4 ТиБ.		 До 100 ТиБ для одного тома.

До 16 ТиБ для одного файла.

Согласованная работа в гибридном облаке.
Цены Цены на Хранилище BLOB-объектов Цены на Файлы Azure Цены на Управляемые Lustre в Azure Цены на Azure NetApp Files

Следующие шаги

В следующих статьях приведены рекомендации, которые могут оказаться полезными в различных точках во время процесса внедрения облака. Они помогут вам добиться успеха в сценарии внедрения облака для HPC в финансовом секторе.