Планирование системы Avere vFXT

В этой статье описывается, как спланировать новую систему Avere vFXT для кластера Azure, чтобы расположение и размер создаваемого кластера соответствовали вашим требованиям.

Прежде чем перейти в Azure Marketplace или создать виртуальные машины, примите во внимание следующие факторы.

  • Как кластер будет взаимодействовать с другими ресурсами Azure?
  • Где должны располагаться элементы кластера в частных сетях и подсетях?
  • Какой тип серверного хранилища будет использоваться и как кластер будет к нему обращаться?
  • Насколько мощными должны быть узлы кластера для того, чтобы поддерживать ваш рабочий процесс?

Ознакомьтесь с дополнительными сведениями, чтобы узнать больше.

Изучение компонентов системы

Прежде чем приступить к планированию, полезно изучить компоненты системы Avere vFXT для Azure.

  • Узлы кластера: кластер состоит из трех или более виртуальных машин, настроенных в качестве узлов кластера. Дополнительные узлы позволяют увеличить пропускную способность и кэш системы.

  • Кэш: емкость кэша поровну делится между узлами кластера. Задайте размер кэша каждого узла при создании кластера. Общий размер кэша складывается из размеров узлов.

  • Контроллер кластера — это дополнительная виртуальная машина, расположенная в той же подсети, что и узлы кластера. Контроллер необходим для создания кластера, а также для выполнения текущих задач управления.

  • Серверное хранилище: данные, которые необходимо поместить в кэш, отправляются для долгосрочного хранения в аппаратную систему хранения или контейнер больших двоичных объектов Azure. Хранилище можно добавить после создания кластера Avere vFXT для Azure. Если используется хранилище BLOB-объектов, добавить и настроить контейнер можно при создании кластера.

  • Клиенты: клиентские компьютеры, использующие помещенные в кэш файлы, подключаются к кластеру с использованием пути к виртуальному файлу, а не обращаются напрямую к системам хранения. (Дополнительные сведения см. в статье Подключение кластера Avere vFXT.)

Подписка, группа ресурсов и инфраструктура сети

Определите, где будут находиться элементы развертывания Avere vFXT для Azure. На схеме ниже показано возможное упорядочение компонентов Avere vFXT для Azure:

На схема отображается контроллер кластера и виртуальные машины кластера в одной подсети. Вокруг периметра подсети находится периметр виртуальной сети. Внутри виртуальной сети есть шестиугольник, представляющий конечную точку службы хранилища. Он связан с хранилищем BLOB-объектов за пределами виртуальной сети с помощью пунктирной стрелки.

При планировании сетевой инфраструктуры кластера Avere vFXT нужно следовать следующим рекомендациям.

  • Создайте новую подписку для каждого развертывания Avere vFXT для Azure. Выполняйте управление всеми компонентами в этой подписке.

    Ниже перечислены преимущества использования новой подписки для каждого развертывания.

    • Упрощенное отслеживание расходов — просмотр и аудит всех расходов на ресурсы, инфраструктуру и вычислительные циклы в одной подписке.
    • Более простая очистка — возможность удалить всю подписку по завершении работы с проектом.
    • Удобное секционирование квот ресурсов — изоляция клиентов и кластера Avere vFXT в одной подписке для защиты других критически важных рабочих нагрузок от возможного регулирования ресурсов. Такое разделение предотвращает конфликт при создании большого количества клиентов для рабочего процесса высокопроизводительных вычислений.
  • Разместите клиентские системы вычисления близко к кластеру vFXT. Серверное хранилище может находиться на более дальнем расстоянии.

  • Размещать кластер vFXT и виртуальную машину контроллера кластера следует вместе. В частности, они должны:

    • находиться в одной и той же виртуальной сети;
    • находиться в одной и той же группе ресурсов;
    • использовать одну и ту же учетную запись хранения.

    Шаблон создания кластера обрабатывает эту конфигурацию в большинстве случаев.

  • Кластер должен быть расположен в собственной подсети, чтобы избежать конфликтов IP-адресов с клиентскими или другими вычислительными ресурсами.

  • Используйте шаблон создания кластера для создания большей части необходимых ресурсов инфраструктуры кластера, включая группы ресурсов, виртуальные сети, подсети и учетные записи хранения.

    Если вы хотите использовать уже существующие ресурсы, убедитесь, что они соответствуют требованиям, приведенным в этой таблице.

    Ресурс Использовать существующий? Требования
    Группа ресурсов Да, если пусто. Должно быть пусто.
    Учетная запись хранения Да, при подключении существующего контейнера BLOB-объектов после создания кластера.
    Нет, при создании нового контейнера BLOB-объектов во время создания кластера.
    Существующий контейнер BLOB-объектов должен быть пустым
     
    Виртуальная сеть Да При создании нового контейнера BLOB-объектов Azure необходимо включить конечную точку службы хранилища
    Подсеть Да Не может содержать другие ресурсы

Требования к IP-адресам

Убедитесь, что у кластера подсети есть достаточно большой диапазон IP-адресов для поддержки кластера.

Кластер Avere vFXT использует следующие IP-адреса:

  • IP-адрес для управления одним кластером. По мере необходимости этот адрес может перемещаться с узла на узел кластера, чтобы всегда оставаться доступным. Используйте этот адрес для подключения к средству настройки панели управления Avere.
  • Для каждого узла кластера требуется:
    • По крайней мере один IP-адрес, ориентированный на клиента. (Все адреса, ориентированные на клиента, управляются кластером vserver, который при необходимости может перемещать IP-адреса между узлами.)
    • Один IP-адрес для взаимодействия с кластером.
    • Один IP-адрес экземпляра (назначенный виртуальной машине).

Если вы используете хранилище BLOB-объектов Azure, также могут потребоваться IP-адреса из виртуальной сети кластера.

  • Учетной записи хранилища BLOB-объектов Azure нужно по крайней мере пять IP-адресов. Помните об этом требовании, если хранилище BLOB-объектов находится в той же виртуальной сети, что и кластер.
  • Если вы используете хранилище BLOB-объектов Azure, которое находится за пределами виртуальной сети кластера, необходимо создать конечную точку службы хранилища внутри виртуальной сети. Эта конечная точка не использует IP-адрес.

У вас есть возможность найти сетевые ресурсы и хранилище BLOB-объектов (если используется) в разных группах ресурсов кластера.

Размер узла vFXT

Виртуальные машины, выступающие в качестве узлов кластера, определяют пропускную способность запросов и емкость хранилища кэша.

Каждый узел vFXT будет идентичен. То есть если вы создаете кластер с тремя узлами, вы получите три виртуальные машины одинакового типа и размера.

Тип экземпляра Число виртуальных ЦП Память Локальное хранилище на SSD-накопителях Максимальное число дисков данных Пропускная способность диска без кэширования Сетевая карта (количество)
Standard_E32s_v3 32 256 Гиб 512 ГиБ 32 51 200 операций ввода-вывода в секунду
768 Мбит/с
16 000 Мбит/с (8)

Кэш диска на каждый узел настраивается и может быть размером от 1000 до 8000 ГБ. Для узлов Standard_E32s_v3 рекомендуется использовать кэш размером 4 ТБ на один узел.

Дополнительные сведения об этих виртуальных машинах см. в документации по Microsoft Azure: Размеры виртуальных машин, оптимизированных для операций в памяти.

Квота учетной записи

Убедитесь, что в вашей подписке достаточно ресурсов для запуска кластера Avere vFXT, а также используемых вычислительных или клиентских систем. Дополнительные сведения см. в разделе Quota for the vFXT cluster (Квота для кластера vFXT).

Серверное хранилище данных

Серверные системы хранения данных как помещают файлы в кэш кластера, так и получают измененные данные из кэша. Определите, где будет храниться ваш рабочий набор долгосрочно: в новом контейнере больших двоичных объектов или в имеющейся облачной или аппаратной системе хранения. Эти серверные системы хранения называются основными систематизаторами.

Аппаратные основные систематизаторы

После создания кластера добавьте аппаратные системы хранения в кластер vFXT. Вы можете использовать различные популярные аппаратные системы, в том числе локальные системы, при условии что система хранения данных доступна из подсети кластера.

Подробные инструкции о том, как добавить существующую систему хранения в кластер vFXT Avere, см. в разделе Configure storage (Настройка контейнера).

Облачные основные систематизаторы

Система Avere vFXT для Azure может использовать пустые контейнеры больших двоичных объектов для серверного хранилища. При добавлении в кластер контейнеры должны быть пустыми — система vFXT должна иметь возможность управлять хранилищем объектов без необходимости сохранять существующие данные.

Совет

Если вы хотите использовать хранилище BLOB-объектов Azure для серверной части, в процессе разработки кластера vFXT следует создать контейнер. Шаблон создания кластера может создать и настроить новый контейнер больших двоичных объектов, чтобы он был готов к использованию, как только кластер станет доступен. Добавить контейнер позже будет сложнее.

Дополнительные сведения см. в разделе о создании Avere vFXT для Azure.

После добавления пустого контейнера хранилища BLOB-объектов в качестве основного систематизатора можно скопировать в него данные через кластер. Используйте механизм параллельного многопоточного копирования. Чтобы узнать, как эффективно копировать данные в новый контейнер кластера с использованием клиентских компьютеров и кэша vFXT Avere, обратитесь к статье Moving data to the vFXT cluster - Parallel data ingest (Перемещение данных в кластер vFXT. Прием параллельных данных).

Доступ к кластеру

Кластер Avere vFXT для Azure расположен в частной подсети и не имеет общедоступного IP-адреса. У вас должен быть какой-либо метод доступа к частной подсети для администрирования кластера и клиентских подключений.

Варианты доступа включают в себя:

  • Узел перехода — назначьте общедоступный IP-адрес отдельной виртуальной машине в частной сети и используйте его для создания туннеля TSL к узлам кластера.

    Совет

    Если вы настроите общедоступный IP-адрес на контроллере кластера, контроллер можно использовать в качестве узла перехода. Дополнительные сведения см. в разделе Контроллер кластера как узел перехода.

  • Виртуальная частная сеть (VPN) — настройте VPN типа "точка — сеть" или "сеть — сеть" между частной сетью в Azure и корпоративными сетями.

  • Azure ExpressRoute — настройте частное подключение через партнер ExpressRoute.

Дополнительные сведения об этих параметрах см. в разделе Обмен данными через Интернет.

Контроллер кластера как узел перехода

Контроллер кластера с настроенным общедоступным IP-адресом можно использовать в качестве узла перехода для подключения к кластеру Avere vFXT за пределами частной подсети. Однако, так как контроллер имеет права доступа для изменения узлов кластера, это создает небольшую угрозу безопасности.

Для усиления безопасности контроллера с общедоступным IP-адресом скрипт развертывания автоматически создает группу безопасности сети, которая ограничивает входящий доступ только портом 22. Вы можете дополнительно защитить систему, ограничив доступ по выбранному диапазону исходных IP-адресов, то есть разрешая подключения только от тех компьютеров, с которых вам нужен доступ к этому кластеру.

При создании кластера можно выбрать, следует ли создавать общедоступный IP-адрес на контроллере кластера.

  • Если вы создадите виртуальную сеть или подсеть, контроллеру кластера будет назначен общедоступный IP-адрес.
  • При выборе существующей виртуальной сети и подсети контроллер кластера будет иметь только частные IP-адреса.

Роли доступа к виртуальной машине

Azure использует управление доступом на основе ролей Azure (Azure RBAC), чтобы авторизовать виртуальные машины кластера для выполнения определенных задач. Например, контроллеру кластера требуется авторизация для создания и настройки виртуальных машин узла кластера. Узлы кластера должны иметь возможность назначать или переназначать IP-адреса другим узлам кластера.

Для виртуальных машин Avere vFXT используются две встроенные роли Azure:

Если требуется настроить роли доступа для компонентов Avere vFXT, необходимо определить собственную роль, а затем назначить ее виртуальным машинам во время их создания. Нельзя использовать шаблон развертывания в Azure Marketplace. Обратитесь в службу поддержки пользователей Майкрософт, отправив запрос на портале Azure, как описано в статье Получение помощи по работе с системой.

Дальнейшие действия

В статье с общими сведениями о развертывании дается общее представление всех шагов, необходимых для создания системы Avere vFXT для Azure и ее подготовки для обработки данных.