Добавление целевых объектов хранилища

Целевые расположения хранилища — это серверное хранилище для файлов, доступ к которым осуществляется через службу кэша Azure HPC Cache. Вы можете добавить хранилище NFS (например, локальную аппаратную систему) или хранить данные в большом двоичном объекте Azure.

Кэш представляет все целевые расположения хранилища в агрегированном пространстве имен. Пути к пространству имен настраиваются отдельно после добавления целевых расположений.

Учтите, что экспортированные данные хранилища должны быть доступны из виртуальной сети кэша. Для локального аппаратного хранилища может потребоваться настроить DNS-сервер, который может разрешать имена узлов для доступа к хранилищу NFS. Дополнительные сведения см. в статье о доступе к DNS.

Целевые расположения хранилища добавляются после создания кэша. Для этого воспользуйтесь приведенной ниже процедурой.

1. Создание кэша
2. Определение целевого расположения хранилища (сведения в этой статье)
3. Создание путей взаимодействия с клиентом (для агрегированного пространства имен)

Процедура добавления целевого расположения хранилища зависит от используемого типа хранилища. Подробности для каждого типа приведены ниже.

Выберите правильный тип целевого расположения хранилища

На выбор доступны три типа целевых расположений хранилища: NFS, BLOB-объект и ADLS-NFS. Выберите тип, соответствующий типу системы хранения, которую вы будете использовать для хранения файлов во время этого проекта HPC Cache.

• NFS — создайте целевое расположение хранилища NFS для доступа к данным в системе хранения данных, подключенной к сети (NAS). Это может быть локальная система хранения данных или другой тип хранилища, доступный для NFS.

  • Требования: Требования к хранилищу NFS
  • Инструкции: Добавление нового целевого расположения хранилища NFS

• BLOB-объект — используйте целевое расположение хранилища BLOB-объектов для хранения рабочих файлов в новом контейнере BLOB-объектов Azure. Считывание из этого контейнера или запись в него возможны только из Azure HPC Cache.

  • Предварительные требования: Требования к хранилищу BLOB-объектов
  • Инструкции: Добавление нового целевого расположения хранилища BLOB-объектов Azure

• ADLS-NFS — целевое расположение хранилища ADLS-NFS обращается к данным из контейнера BLOB-объектов с поддержкой NFS. Вы можете предварительно загрузить контейнер с помощью стандартных команд NFS. Файлы можно будет прочитать позднее с помощью NFS.

  • Предварительные требования: Требования к хранилищу ADLS-NFS
  • Инструкции: Добавление нового целевого расположения хранилища ADLS-NFS

Добавление нового целевого расположения хранилища BLOB-объектов Azure

Для нового целевого расположения хранилища BLOB-объектов требуется пустой контейнер больших двоичных объектов или контейнер, заполненный данными в формате облачной файловой системы Azure HPC Cache. Дополнительные сведения о предварительной загрузке контейнера больших двоичных объектов см. в статье Перенос данных в хранилище BLOB-объектов Azure.

На странице портала Azure Добавление целевого расположения хранилища можно создать новый контейнер больших двоичных объектов непосредственно перед добавлением.

Примечание.

• Для хранилища BLOB-объектов с подключением к NFS используйте тип целевого расположения хранилища ADLS-NFS.
• Конфигурации кэша с высокой пропускной способностью не поддерживают стандартные целевые расположения хранилища BLOB-объектов Azure. Вместо этого используйте хранилище BLOB-объектов с поддержкой NFS (ADLS-NFS).

Портал

На портале Azure откройте экземпляр кэша и щелкните Целевые расположения хранилища на левой боковой панели.

На странице Целевые расположения хранилища перечислены все существующие целевые расположения и приведена ссылка для добавления нового.

Нажмите кнопку Добавить целевое расположение хранилища.

Чтобы настроить контейнер больших двоичных объектов Azure, введите указанные ниже данные.

• Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

• Тип целевого расположения — выберите BLOB-объект.

• Учетная запись хранения: выберите учетную запись, которую хотите использовать.

  Необходимо авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе "Добавление ролей доступа".

  Сведения о типе учетной записи хранения, которую можно использовать, см. в требованиях к хранилищу BLOB-объектов.

• Контейнер хранилища: выберите контейнер больших двоичных объектов для этого целевого расположения или нажмите кнопку Создать.

  

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Примечание.

Если брандмауэр учетной записи хранения разрешает доступ только для выбранных сетей, используйте обходное решение, описанное в статье Обход параметров брандмауэра для учетной записи хранения больших двоичных объектов.

Добавление ролей управления доступом в учетную запись

Служба Azure HPC Cache использует управление доступом на основе ролей Azure (Azure RBAC) для авторизации службы кэша на доступ к целевых расположениям хранилища BLOB-объектов Azure в учетной записи хранения.

Владелец учетной записи хранения должен явным образом добавить роли участника учетной записи хранения и участника данных BLOB-объектов хранилища для пользователя "Поставщик ресурсов HPC Cache".

Это можно сделать заранее или по ссылке на странице портала, где вы добавляется целевое расположение хранилища BLOB-объектов. Помните, что для распространения параметров роли через среду Azure может потребоваться до пяти минут. Подождите несколько минут после добавления ролей перед созданием целевого объекта хранилища.

1. Откройте Управление доступом (IAM) для своей учетной записи хранения.

2. Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу "Добавление назначения ролей".

3. Назначьте указанные ниже роли по одной. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

   Параметр	Значение
   Роли	Участник учетной записи хранения Участник данных хранилища BLOB-объектов
   Назначить доступ для	Поставщик ресурсов HPC Cache или "поставщик ресурсов служба хранилища Cache"

   

Azure CLI

Предварительные требования: доступ к учетной записи хранения

Настройка Azure CLI для Azure HPC Cache.

Перед добавлением целевого расположения хранилища BLOB-объектов убедитесь, что у кэша есть необходимые роли для доступа к учетной записи хранения, а параметры брандмауэра допускают создание целевого расположения хранилища.

Служба Azure HPC Cache использует управление доступом на основе ролей Azure (Azure RBAC) для авторизации службы кэша на доступ к целевых расположениям хранилища BLOB-объектов Azure в учетной записи хранения.

Владелец учетной записи хранения должен явным образом добавить роли участника учетной записи хранения и участника данных BLOB-объектов хранилища для пользователя "Поставщик ресурсов HPC Cache".

Если в кэше отсутствуют эти роли, создать целевое расположение хранилища не удастся.

На применение параметров ролей в среде Azure может потребоваться до пяти минут, поэтому после добавления ролей и перед созданием целевого расположения хранилища вам понадобится немного подождать.

Дополнительные сведения см. в статье Добавление и удаление назначений ролей Azure с помощью Azure CLI.

Также проверьте параметры брандмауэра учетной записи хранения. Если брандмауэр разрешает доступ только для выбранных сетей, попытка создать целевое расположение хранилища может завершиться ошибкой. В этом случае используйте обходное решение, описанное в статье Обход параметров брандмауэра для учетной записи хранения больших двоичных объектов.

Добавление целевого расположения хранилища BLOB-объектов с помощью Azure CLI

Чтобы задать целевое расположение хранилища BLOB-объектов Azure, используйте интерфейс az hpc-cache blob-storage-target add.

Примечание.

В настоящее время при добавлении целевого объекта хранилища с помощью команд Azure CLI требуется создать путь к пространству имен. Эта процедура отличается от процесса, используемого в интерфейсе портала Azure.

Помимо стандартных параметров группы ресурсов и имени кэша, для целевого расположения хранилища необходимо указать следующие параметры:

• --name — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

• --storage-account— Идентификатор учетной записи в этой форме: /subscriptions/subscription_id/resourceGroups/<storage_resource_group>>/providers/Microsoft.служба хранилища</storageAccounts/<account_name>

  Сведения о типе учетной записи хранения, которую можно использовать, см. в требованиях к хранилищу BLOB-объектов.

• --container-name — укажите имя контейнера, который будет использоваться для этого целевого расположения хранилища.

• --virtual-namespace-path — укажите доступный для клиентов путь к файлу этого целевого расположения хранилища. Путь заключается в двойные кавычки. Дополнительные сведения о функции виртуального пространства имен см. в статье Планирование агрегированного пространства имен.

Пример команды:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Добавление нового целевого расположения хранилища NFS

Параметры целевого расположения хранилища NFS отличаются от параметров целевого расположения хранилища BLOB-объектов, включая параметр модели использования, который сообщает кэшу, как хранить данные из данной системы хранения.

Примечание.

Прежде чем создавать целевое расположение хранилища NFS, убедитесь, что ваша система хранения доступна из службы Azure HPC Cache и обладает всеми необходимыми разрешениями. Попытка создать целевое расположение хранилища завершится ошибкой, если кэш не сможет получить доступ к системе хранения. Дополнительные сведения см. в статьях Требования к хранилищу NFS и Устранение неполадок конфигурации NAS и целевого расположения хранилища NFS.

Выбор модели использования

При создании целевого расположения хранилища, использующего NFS для доступа к системе хранения, необходимо выбрать для этого расположения модель использования. Эта модель определяет, как именно кэшируются данные.

Дополнительные сведения обо всех этих параметрах см. в статье Общие сведения о моделях использования.

Встроенные модели использования HPC Cache позволяют уравновесить скорость реагирования и риск получения устаревших данных. Чтобы оптимизировать скорость чтения файлов, можно отказаться от сверки файлов в кэше и файлов на сервере. Кроме того, если вы хотите убедиться, что файлы всегда актуальны в удаленном хранилище, выберите модель, которая часто проверка.

Примечание.

Кэши с высокой пропускной способностью поддерживают кэширование только считываемых данных.

Перечисленные ниже три варианта охватывают большинство ситуаций.

• Высокая скорость чтения, редкие операции записи. Эта модель ускоряет доступ на чтение к файлам, которые являются статическими или редко изменяются.

  В этом режиме файлы кэшируются из операций чтения клиента, но операции записи сразу передаются в серверное хранилище. Файлы, хранящиеся в кэше, не сравниваются автоматически с файлами на томе хранилища NFS.

  Не используйте этот параметр, если существует риск того, что файл может быть изменен непосредственно в системе хранения, не записывая его в кэш. В таком случае кэшированная версия файла не будет синхронизирована с файлом на сервере.

• Более 15 % операций записи. Эта модель позволяет увеличить скорость чтения и записи.

  Кэшируются и операции чтения, и операции записи клиента. Файлы в кэше считаются более новыми, чем файлы в серверной системе хранения. Кэшированные файлы автоматически сверяются с файлами во внутреннем хранилище каждые восемь часов. Измененные файлы в кэше записываются в систему хранилища внутренней части после того, как они находились в кэше в течение часа без других изменений.

  Не используйте этот параметр, если какой-либо клиент подключает серверный том хранилища напрямую, так как в нем могут находиться устаревшие файлы.

• Клиенты производят запись в целевой объект NFS, минуя кэш. Выберите эту модель, если клиенты в рабочем процессе записывают данные непосредственно в систему хранения без предварительной записи в кэш или если требуется оптимизировать согласованность данных.

  Файлы, запрашиваемые клиентами, кэшируются, но любые изменения этих файлов с клиента сразу же передаются в серверную систему хранения. Файлы в кэше часто сверяются с серверными версиями на предмет изменений. Такая проверка обеспечивает согласованность данных при изменении файлов непосредственно в системе хранения, а не в кэше.

Подробную информацию о других параметрах см. в статье Общие сведения о моделях использования.

В таблице ниже приведены различия между всеми моделями использования.

Модель использования	Режим кэширования	Таймер проверки	Таймер обратной записи
Кэширование только для чтения	Чтение	30 секунд	нет
Кэширование чтения и записи	Чтение/запись	8 часов	1 ч

Примечание.

Параметр проверки на сервере определяет частоту автоматического сравнения файлов в кэше с исходными файлами в удаленном хранилище. Однако сравнение можно запустить, отправив в серверную систему хранения клиентский запрос с операцией readdirplus. Readdirplus — это стандартный API NFS (он также называется расширенным чтением), который возвращает метаданные каталога, что приводит к сравнению и обновлению файлов в кэше.

Создание целевого объекта хранилища NFS

Портал

На портале Azure откройте экземпляр кэша и щелкните Целевые расположения хранилища на левой боковой панели.

На странице Целевые расположения хранилища перечислены все существующие целевые расположения и приведена ссылка для добавления нового.

Нажмите кнопку Добавить целевое расположение хранилища.

Укажите для целевого расположения хранилища на базе NFS эти данные:

• Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

• Тип целевого расположения — выберите NFS.

• Имя узла — введите IP-адрес или полное доменное имя для системы хранения NFS. (Используйте доменное имя, только если кэш имеет доступ к DNS-серверу, который может разрешить это имя.) Можно ввести несколько IP-адресов, если на систему хранения ссылается несколько IP-адресов.

• Модель использования — выберите один из профилей кэширования данных, описанный в разделе Выбор модели использования выше, с учетом своего рабочего процесса.

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Azure CLI

Настройка Azure CLI для Azure HPC Cache.

Чтобы создать целевое расположение хранилища, используйте команду Azure CLI az hpc-cache nfs-storage-target add.

Примечание.

В настоящее время при добавлении целевого объекта хранилища с помощью команд Azure CLI требуется создать путь к пространству имен. Эта процедура отличается от процесса, используемого в интерфейсе портала Azure.

Помимо имени и группы ресурсов кэша, укажите перечисленные ниже значения.

• --name — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

• --nfs3-target — IP-адрес системы хранения NFS. (Используйте полное доменное имя только в том случае, если у кэша есть доступ к DNS-серверу, который способен его разрешить.)

• --nfs3-usage-model — один из профилей кэширования данных, описанный в разделе Выбор модели использования выше.

  Чтобы проверить имена модели использования, выполните команду az hpc-cache usage-model list.

• --junction — параметр соединения связывает доступный для клиентов путь к виртуальному файлу клиента с путем экспорта в системе хранения.

  Целевое расположение хранилища NFS может иметь несколько виртуальных путей, если каждый путь представляет отдельный экспорт или подкаталог в одной и той же системе хранения. Создайте все пути для одной системы хранения в одном целевом расположении хранилища.

  Пути к пространству имен в целевом расположении можно добавлять и изменять в любое время.

  Параметр --junction имеет следующие значения:

  • namespace-path — путь к виртуальному файлу на стороне клиента;
  • nfs-export — экспорт системы хранения для связывания с путем на стороне клиента;
  • target-path (необязательно) — подкаталог экспорта (при необходимости).

  Пример: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Дополнительные сведения о функции виртуального пространства имен см. в статье Настройка агрегированного пространства имен.

Пример команды:

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Выходные данные:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Добавление целевого расположения хранилища ADLS-NFS

Целевые расположения хранилища ADLS-NFS используют контейнеры больших двоичных объектов Azure, которые поддерживают протокол NFS 3.0.

Дополнительные сведения об этой функции см. в статье Поддержка протокола NFS 3.0.

Целевые расположения хранилища ADLS-NFS имеют некоторые сходства с целевыми расположениями хранилища BLOB-объектов, а также с целевыми расположениями NFS. Например:

• Как и в случае с целевым расположением хранилище BLOB-объектов, необходимо предоставить службе Azure HPC Cache доступ к учетной записи хранения.

• Как и в случае с целевым расположением хранилище NFS, необходимо выбрать модель использования кэша.

• Так как контейнеры BLOB-объектов с поддержкой NFS имеют иерархическую структуру, совместимую с NFS, вам не нужно использовать кэш для приема данных, а контейнеры доступны для чтения другими системами NFS.

  Вы можете предварительно загрузить данные в контейнер ADLS-NFS, затем добавить их в HPC Cache в качестве целевого расположения хранилища, а затем получить доступ к этим данным из-за пределов HPC Cache. При использовании стандартного контейнера больших двоичных объектов в качестве целевого расположения хранилища для HPC Cache данные записываются в собственном формате и доступны только из других продуктов, совместимых со службой Azure HPC Cache.

Прежде чем можно будет создать целевое расположение хранилища ADLS-NFS, вам потребуется создать учетную запись хранения с поддержкой NFS. Для этого следуйте инструкциям в статьях Необходимые условия для Azure HPC Cache и Подключение хранилища BLOB-объектов с использованием NFS. Если для кэша и учетной записи хранения используются разные виртуальные сети, виртуальная сеть кэша должна иметь доступ к виртуальной сети учетной записи хранения.

После настройки учетной записи хранения вы можете создать новый контейнер при создании целевого расположения хранилища.

Дополнительные сведения об этой конфигурации см. в статье Использование хранилища BLOB-объектов, подключенного к NFS, с Azure HPC Cache.

Чтобы создать целевое расположение хранилище ADLS-NFS, откройте страницу Добавление целевого расположения хранилища на портале Azure. (Другие методы находятся в разработке.)

Введите указанные ниже сведения.

• Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

• Тип целевого расположения  — выберите ADLS-NFS.

• Учетная запись хранения: выберите учетную запись, которую хотите использовать. Если учетная запись хранения с поддержкой NFS не отображается в списке, проверка, что она соответствует предварительным требованиям и что кэш может получить к нему доступ.

  Необходимо авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе "Добавление ролей доступа".

• Контейнер хранилища: выберите контейнер больших двоичных объектов с поддержкой NFS для этого целевого расположения или нажмите кнопку Создать.

• Модель использования — выберите один из профилей кэширования данных, описанный в разделе Выбор модели использования выше, с учетом своего рабочего процесса.

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Просмотр целевых расположений хранилища

Для просмотра целевых расположений хранилища, уже заданных для службы кэша, можно использовать портал Azure или Azure CLI.

Портал

На портале Azure откройте свой экземпляр кэша и щелкните Целевые расположения хранилища под заголовком "Параметры" на левой боковой панели. На странице целевых расположений хранилища перечислены все существующие целевые расположения и элементы управления для их добавления и удаления.

Щелкните имя целевого расположения хранилища, чтобы открыть страницу со сведениями о нем.

Чтение целевых объектов хранения и управление ими и изменение целевых объектов хранения для получения дополнительных сведений.

Azure CLI

Настройка Azure CLI для Azure HPC Cache.

Чтобы просмотреть существующие целевые расположения хранилища для службы кэша, воспользуйтесь командой az hpc-cache storage-target list. Укажите имя кэша и группу ресурсов (если вы не настроили ее глобально).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Чтобы просмотреть сведения о конкретном целевом расположении, используйте команду az hpc-cache storage-target show. (Укажите имя целевого объект расположения хранилища.)

Пример:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Следующие шаги

После создания целевых расположений хранилища выполните эти задачи, чтобы подготовить кэш к использованию:

• Настройка агрегированного пространства имен
• Mount the Azure HPC Cache (Подключение Azure HPC Cache)
• Перенос данных в хранилище Blob-объектов Azure

Если вам потребуется скорректировать какие-либо параметры, вы можете изменить целевое расположение хранилища.