Ключи, управляемые клиентом, для Машинного обучения Azure

  • Статья

Машинное обучение Azure задействует несколько служб Azure. Хотя сохраненные данные шифруются с помощью ключей шифрования, предоставляемых Корпорацией Майкрософт, вы можете повысить безопасность, предоставив также собственные (управляемые клиентом) ключи. Предоставленные ключи хранятся в Azure Key Vault. Ваши данные хранятся в наборе дополнительных ресурсов, управляемых в подписке Azure.

Помимо ключей, управляемых клиентом, Машинное обучение Azure предоставляет флаг hbi_workspace. Включение этого флага сокращает объем данных, собираемых корпорацией Майкрософт в целях диагностики, и обеспечивает дополнительное шифрование в управляемых майкрософт средах. Кроме того, этот флаг активирует следующее поведение:

  • Начинает шифрование локального диска с нуля в Машинное обучение Azure вычислительном кластере, если вы не создали предыдущие кластеры в этой подписке. В противном случае необходимо создать запрос в службу поддержки, чтобы включить шифрование царапина диска для вычислительных кластеров.
  • Очищает локальный временный диск между заданиями.
  • Безопасно передает учетные данные для учетной записи хранения, реестра контейнеров и учетной записи Secure Shell (SSH) из уровня выполнения в вычислительные кластеры с помощью хранилища ключей.

Флаг hbi_workspace не влияет на шифрование при передаче. Это влияет только на шифрование неактивных данных.

Необходимые компоненты

  • Подписка Azure.
  • Экземпляр хранилища ключей Azure. Хранилище ключей содержит ключи для шифрования служб.

Хранилище ключей должно включить обратимое удаление и защиту от очистки. Управляемое удостоверение для служб, которые помогают защититься с помощью ключа, управляемого клиентом, должно иметь следующие разрешения в хранилище ключей:

  • Упаковка ключа
  • Распаковка ключа
  • Получить

Эти разрешения потребуются, например, управляемому удостоверению для Azure Cosmos DB для хранилища ключей.

Ограничения

  • После создания рабочей области ключ шифрования, управляемый клиентом, для ресурсов, от которым зависит рабочая область, можно обновить только до другого ключа в исходном ресурсе Azure Key Vault.
  • Зашифрованные данные хранятся в ресурсах в группе ресурсов, управляемой корпорацией Майкрософт, в подписке. Вы не можете создать эти ресурсы перед вами или передать их владение. Жизненный цикл данных управляется косвенно через API Машинное обучение Azure при создании объектов в службе Машинное обучение Azure.
  • Вы не можете удалить управляемые корпорацией Майкрософт ресурсы, используемые для ключей, управляемых клиентом, без удаления рабочей области.
  • Вы не можете зашифровать диск ОПЕРАЦИОННОй системы вычислительного кластера с помощью ключей, управляемых клиентом. Необходимо использовать ключи, управляемые корпорацией Майкрософт.

Предупреждение

Не удаляйте группу ресурсов, содержащую экземпляр Azure Cosmos DB или любые ресурсы, которые автоматически создаются в этой группе. Если вам нужно удалить группу ресурсов или управляемые корпорацией Майкрософт службы в ней, необходимо удалить рабочую область службы "Машинное обучение Azure", в которой она используется. Ресурсы группы ресурсов удаляются при удалении связанной рабочей области.

служба хранилища метаданных рабочей области

При вводе собственного ключа шифрования метаданные службы хранятся в выделенных ресурсах в подписке Azure. Корпорация Майкрософт создает отдельную группу ресурсов в подписке для этой цели: azureml-rg-workspacename_GUID. Только корпорация Майкрософт может изменять ресурсы в этой управляемой группе ресурсов.

Корпорация Майкрософт создает следующие ресурсы для хранения метаданных для рабочей области:

Service Использование Демонстрационные данные
Azure Cosmos DB Хранит данные журнала заданий, метаданные вычислений и метаданные ресурса. Данные могут включать имя задания, состояние, порядковый номер и состояние; имя вычислительного кластера, количество ядер и количество узлов; имена и теги хранилища данных, а также описания ресурсов, таких как модели; и имена меток данных.
Поиск по искусственному интеллекту Azure Хранит индексы, которые помогают запрашивать содержимое машинного обучения. Эти индексы основаны на данных, хранящихся в Azure Cosmos DB.
Хранилище Azure Сохраняет метаданные, связанные с данными конвейера Машинное обучение Azure. Данные могут включать имена конвейеров конструктора, макет конвейера и свойства выполнения.

С точки зрения управления жизненным циклом данных данные в предыдущих ресурсах создаются и удаляются при создании и удалении соответствующих объектов в Машинное обучение Azure.

Ваша Машинное обучение Azure рабочая область считывает и записывает данные с помощью управляемого удостоверения. Это удостоверение предоставляется доступ к ресурсам через назначение ролей (управление доступом на основе ролей Azure) для ресурсов данных. Предоставленный ключ шифрования используется для шифрования данных, хранящихся в управляемых корпорацией Майкрософт ресурсах. Он также используется для создания индексов для поиска ИИ Azure во время выполнения.

Дополнительные сетевые элементы управления настраиваются при создании конечной точки приватного канала в рабочей области, чтобы обеспечить входящие подключения. Эта конфигурация включает создание подключения конечной точки приватного канала к экземпляру Azure Cosmos DB. Доступ к сети ограничен только доверенными службы Майкрософт.

Ключи, управляемые клиентом

Если вы не используете управляемый клиентом ключ, корпорация Майкрософт создает ресурсы в подписке Azure, принадлежащей Майкрософт, и использует управляемый корпорацией Майкрософт ключ для шифрования данных.

При использовании ключа, управляемого клиентом, ресурсы находятся в подписке Azure и шифруются с помощью ключа. Хотя эти ресурсы существуют в подписке, корпорация Майкрософт управляет ими. Ресурсы создаются автоматически и настраиваются при создании рабочей области Машинного обучения Azure.

Эти управляемые корпорацией Майкрософт ресурсы находятся в новой группе ресурсов Azure, созданной в вашей подписке. Эта группа ресурсов отделена от группы ресурсов для рабочей области. Он содержит управляемые корпорацией Майкрософт ресурсы, с которыми используется ключ. Формула именования группы ресурсов: <Azure Machine Learning workspace resource group name><GUID>

Совет

Единицы запросов для Azure Cosmos DB автоматически масштабируемые по мере необходимости.

Если ваша Машинное обучение Azure рабочая область использует частную конечную точку, эта группа ресурсов также содержит виртуальную сеть, управляемую корпорацией Майкрософт. Эта виртуальная сеть помогает защитить обмен данными между управляемыми службами и рабочей областью. Вы не можете предоставить собственную виртуальную сеть для использования с управляемыми корпорацией Майкрософт ресурсами. Вы также не можете изменить виртуальную сеть. Например, нельзя изменить диапазон IP-адресов, который он использует.

Важно!

Если у вашей подписки недостаточно квоты для этих служб, произойдет сбой.

При использовании ключа, управляемого клиентом, затраты на подписку выше, так как эти ресурсы находятся в вашей подписке. Для оценки затрат используйте калькулятор цен Azure.

служба хранилища вычислительных данных

Машинное обучение Azure использует ресурсы вычислений для обучения и развертывания моделей машинного обучения. В следующей таблице описаны параметры вычислений и способ шифрования данных.

Службы вычислений Шифрование
Экземпляры контейнеров Azure Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в разделе "Шифрование данных развертывания".
Служба Azure Kubernetes Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в статье "Перенос собственных ключей с дисками Azure" в Служба Azure Kubernetes.
Вычислительная операция Машинного обучения Azure Локальный диск царапин шифруется, если включить hbi_workspace флаг рабочей области.
Вычислительный кластер Машинного обучения Azure Диск ОС шифруется в служба хранилища Azure с помощью ключей, управляемых Корпорацией Майкрософт. Временный диск шифруется при включении флага hbi_workspace рабочей области.
Службы вычислений Шифрование
Служба Azure Kubernetes Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в статье "Перенос собственных ключей с дисками Azure" в Служба Azure Kubernetes.
Вычислительная операция Машинного обучения Azure Локальный диск царапин шифруется, если включить hbi_workspace флаг рабочей области.
Вычислительный кластер Машинного обучения Azure Диск ОС шифруется в служба хранилища Azure с помощью ключей, управляемых Корпорацией Майкрософт. Временный диск шифруется при включении флага hbi_workspace рабочей области.

Вычислительный кластер

Вычислительные кластеры имеют локальное хранилище дисков ОС и могут подключать данные из учетных записей хранения в подписке во время задания. При подключении данных из собственной учетной записи хранения в задании можно включить ключи, управляемые клиентом, в этих учетных записях хранения для шифрования.

Диск ОС для каждого вычислительного узла, хранящегося в служба хранилища Azure, всегда шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure, а не с ключами, управляемыми клиентом. Этот целевой объект вычислений является временным, поэтому данные, хранящиеся на диске ОС, удаляются после уменьшения масштаба кластера. Кластеры обычно масштабируются, если задания не помещаются в очередь, автомасштабирование включено, а минимальное число узлов равно нулю. Базовая виртуальная машина отозвана, а диск ОС удаляется.

Шифрование дисков Azure не поддерживается для диска ОС. Каждая виртуальная машина также имеет локальный временный диск для операций ОС. При необходимости можно использовать диск для размещения данных для обучения. Если вы создаете рабочую область с заданным параметром hbi_workspaceTRUE, временный диск шифруется. Эта среда является короткой (только во время задания), а поддержка шифрования ограничена только ключами, управляемыми системой.

Вычислительная операция

Диск ОС для вычислительного экземпляра шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure. Если вы создаете рабочую область с hbi_workspace заданным параметром TRUE, локальный временный диск на вычислительном экземпляре шифруется с помощью ключей, управляемых Корпорацией Майкрософт. Шифрование ключей, управляемых клиентом, не поддерживается для ос и временных дисков.

флаг hbi_workspace

Флаг можно задать hbi_workspace только при создании рабочей области. Вы не можете изменить его для существующей рабочей области.

Если этот флаг TRUEзадан, это может увеличить трудности при устранении неполадок, так как меньше данных телеметрии отправляются в корпорацию Майкрософт. Существует меньше видимости показателей успеха или типов проблем. Корпорация Майкрософт может не реагировать как упреждающее, если этот флаг имеется TRUE.

Чтобы включить hbi_workspace флаг при создании рабочей области Машинное обучение Azure, выполните действия, описанные в одной из следующих статей:

Следующие шаги