Доступ к хранилищу с помощью управляемых удостоверений Azure в Unity Catalog

Статья
04/30/2024

В этой статье описывается, как использовать управляемые удостоверения Azure для подключения к контейнерам хранилища от имени пользователей Unity Catalog.

Что такое управляемые удостоверения Azure

Каталог Unity можно настроить для использования управляемого удостоверения Azure для доступа к контейнерам хранилища от имени пользователей каталога Unity. Управляемые удостоверения предоставляют удостоверение для приложений, используемых при подключении к ресурсам, поддерживающим проверку подлинности Microsoft Entra ID (ранее — Azure Active Directory).

Управляемые удостоверения в Unity Catalog можно использовать для поддержки двух основных вариантов использования:

Как удостоверение для подключения к управляемым учетным записям хранения хранилища метаданных (где хранятся управляемые таблицы).
Как удостоверение для подключения к другим внешним учетным записям хранения (для доступа на основе файлов или для доступа к существующим наборам данных через внешние таблицы).

Настройка Unity Catalog с помощью управляемого удостоверения имеет следующие преимущества при настройке Unity Catalog с помощью субъекта-службы:

Управляемые удостоверения не требуют обслуживания учетных данных или смены секретов.
Если рабочая область Azure Databricks развернута в собственной виртуальной сети (также известной как внедрение виртуальной сети) и используется брандмауэр хранилища для защиты учетной записи Azure Data Lake Storage 2-го поколения, можно использовать управляемое удостоверение для подключения рабочей области к этой учетной записи. См. раздел (Рекомендуется для рабочих областей, внедренных в виртуальную сеть) Настройка доверенного доступа к служба хранилища Azure на основе управляемого удостоверения.

Примечание.

Брандмауэр хранилища нельзя использовать в стандартном развертывании Azure Databricks.

Настройка управляемого удостоверения для Unity Catalog

Чтобы настроить управляемое удостоверение для использования с каталогом Unity, сначала создайте соединитель доступа для Azure Databricks в Azure. По умолчанию соединитель доступа развертывается с управляемым удостоверением, назначаемым системой. Вместо этого можно присоединить управляемое удостоверение, назначаемое пользователем. Затем вы предоставляете управляемому удостоверению доступ к учетной записи Azure Data Lake Storage 2-го поколения и используете соединитель доступа при создании хранилища метаданных каталога Unity или учетных данных хранилища.

Требования

Пользователь Или субъект-служба Azure, создающий соединитель доступа, должен:

Участник или владелец группы ресурсов Azure.

Пользователь Или субъект-служба Azure, предоставляющий управляемое удостоверение учетной записи хранения, должен:

Будьте владельцем или пользователем с ролью Администратор istrator Azure RBAC в учетной записи хранения.

Шаг 1. Создание соединителя доступа для Azure Databricks

Access Подключение or для Azure Databricks — это первый ресурс Azure, который позволяет подключать управляемые удостоверения к учетной записи Azure Databricks.

Каждый соединитель доступа для Azure Databricks может содержать одно назначаемое системой управляемое удостоверение или одно управляемое удостоверение, назначаемое пользователем. Если вы хотите использовать несколько управляемых удостоверений, создайте отдельный соединитель доступа для каждого.

Использование управляемого удостоверения, назначаемого системой

Войдите на портал Azure в качестве участника или владельца группы ресурсов.
Щелкните + Создать или Создать ресурс.
Найдите Подключение or access для Azure Databricks и выберите его.
Нажмите кнопку Создать.
На вкладке Основы примите, выберите или введите значения для следующих полей:
- Подписка. Это подписка Azure, в которую будет создан соединитель доступа. По умолчанию используется выбранная в данный момент подписка Azure. Это может быть любая подписка в арендаторе.
- Группа ресурсов. Это группа ресурсов Azure, в которую будет создан соединитель доступа.
- Имя: введите имя, указывающее назначение соединителя.
- Регион — это должен быть регион учетной записи хранения, к которой вы подключаетесь.
Щелкните Просмотреть и создать.
Когда появится сообщение "Проверка пройдена ", нажмите кнопку "Создать".

После успешного развертывания соединитель доступа развертывается с управляемым удостоверением, назначаемое системой.
Когда развертывание будет завершено, выберите Перейти к ресурсу.

Запишите идентификатор ресурса.

Идентификатор ресурса имеет формат:

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

Использование управляемого удостоверения, назначаемого пользователем

Если у вас еще нет управляемого удостоверения, назначаемого пользователем, создайте новый и запишите его идентификатор ресурса.

См. статью "Управление управляемыми удостоверениями, назначаемыми пользователем".
Войдите на портал Azure в качестве участника или владельца группы ресурсов.

Группа ресурсов должна находиться в том же регионе, что и учетная запись хранения, к которой требуется подключиться.
Найдите настраиваемый шаблон и выберите его.

Выберите "Создать собственный шаблон " и вставьте следующий шаблон в редактор:

{
 "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
 "contentVersion": "1.0.0.0",
 "parameters": {
     "connectorName": {
         "defaultValue": "testConnector",
         "type": "String",
         "metadata": {
             "description": "The name of the Azure Databricks Access Connector to create."
         }
     },
     "accessConnectorRegion": {
         "defaultValue": "[resourceGroup().location]",
         "type": "String",
         "metadata": {
             "description": "Location for the access connector resource."
         }
     },
     "userAssignedManagedIdentiy": {
         "type": "String",
         "metadata": {
             "description": "The resource Id of the user assigned managed identity."
         }
     }
 },
 "resources": [
     {
         "type": "Microsoft.Databricks/accessConnectors",
         "apiVersion": "2023-05-01",
         "name": "[parameters('connectorName')]",
         "location": "[parameters('accessConnectorRegion')]",
         "identity": {
             "type": "UserAssigned",
             "userAssignedIdentities": {
                 "[parameters('userAssignedManagedIdentiy')]": {}
             }
          }
      }
   ]
}

На вкладке Основы примите, выберите или введите значения для следующих полей:
- Подписка: подписка Azure, в которую будет создан соединитель доступа. По умолчанию используется выбранная в данный момент подписка Azure. Это может быть любая подписка в арендаторе.
- Группа ресурсов: группа ресурсов в том же регионе, к которому будет подключаться учетная запись хранения.
- Имя: имя, указывающее назначение соединителя.
- Регион — это должен быть регион учетной записи хранения, к которой вы подключаетесь. Вы можете выбрать предварительно заполненное значение [resourceGroup().location], если группа ресурсов была создана в том же регионе, к которому будет подключена учетная запись хранения.
- Управляемое удостоверение, назначаемое пользователем: идентификатор ресурса управляемого удостоверения, назначаемого пользователем.
Щелкните Просмотреть и создать.
Когда появится сообщение "Проверка пройдена ", нажмите кнопку "Создать".
Когда развертывание будет завершено, выберите Перейти к ресурсу.

Запишите идентификатор ресурса.

Идентификатор ресурса имеет формат:

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

Шаг 2. Предоставление управляемому удостоверению доступа к учетной записи хранения

Чтобы предоставить разрешения на этом шаге, необходимо иметь роль владельца или доступа пользователей Администратор istrator Azure RBAC в учетной записи хранения.

Войдите в учетную запись Azure Data Lake Storage 2-го поколения.
Выберите Управление доступом (IAM), щелкните + Добавить и выберите Добавить назначение роли.
Выберите роль Участник данных BLOB-объектов хранилища и щелкните Далее.
В разделе Назначение доступа для выберите Управляемое удостоверение.
Щелкните +Выбрать участников и выберите соединитель Access для Azure Databricks или управляемого удостоверения, назначаемого пользователем.
Найдите имя соединителя или удостоверение, назначаемое пользователем, выберите его и нажмите кнопку "Проверить и назначить".

Кроме того, можно ограничить доступ к учетной записи хранения, предоставив управляемому удостоверению доступ к конкретному контейнеру. Выполните те же действия, которые описаны выше, но предоставьте роль служба хранилища роли Delegator BLOB-объектов в учетной записи хранения и роли участника данных BLOB-объектов служба хранилища в контейнере.

Шаг 3. Предоставление управляемому удостоверению доступа к событиям файлов

Предоставление управляемому удостоверению доступа к событиям файлов позволяет Azure Databricks подписаться на уведомления о событиях файлов, создаваемых поставщиками облачных служб. Это делает обработку файлов более эффективной. Чтобы предоставить разрешения на этом шаге, необходимо иметь роль владельца или доступа пользователей Администратор istrator Azure RBAC в учетной записи хранения.

Войдите в учетную запись Azure Data Lake Storage 2-го поколения.
Выберите Управление доступом (IAM), щелкните + Добавить и выберите Добавить назначение роли.
Выберите роль участника данных очереди служба хранилища и нажмите кнопку "Далее".
В разделе Назначение доступа для выберите Управляемое удостоверение.
Щелкните +Выбрать участников и выберите соединитель Access для Azure Databricks или управляемого удостоверения, назначаемого пользователем.
Найдите имя соединителя или удостоверение, назначаемое пользователем, выберите его и нажмите кнопку "Проверить и назначить".

(Рекомендуется) Шаг 4. Предоставление Доступа к Azure Databricks для настройки событий файлов от вашего имени

Этот шаг позволяет Azure Databricks автоматически настраивать события файлов. Если вы не предоставляете Azure Databricks доступ к настройке событий файлов от вашего имени, необходимо вручную настроить события файлов для каждого расположения. Чтобы предоставить разрешения на этом шаге, необходимо иметь роли владельца или доступа пользователей Администратор istrator Azure RBAC в управляемом удостоверении и группе ресурсов, в которую находится учетная запись Azure Data Lake Storage 2-го поколения.

Выполните описанные выше действия на шаге 3. Предоставьте управляемому удостоверению доступ к событиям файлов и назначьте участника учетной записи служба хранилища вместе с ролью участника данных очереди служба хранилища управляемому удостоверению.
Перейдите к группе ресурсов Azure, в которой находится учетная запись Azure Data Lake Storage 2-го поколения.
Выберите Управление доступом (IAM), щелкните + Добавить и выберите Добавить назначение роли.
Выберите роль участника EventGrid EventSubscription и нажмите кнопку "Далее".
В разделе Назначение доступа для выберите Управляемое удостоверение.
Щелкните +Выбрать участников и выберите соединитель Access для Azure Databricks или управляемого удостоверения, назначаемого пользователем.
Найдите имя соединителя или удостоверение, назначаемое пользователем, выберите его и нажмите кнопку "Проверить и назначить".

Использование управляемого удостоверения для доступа к корневой учетной записи хранения каталога Unity

В этом разделе описывается, как предоставить управляемому удостоверению доступ к корневой учетной записи хранения при создании хранилища метаданных каталога Unity.

Сведения об обновлении существующего хранилища метаданных Unity Catalog для использования управляемого удостоверения см. в разделе Обновление существующего хранилища метаданных Unity Catalog для использования управляемого удостоверения для доступа к корневому хранилищу.

Войдите в консоль учетной записи Azure Databricks с правами администратора учетных записей Azure Databricks.
Щелкните каталог.
Нажмите Создать хранилище метаданных.
Введите значения для следующих полей:
- Name (Имя) — имя для хранилища метаданных.
- Region (Регион) — регион развертывания хранилища метаданных.
  
  Для обеспечения оптимальной производительности размещайте соединитель доступа, рабочие области, хранилища метаданных и облачные хранилища в одном облачном регионе.
- ADLS Gen 2 path (Путь к ADLS 2-го поколения) — введите путь к контейнеру хранилища, который будет использоваться в качестве корневого хранилища для хранилища метаданных.
  
  Префикс abfss:// добавляется автоматически.
- Access Connector ID (Идентификатор соединителя доступа) — введите идентификатор ресурса соединителя доступа Azure Databricks в следующем формате:
```
/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
```
- (Необязательно) Идентификатор управляемого удостоверения: если вы создали соединитель доступа с помощью управляемого удостоверения, назначаемого пользователем, введите идентификатор ресурса управляемого удостоверения.
Нажмите кнопку Создать.
При появлении запроса выберите рабочие области для связи с хранилищем метаданных.

Использование управляемого удостоверения для доступа к внешнему хранилищу, управляемому в каталоге Unity

Каталог Unity предоставляет возможность доступа к существующим данным в учетных записях хранения с помощью учетных данных хранения и внешних расположений. Учетные данные хранения хранят управляемое удостоверение, а внешние расположения определяют путь к хранилищу вместе со ссылкой на учетные данные хранилища. Этот подход можно использовать для предоставления и контроля доступа к существующим данным в облачном хранилище и регистрации внешних таблиц в Unity Catalog.

Учетные данные хранения могут содержать в себе управляемое удостоверение или субъект-службу. Использование управляемого удостоверения дает возможность Unity Catalog получать доступ к учетным записям хранения, защищенным сетевыми правилами (что невозможно с помощью субъектов-служб), и устраняет необходимость в администрировании и смене секретов.

Чтобы создать учетные данные хранения с помощью управляемого удостоверения и назначить эти учетные данные хранения внешнему расположению, следуйте инструкциям, приведенным в Подключение облачному хранилищу объектов с помощью каталога Unity.

(Рекомендуется для рабочих областей, внедренных в виртуальную сеть) Настройка доверенного доступа к служба хранилища Azure на основе управляемого удостоверения

Если рабочая область Azure Databricks развернута в собственной виртуальной сети Azure, также называемой внедрением виртуальной сети, и вы используете брандмауэр хранилища для защиты учетной записи Azure Data Lake Storage 2-го поколения, необходимо:

Включите рабочую область Azure Databricks для доступа к служба хранилища Azure.
Включите управляемое удостоверение для доступа к служба хранилища Azure.

Шаг 1. Включение доступа рабочей области Azure Databricks к службе хранилища Azure

Необходимо настроить параметры сети, чтобы разрешить рабочей области Azure Databricks доступ к Azure Data Lake Storage 2-го поколения. Вы можете настроить частные конечные точки или доступ из виртуальной сети в Azure Data Lake Storage 2-го поколения, чтобы разрешить подключения из подсетей к учетной записи Azure Data Lake Storage 2-го поколения.

Инструкции см. в статье Предоставление доступа к рабочей области Azure Databricks к Azure Data Lake Storage 2-го поколения.

Шаг 2. Включение управляемого удостоверения для доступа к служба хранилища Azure

Этот шаг необходим, только если для учетной записи хранения Azure отключен параметр "Разрешить службам Azure в списке доверенных служб доступ к этой учетной записи хранения". Если эта конфигурация включена:

Любой соединитель доступа для Azure Databricks в том же клиенте, что и учетная запись хранения, может получить доступ к учетной записи хранения.
Любая доверенная служба Azure может получить доступ к учетной записи хранения. См. раздел Предоставление доступа к доверенным службам Azure.

Приведенные ниже инструкции включают шаг, в котором вы отключите эту конфигурацию. Это можно сделать на портале Azure или с помощью Azure CLI.

Использование портала Azure

Войдите на портал Azure, найдите и выберите учетную запись хранения Azure и перейдите на вкладку Сеть.
Задайте для параметра Доступ из общедоступной сети значение Включено из выбранных виртуальных сетей и IP-адресов.

Вместо этого можно задать для параметра Доступ из общедоступной сети значение Отключено. Управляемое удостоверение можно использовать для обхода проверки доступа к общедоступной сети.
В разделе Экземпляры ресурсов выберите для параметра Тип ресурса значение Microsoft.Databricks/accessConnectors и выберите свой соединитель доступа Azure Databricks.
В разделе Исключения снимите флажок Разрешить службам Azure в списке доверенных служб доступ к этой учетной записи хранения.

Использование командной строки Azure CLI

Установите Azure CLI и возможности входа.

Сведения о входе с помощью субъекта-службы идентификатора Microsoft Entra см. в статье azure CLI login with a Microsoft Entra ID service principal.

Сведения о входе с помощью учетной записи пользователя Azure Databricks см. в статье azure CLI для входа с учетной записью пользователя Azure Databricks.

Добавьте сетевое правило в учетную запись хранения:

az storage account network-rule add \
-–subscription <subscription id of the resource group> \
-–resource-id <resource Id of the access connector for Azure Databricks> \
-–tenant-id <tenant Id> \
-g <name of the Azure Storage resource group> \
-–account-name <name of the Azure Storage resource> \

Добавьте идентификатор ресурса в формате:

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

После создания сетевого правила перейдите к учетной записи хранения Azure на портале Azure и просмотрите управляемое удостоверение на вкладке Сеть в разделе Экземпляры ресурсов для типа ресурса Microsoft.Databricks/accessConnectors.
В разделе Исключения снимите флажок Разрешить службам Azure в списке доверенных служб доступ к этой учетной записи хранения.
При необходимости задайте для параметра Доступ к общедоступной сети значение Отключено. Управляемое удостоверение можно использовать для обхода проверки доступа к общедоступной сети.

При стандартном подходе задается значение Включено из выбранных виртуальных сетей и IP-адресов.

(Рекомендуется) Настройка брандмауэров хранилища Azure для предоставления доступа из бессерверных хранилищ SQL

Бессерверные хранилища SQL — это вычислительные ресурсы, которые выполняются в подписке Azure для Azure Databricks, а не в подписке Azure. Если вы настроите брандмауэр на Azure Data Lake Storage 2-го поколения и планируете использовать бессерверные хранилища SQL, необходимо настроить брандмауэр, чтобы разрешить доступ из бессерверных хранилищ SQL.

Инструкции см. в разделе "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Обновление существующего хранилища метаданных Unity Catalog для использования управляемого удостоверения для доступа к корневому хранилищу

Если у вас есть хранилище метаданных Unity Catalog, созданное с помощью субъекта-службы, и вы хотите обновить его для использования управляемого удостоверения, это можно сделать с помощью вызова API.

Создайте Подключение or Access для Azure Databricks и назначьте ему разрешения для контейнера хранилища хранилища, который используется для корневого хранилища метаданных каталога Unity, используя инструкции в разделе "Настройка управляемого удостоверения для каталога Unity".

Соединитель доступа можно создать с помощью управляемого удостоверения, назначаемого системой, или управляемого удостоверения, назначаемого пользователем.

Запишите идентификатор ресурса соединителя доступа. Если вы используете управляемое удостоверение, назначаемое пользователем, также запишите его идентификатор ресурса.
Войдите в рабочую область Azure Databricks, назначенную хранилищу метаданных, с правами администратора учетных записей.

Для этого необязательно иметь права администратора рабочей области.

Запишите URL-адрес рабочей области, который является первой частью URL-адреса, после https:// и до azuredatabricks.net включительно.
Создайте личный маркер доступа.
Добавьте личный маркер доступа в файл .netrc в домашнем каталоге. Это повышает безопасность, предотвращая отображение личного маркера доступа в журнале команд оболочки. См. API управления маркерами.
Выполните следующую команду cURL, чтобы создать учетные данные хранилища.

Замените значения-заполнители:
- <databricks-instance>: URL-адрес рабочей области, в которой был создан личный маркер доступа.
- <credential-name>: Имя учетных данных хранилища.
- <access-connector-id> — идентификатор ресурса для соединителя доступа Azure Databricks в формате /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>.
- <managed-identity-id>: если вы создали соединитель доступа с помощью управляемого удостоверения, назначаемого пользователем, укажите идентификатор ресурса управляемого удостоверения.
```
curl -n -X POST --header 'Content-Type: application/json' https://<databricks-instance>/api/2.0/unity-catalog/storage-credentials --data "{
  \"name\": \"<credential-name>\",
  \"azure_managed_identity\": {
    \"access_connector_id\": \"<access-connector-id>\",
    \"managed_identity_id\": \"<managed-identity-id>\"
  }
}"
```
Запишите идентификатор учетных данных хранилища в ответе.
Выполните следующую команду cURL, <databricks-instance>чтобы получить metastore_idurl-адрес рабочей области рабочей области, в которой был создан личный маркер доступа.
```
curl -n GET--header 'Content-Type: application/json' https://<databricks-instance>/api/2.0/unity-catalog/metastore_summary
```
Выполните следующую команду cURL, чтобы добавить в хранилище метаданных новые учетные данные корневого хранилища.

Замените значения-заполнители:
- <databricks-instance>: URL-адрес рабочей области, в которой был создан личный маркер доступа.
- <metastore-id> — идентификатор хранилища метаданных, полученный на предыдущем шаге.
- <storage-credential-id> — идентификатор учетных данных хранилища.
```
curl -n -X PATCH --header 'Content-Type: application/json' https://<databricks-instance>/api/2.0/unity-catalog/metastores/<metastore-id> --data
"{\"storage_root_credential_id\": \"<storage-credential-id>\"}"
```