Creación de una credencial de almacenamiento para conectarse a Azure Data Lake Storage Gen2

En este artículo se describe cómo crear una credencial de almacenamiento en Unity Catalog para conectarse a Azure Data Lake Storage Gen2.

Para administrar el acceso al almacenamiento en la nube subyacente que contiene tablas y volúmenes, Unity Catalog usa los siguientes tipos de objeto:

• Las credenciales de almacenamiento encapsulan una credencial de nube a largo plazo que proporciona acceso al almacenamiento en la nube.
• Las ubicaciones externas contienen una referencia a una credencial de almacenamiento y una ruta de acceso de almacenamiento en la nube.

Consulte Conexión al almacenamiento de objetos en la nube mediante Unity Catalog para obtener más información.

Unity Catalog admite dos opciones de almacenamiento en la nube para Azure Databricks: contenedores de Azure Data Lake Storage Gen2 y cubos de Cloudflare R2. Cloudflare R2 está pensado principalmente para los casos de uso compartido de Delta en los que desea evitar las tarifas de salida de datos. Azure Data Lake Storage Gen2 es adecuado para la mayoría de los otros casos de uso. Este artículo se centra en la creación de credenciales de almacenamiento para contenedores de Azure Data Lake Storage Gen2. Para Cloudflare R2, consulte Creación de una credencial de almacenamiento para conectarse a Cloudflare R2.

Para crear credenciales de almacenamiento para acceder a contenedores de Azure Data Lake Storage Gen2, cree un conector de acceso de Azure Databricks que haga referencia a una identidad administrada de Azure y asígnele permisos en el contenedor de almacenamiento. A continuación, haga referencia a ese conector de acceso en la definición de credenciales de almacenamiento.

Requisitos

En Azure Databricks:

• Área de trabajo de Azure Databricks habilitada para Unity Catalog.

• Privilegio CREATE STORAGE CREDENTIAL en el metastore de Unity Catalog asociado al área de trabajo. Los administradores de cuentas y los administradores de metastore tienen este privilegio de manera predeterminada.

  Nota:

  Las entidades de servicio deben tener el rol Administrador de la cuenta para crear credenciales de almacenamiento que usen una identidad administrada. No se puede delegar CREATE STORAGE CREDENTIAL a una entidad de servicio. Esto se aplica tanto a entidades de servicio de Azure Databricks como a entidades de servicio de Microsoft Entra ID (anteriormente, Azure Active Directory).

En el inquilino de Azure:

• Un contenedor de almacenamiento de Azure Data Lake Storage Gen2 en la misma región que el área de trabajo desde la que quiere acceder a los datos.

  La cuenta de almacenamiento de Azure Data Lake Storage Gen2 debe tener un espacio de nombres jerárquico.

• Colaborador o propietario de un grupo de recursos de Azure.

• Propietario o usuario con el rol RBAC de Administrador de acceso de usuario de Azure en la cuenta de almacenamiento.

Creación de una credencial de almacenamiento mediante una identidad administrada

Puede usar una identidad administrada de Azure o una entidad de servicio como identidad de autorización de acceso al contenedor de almacenamiento. Se recomienda encarecidamente el uso de identidades administradas. Su uso ofrece la ventaja de permitir que el catálogo de Unity acceda a las cuentas de almacenamiento que se protegen con reglas de red (algo que no es posible mediante entidades de servicio) y, además, elimina la necesidad de administrar y rotar los secretos. Si desea usar una entidad de servicio, consulte Creación de un almacenamiento administrado de Unity Catalog mediante una entidad de servicio (heredada).

1. En Azure Portal, cree un conector de acceso de Azure Databricks y asígnele permisos en el contenedor de almacenamiento al que desea acceder. Para ello, siga instrucciones que encontrará en Configuración de una identidad administrada para el catálogo de Unity.

   Los conectores de acceso de Azure Databricks son recursos de Azure de primera entidad que le permiten conectar identidades administradas a una cuenta de Azure Databricks. Debe tener el rol Colaborador o superior en el recurso del conector de acceso en Azure para agregar la credencial de almacenamiento.

   Anote el id. de recurso del conector de acceso.

2. Inicie sesión en el área de trabajo de Azure Databricks habilitada para el catálogo de Unity como usuario que tenga el privilegio CREATE STORAGE CREDENTIAL.

   Los roles de administrador de metastore y administrador de cuentas incluyen este privilegio. Si inició sesión como entidad de servicio (ya sea una entidad de servicio de Azure Databricks nativa o Microsoft Entra ID), deberá tener el rol Administrador de la cuenta para crear una credencial de almacenamiento que use una identidad administrada.

3. Haga clic en el Catálogo.

4. Haga clic en el botón +Agregar y seleccione Agregar una credencial de almacenamiento en el menú.

   Esta opción no aparece si no tiene el privilegio CREATE STORAGE CREDENTIAL.

5. Seleccione un tipo de credencial de Azure Managed Identity.

6. Escriba un nombre para la credencial y el id. de recurso del conector de acceso en el siguiente formato:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

7. (Opcional) Si creó el conector de acceso mediante una identidad administrada asignada por el usuario, escriba el id. de recurso de la identidad administrada en el campo Id. de identidad administrada asignada por el usuario con el siguiente formato:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

8. (Opcional) Si desea que los usuarios tengan acceso de solo lectura a las ubicaciones externas que usan esta credencial de almacenamiento, seleccione Solo lectura. Para obtener más información, consulte Marcar una credencial de almacenamiento como de solo lectura.

9. Haga clic en Save(Guardar).

10. Cree una ubicación externa que haga referencia a esta credencial de almacenamiento.

Pasos siguientes

Puede ver, actualizar, eliminar y conceder a otros usuarios permiso para usar las credenciales de almacenamiento. Consulte Administración de credenciales de almacenamiento.

Puede definir ubicaciones externas mediante credenciales de almacenamiento. Consulte Creación de una ubicación externa para conectar el almacenamiento en la nube a Azure Databricks.