Creación de una credencial de almacenamiento para conectarse a Cloudflare R2.

Artículo
05/03/2024

Importante

Esta característica está en versión preliminar pública.

En este artículo se describe cómo crear una credencial de almacenamiento en el catálogo de Unity para conectarse a Cloudflare R2. El almacenamiento de objetos de Cloudflare R2 no conlleva tarifas de salida. La replicación o migración de datos que comparte en R2 le permite compartir datos entre nubes y regiones sin incurrir en tarifas de salida.

Nota:

Unity Catalog admite dos opciones de almacenamiento en la nube para Azure Databricks: contenedores de Azure Data Lake Storage Gen2 y cubos de Cloudflare R2. Cloudflare R2 está pensado principalmente para los casos de uso compartido de Delta en los que desea evitar las tarifas de salida de datos del proveedor de nube. Azure Data Lake Storage Gen2 es adecuado para la mayoría de los otros casos de uso. Consulte Supervisión y administración de los costos de salida de Delta Sharing (para proveedores) y Creación de una credencial de almacenamiento para conectarse a Azure Data Lake Storage Gen2.

Para usar un cubo de R2 como ubicación de almacenamiento para los datos administrados por el catálogo de Unity, debe crear una credencial de almacenamiento que autorice el acceso al cubo de R2 y cree una ubicación externa que haga referencia a la credencial de almacenamiento y la ruta de acceso del cubo:

Las credenciales de almacenamiento encapsulan una credencial de nube a largo plazo que proporciona acceso al almacenamiento en la nube.
Las ubicaciones externas contienen una referencia a una credencial de almacenamiento y una ruta de acceso de almacenamiento en la nube.

Este artículo se centra en la creación de una credencial de almacenamiento.

Consulte Conexión al almacenamiento de objetos en la nube mediante Unity Catalog para obtener más información.

Requisitos

Área de trabajo de Databricks habilitada para Unity Catalog.
Databricks Runtime 14.3 o superior, o SQL Warehouse 2024.15 o superior.

Si encuentra el mensaje de error No FileSystem for scheme "r2”, es probable que el proceso esté en una versión no admitida.
Una cuenta de Cloudflare. Vea https://dash.cloudflare.com/sign-up.
Rol de administrador de Cloudflare R2. Consulte la documentación de roles de Cloudflare.
Privilegio CREATE STORAGE CREDENTIAL en el metastore de Unity Catalog asociado al área de trabajo. Los administradores de cuentas y los administradores de metastore tienen este privilegio de forma predeterminada.

Configurar un cubo de R2

Cree un cubo de Cloudflare R2.

Puede usar el panel de Cloudflare o la herramienta Cloudflare Wrangler.

Consulte la documentación de " Introducción " de Cloudflare R2 o la documentación de Wrangler.
Cree un token de API de R2 y aplíquelo al cubo.

Consulte la documentación sobre autenticación de la API de Cloudflare R2.

Establezca las siguientes propiedades de token:
- Permisos: Lectura y escritura de objetos.
  
  Este permiso concede acceso de lectura y escritura, que es necesario cuando se usa el almacenamiento de R2 como destino de replicación, como se describe en Uso de réplicas de Cloudflare R2 o migración del almacenamiento a R2.
  
  Si desea aplicar el acceso de solo lectura desde Azure Databricks al cubo de R2, puede crear un token que conceda acceso de solo lectura. Sin embargo, esto puede ser innecesario, ya que puede marcar la credencial de almacenamiento como de solo lectura y se omitirá cualquier acceso de escritura concedido por este permiso.
- (Opcional) TTL: el período de tiempo que desea compartir los datos del cubo con los destinatarios de datos.
- (Opcional) Filtrado de direcciones IP de cliente: seleccione si desea limitar el acceso de red a direcciones IP de destinatario especificadas. Si esta opción está habilitada, debe especificar las direcciones IP de los destinatarios y debe incluir en la lista de permitidos la dirección IP NAT del plano de control de Databricks para la región del área de trabajo.
Consulte Direcciones del plano de control de Azure Databricks.
Copie los valores del token de API de R2:
- Id. de clave de acceso
- Clave de acceso secreta
Importante

Los valores de token solo se muestran una vez.
En la página principal de R2, vaya a Detalles de la cuenta y copie el identificador de cuenta de R2.

Crear la credencial de almacenamiento

En Azure Databricks, inicie sesión en el área de trabajo.
Haga clic en el Catálogo.
Haga clic en el botón +Agregar y seleccione Agregar una credencial de almacenamiento en el menú.

Esta opción no aparece si no tiene el privilegio CREATE STORAGE CREDENTIAL.
Seleccione un tipo de credencial de token de API de Cloudflare.
Escriba un nombre para la credencial y los valores siguientes que copió al configurar el cubo de R2:
- Id. de cuenta
- Id. de clave de acceso
- Clave de acceso secreta
(Opcional) Si quiere que los usuarios tengan acceso de solo lectura a las ubicaciones externas que usan esta credencial de almacenamiento, en Opciones avanzadas seleccione Solo lectura.

No seleccione esta opción si desea usar la credencial de almacenamiento para acceder al almacenamiento de R2 que usa como destino de replicación, como se describe en Usar réplicas de Cloudflare R2 o migrar el almacenamiento a R2.

Para obtener más información, consulte Marcar una credencial de almacenamiento como de solo lectura.
Haga clic en Crear.
En el cuadro de diálogo Credencial de almacenamiento creada, copie el identificador externo.

Paso siguiente: crear la ubicación externa

Vea Creación de una ubicación externa para conectar el almacenamiento en la nube a Azure Databricks.