Uso de Unity Catalog con Structured Streaming

  • Artículo

Use Structured Streaming con Unity Catalog para administrar la gobernanza de datos para las cargas de trabajo incrementales y de streaming en Azure Databricks. En este documento se describe la funcionalidad soportada y sugiere los procedimientos recomendados para utilizar conjuntamente Unity Catalog y Structured Streaming.

¿Qué funcionalidad de Structured Streaming admite Unity Catalog?

Unity Catalog no agrega ningún límite explícito para orígenes y receptores de Structured Streaming que están disponibles en Azure Databricks. El modelo de gobernanza de datos de Unity Catalog permite transmitir datos de tablas administradas y externas en Unity Catalog. También puede usar ubicaciones externas que administre Unity Catalog para interactuar con los datos mediante los URI de almacenamiento de objetos. Puede escribir en tablas externas mediante nombres de tablas o rutas de acceso de archivo. Debe interactuar con tablas administradas en Unity Catalog utilizando el nombre de la tabla.

Use ubicaciones externas que administre Unity Catalog cuando especifique rutas de acceso para los puntos de control de Structured Streaming. Para obtener más información sobre cómo conectar de forma segura el almacenamiento con Unity Catalog, consulte Conexión al almacenamiento de objetos en la nube mediante Unity Catalog.

La compatibilidad con la función de Structured Streaming difiere en función de la versión de Databricks Runtime que esté ejecutando y de si está utilizando el modo de acceso de clúster asignado o compartido. Para obtener más detalles, consulte Limitaciones de streaming para Unity Catalog.

Para obtener una demostración de un extremo a otro mediante Structured Streaming en Unity Catalog, consulte el tutorial sobre cómo ejecutar una canalización de análisis de almacén de lago de un extremo a otro.

¿Qué funciones de Structured Streaming no son compatibles con Unity Catalog?

Para obtener una lista de las características de flujo estructurado que no se admiten en Unity Catalog, consulte Limitaciones de streaming para Unity Catalog.