Administración de la configuración de canalizaciones de Delta Live Tables
Dado que Delta Live Tables automatiza las complejidades operativas, como la administración de infraestructuras, la orquestación de tareas, la recuperación de errores y la optimización del rendimiento, muchas de las canalizaciones se pueden ejecutar con una configuración manual mínima. Sin embargo, Delta Live Tables también permite administrar la configuración de canalizaciones que requieren configuraciones no predeterminadas u optimizar el rendimiento y el uso de recursos. Estos artículos proporcionan detalles sobre la administración de configuraciones para sus canalizaciones de Delta Live Tables, incluidos los ajustes que determinan cómo se ejecutan las canalizaciones, las opciones para el proceso que ejecuta una canalización y la administración de dependencias externas, como las bibliotecas de Python.
Administración de la configuración de la canalización
La configuración de una canalización de Delta Live Tables incluye opciones que definen el código fuente que implementa la canalización. También incluye la configuración que controla la infraestructura de canalización, la administración de dependencias, cómo se procesan las actualizaciones y cómo se guardan las tablas en el área de trabajo. La mayoría de las configuraciones son opcionales, pero algunas requieren una atención especial.
Para obtener información sobre las opciones de configuración de las canalizaciones y cómo usarlas, consulte Configuración de las opciones de canalización para Delta Live Tables.
Para obtener especificaciones detalladas de la configuración de Delta Live Tables, las propiedades que controlan cómo se administran las tablas y las opciones de proceso no configurables, consulte Referencia de propiedades de Delta Live Tables.
Administración de dependencias externas para canalizaciones que usan Python
Delta Live Tables admite el uso de dependencias externas en las canalizaciones, como paquetes y bibliotecas de Python. Para obtener información sobre las opciones y recomendaciones para usar dependencias, consulte Administración de dependencias de Python para canalizaciones de Delta Live Tables.
Uso de módulos de Python almacenados en el área de trabajo de Azure Databricks
Además de implementar el código de Python en cuadernos de Databricks, puede usar Carpetas de Git de Databricks o archivos de área de trabajo para almacenar el código como módulos de Python. Almacenar el código como módulos de Python es especialmente útil cuando tiene funcionalidad común que desea usar en varias canalizaciones o varios cuadernos de la misma canalización. Para obtener información sobre cómo usar módulos de Python con las canalizaciones, consulte Importación de módulos de Python desde carpetas de Git o archivos de área de trabajo.
Optimización del uso del proceso de canalización
Use el escalado automático mejorado para optimizar el uso del clúster de las canalizaciones. El escalado automático mejorado agrega recursos adicionales solo si el sistema determina que esos recursos aumentarán la velocidad de procesamiento de la canalización. Los recursos se liberan cuando dejan de ser necesarios y los clústeres se apagan en cuanto se completan todas las actualizaciones de la canalización.
Para más información sobre el escalado automático mejorado, incluidos los detalles de configuración, consulte Optimización del uso del clúster de canalizaciones de Delta Live Tables con escalado automático mejorado.