Septiembre de 2023
Estas características y mejoras de la plataforma Azure Databricks se publicaron en septiembre de 2023.
Nota:
Las versiones se publican por fases. Es posible que su área de trabajo de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.
Federación de Lakehouse disponible en clústeres de usuario único
29 de septiembre de 2023
La federación de Lakehouse ya está disponible en clústeres de usuario único mediante Databricks Runtime 13.1 y versiones posteriores. Solo el propietario de la conexión puede ejecutar consultas en catálogos federados. Consulte ¿Qué es la federación de Lakehouse?.
Delegación de la capacidad para crear una credencial de almacenamiento en Unity Catalog
29 de septiembre de 2023
Ahora puede conceder permisos a los usuarios para crear una credencial de almacenamiento en un metastore de Unity Catalog mediante el nuevo privilegio de CREATE STORAGE CREDENTIAL. Consulte CREACIÓN DE CREDENCIALES DE ALMACENAMIENTO.
Databricks Runtime 14.1 (versión beta)
28 de septiembre de 2023
Databricks Runtime 14.1 y Databricks Runtime 14.1 ML ahora están disponibles como versiones Beta.
Consulte Databricks Runtime 14.1 y Databricks Runtime 14.1 para Machine Learning.
Modelo de GPU optimizado para VM en versión preliminar pública
28 de septiembre de 2023
El servicio de modelos en Azure Databricks admite la implementación de modelos de PyTorch y TensorFlow mediante recursos de proceso de GPU. Esta funcionalidad se encuentra en versión preliminar pública en regiones seleccionadas y también se aplica a la implementación de GPU de modelos registrados con tipos mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow y mlflow.transformers. Consulte Tipos de carga de trabajo de GPU.
Esta versión preliminar también incluye compatibilidad con la implementación de GPU optimizada para servir modelos de lenguaje grandes. Vea El servicio de modelo de lenguaje grande optimizado (LLM)
Prevenir que se omitan las ejecuciones de un trabajo al alcanzar los límites de simultaneidad
27 de septiembre de 2023 - 2 de octubre de 2023
Para evitar que se omitan las ejecuciones de un trabajo de Azure Databricks debido a los límites de simultaneidad, ahora puede habilitar la puesta en cola en el trabajo. Cuando se habilita la puesta en cola, si se alcanza un límite de simultaneidad, el trabajo se coloca en cola hasta que haya capacidad disponible para ejecutar el trabajo. Consulte ¿Qué ocurre si mi trabajo no se puede ejecutar debido a los límites de simultaneidad?.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.27.0
27 de septiembre de 2023
El proveedor Terraform de Databricks, versión 1.27.0, agrega owner y force_destroy a databricks_metastore_data_access, incluye varias mejoras adicionales y correcciones de errores, y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 1.27.0.
CLI de Databricks actualizada a la versión 0.206.0 (versión preliminar pública)
27 de septiembre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.206.0. Esta versión habilita invalidaciones de destino para clústeres de canalización en agrupaciones de recursos de Databricks, mejora la experiencia de inicialización de plantillas de agrupación y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 0.206.0.
SDK de Databricks para Go actualizado a la versión 0.21.0 (beta)
27 de septiembre de 2023
La versión 0.21.0 del SDK de Databricks para Go introduce más de una docena de cambios de última hora en la API, agrega más de una docena de API y añade una docena de campos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.21.0.
Las tablas de inferencia para los puntos de conexión de servicio del modelo están en versión preliminar pública
26 de septiembre de 2023
Habilite las tablas de inferencia en sus puntos de conexión de servicio de modelos para capturar las solicitudes entrantes y las respuestas salientes a esos puntos de conexión y registrarlas como una tabla Delta de Unity Catalog. A su vez, puede usar los datos de esta tabla para supervisar, depurar y mejorar los modelos de ML. Consulte Tablas de inferencia para supervisar y depurar modelos.
Para inscribirse en la versión preliminar pública, póngase en contacto con el equipo de cuentas de Azure Databricks.
Controlador ODBC 2.7.5 de Databricks
23 de septiembre de 2023
Se ha publicado la versión 2.7.5 del controlador ODBC de Databricks (descargar). Esta versión agrega las siguientes características y mejoras nuevas:
- Mejora de la autenticación de cliente de OAuth 2.0 y compatibilidad con la detección de puntos de conexión de OIDC.
- Cifrado del lado servidor con claves proporcionadas por el cliente.
- Función Timedate.
- Se ha mejorado la mensajería de errores para Cloud Fetch.
- Actualizaciones de seguridad.
Esta versión también resuelve la siguiente regresión en la versión 2.7.3:
- La función
SQLForeignKeysdevuelve un resultado vacío si el autor de la llamada pasa un valorNULLpara el catálogo de la tabla principal o la tabla externa.
La versión 2.7.5 ahora devuelve todas las claves principales o claves externas asociadas a la tabla relacionada si el catálogo de la otra tabla se establece NULL.
Extensión de Databricks para Visual Studio Code actualizada a la versión 1.1.3
21 de septiembre de 2023
La extensión Databricks para Visual Studio Code versión 1.1.3 agrega algunas correcciones secundarias. Para obtener información más detallada, consulte los registros de cambios para la versión 1.1.3.
La ejecución de trabajos como entidad de servicio es de disponibilidad general
21 de septiembre de 2023
Los roles de las entidades de servicio y la configuración del trabajo para ejecutar trabajos mediante la identidad de la entidad de servicio ahora son GA.
Consulte Roles para administrar entidades de servicio y Ejecutar un trabajo como entidad de servicio.
CLI de Databricks actualizada a la versión 0.205.2 (versión preliminar pública)
21 de septiembre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.205.2. Esta versión contiene algunas actualizaciones secundarias. Para obtener información más detallada, consulte los registros de cambios para la versión 0.205.2.
CLI de Databricks actualizada a la versión 0.205.1 (versión preliminar pública)
20 de septiembre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.205.1. Esta versión habilita las invalidaciones de destino para las tareas de trabajo en agrupaciones de recursos de Databricks, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 0.205.1.
SDK de Databricks para Go actualizado a la versión 0.20.0 (beta)
20 de septiembre de 2023
El SDK de Databricks para Go versión 0.20.0 agrega más de una docena de API, agrega media docena de campos, cambia algunos campos y métodos y quita algunas API. Para obtener información más detallada, consulte los registros de cambios para la versión 0.20.0.
SDK de Databricks para Python actualizado a la versión 0.9.0 (beta)
20 de septiembre de 2023
El SDK de Databricks para Python versión 0.9.0 cambia algunos métodos y campos, agrega aproximadamente 10 campos, agrega aproximadamente 20 clases de datos e introduce cambios y eliminaciones adicionales. Para obtener información más detallada, consulte los registros de cambios para la versión 0.9.0.
SDK de Databricks para Python actualizado a la versión 0.7.1 (beta)
20 de septiembre de 2023
El SDK de Databricks para Python versión 0.7.1 incluye una corrección secundaria para mejorar el rendimiento de la descarga de archivos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.7.1.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.26.0
20 de septiembre de 2023
El proveedor de Terraform de Databricks, versión 1.26.0, agrega compatibilidad con scripts de inicialización de volúmenes de Unity Catalog, incluye varias mejoras adicionales y correcciones de errores, y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 1.26.0.
Databricks Connect para Databricks Runtime 14.0
20 de septiembre de 2023
Databricks Connect para Databricks Runtime 14.0 admite Streaming estructurado completo (incluido foreachBatch) y consultas de larga duración que se vuelven a adjuntar a la consulta después de la interrupción.
Paneles de Lakeview en Versión preliminar pública
20 de septiembre de 2023
Los paneles de Lakeview permiten compartir visualizaciones y conjuntos de datos mediante un modelo de gobernanza de datos simplificado y unificado. Consulte Paneles.
Databricks Connect V2 es la Versión preliminar pública para Scala
19 de septiembre de 2023
Databricks Connect para Databricks Runtime 13.3 LTS ahora admite Scala en versión preliminar pública, incluidos DataFrames, Delta, Structured Streaming, etc.
Para Python, ahora se admite la cancelación de consultas y la clase DatabricksSession ahora se puede usar en cuadernos y trabajos de Azure Databricks.
Servicio de modelos de GPU en versión preliminar pública
19 de septiembre de 2023
El servicio de modelos en Azure Databricks admite la implementación de modelos de PyTorch y TensorFlow mediante recursos de proceso de GPU. Esta funcionalidad se encuentra en versión preliminar pública en regiones seleccionadas y también se aplica a la implementación de GPU de modelos registrados con tipos mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow y mlflow.transformers. Consulte Tipos de carga de trabajo de GPU.
Cálculo de características a petición ahora disponible en Unity Catalog (versión preliminar pública)
14 de septiembre de 2023
Las características de aprendizaje automático ahora se pueden calcular a petición en el momento de la inferencia. La lógica de cálculo de las características, los modelos y los datos están regidos por Unity Catalog. Esto permite a los modelos procesar características mediante entradas que solo están disponibles en el momento de la inferencia, como la ubicación actual de un usuario. Para obtener más información, consulte Procesamiento de características a petición usando funciones de Python definidas por el usuario.
Databricks Runtime 14.0 está disponible de forma general
14 de septiembre de 2023
Databricks Runtime 14.0 y Databricks Runtime 14.0 ML ahora están disponibles con carácter general.
Consulte Databricks Runtime 14.0 (sin soporte técnico) y Databricks Runtime 14.0 para Machine Learning (sin soporte técnico).
Actualización de notificaciones de correo electrónico de cuenta
14 de septiembre de 2023
Databricks ya no envía notificaciones por correo electrónico cuando los usuarios se agregan a una cuenta de Azure Databricks. Los usuarios seguirán recibiendo notificaciones por correo electrónico cuando se les conceda acceso a un área de trabajo.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.25.1
13 de septiembre de 2023
El proveedor de Terraform de Databricks ha publicado la versión 1.25.1 con pequeñas mejoras y correcciones de errores. Para obtener información más detallada, consulte los registros de cambios para la versión 1.25.1.
SDK de Databricks para Go actualizado a la versión 0.19.2 (beta)
13 de septiembre de 2023
El SDK de Databricks para Go versión 0.19.2 contiene una corrección secundaria. Para obtener información más detallada, consulte los registros de cambios para la versión 0.19.2.
CLI de Databricks actualizada a la versión 0.205.0 (versión preliminar pública)
13 de septiembre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.205.0. Esta es la primera versión de la CLI de Databricks para admitir Agrupaciones de recursos de Databricks en versión preliminar pública. Para obtener información más detallada, consulte los registros de cambios para la versión 0.205.0.
Ubicación reservada para/Workspace
13 de septiembre de 2023
La ubicación /Workspace ahora está reservada. Ya no puede definir un directorio denominado /Workspace con relación a la ruta de acceso raíz en Azure Databricks.
Agrupaciones de recursos de Databricks (versión preliminar pública)
12 de septiembre de 2023
Las agrupaciones de recursos de Databricks, ahora en versión preliminar pública, permiten expresar los datos, análisis y proyectos de ML de un extremo a otro como una colección de archivos de origen. Esto facilita la aplicación de procedimientos recomendados de ingeniería de datos, como el control de código fuente, la revisión de código, las pruebas y CI/CD.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.25.0
12 de septiembre de 2023
La versión 1.25.0 del proveedor Terraform de Databricks incluye la adición de permisosIS_OWNER para almacenes SQL de Databricks, correcciones menores, actualizaciones de documentación y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 1.25.0.
Extensión de Databricks para Visual Studio Code actualizada a la versión 1.1.2
12 de septiembre de 2023
La extensión de Databricks para Visual Studio Code versión 1.1.2 agrega compatibilidad experimental para %run y # MAGIC en cuadernos de Azure Databricks, corrige problemas de ruta de acceso con varias instalaciones locales de la CLI de Databricks, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 1.1.2.
Partner Connect admite Snowplow
12 de septiembre de 2023
Ahora puede usar Partner Connect para conectar su área de trabajo Azure Databricks a Snowplow. Para obtener más información, consulte Conexión a Snowplow.
CLI de Databricks se ha actualizado a la versión 0.204.1 (versión preliminar pública)
11 de septiembre de 2023
La Interfaz de línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.204.1. Para más detalles, consulte el registro de cambios de la versión 0.204.1.
Filtrar datos confidenciales con filtros de fila y máscaras de columna (Versión preliminar pública)
11 de septiembre de 2023
Ahora puede aplicar filtros de fila y máscaras de columna a las tablas para evitar el acceso a datos confidenciales por parte de determinados usuarios. Estos filtros y máscaras se implementan como funciones definidas por el usuario (UDF) de SQL. Consulte Filtrado de datos de tabla confidenciales mediante filtros de fila y máscaras de columna.
Las tablas del sistema ahora incluyen el esquema de Marketplace (Versión preliminar pública)
8 de septiembre de 2023
Las tablas del sistema ahora incluyen un esquema marketplace que almacena los datos del proveedor de Marketplace. Puede consultar la tabla marketplace.listing_access_events para recuperar la información del consumidor para las acciones realizadas en sus listados. Para más información, consulte Referencia de tablas del sistema de Marketplace.
La tabla del sistema de precios ya está disponible (Versión preliminar pública)
8 de septiembre de 2023
Las tablas del sistema ahora incluyen una tabla de precios (system.billing.list_prices) donde puede supervisar el costo de una SKU a lo largo del tiempo. Estos registros pueden ayudarle a realizar análisis de costos y supervisar los cambios de precios. Consulte Referencia de la tabla del sistema de precios.
SDK de Databricks para Go actualizado a la versión 0.19.1 (beta)
7 de septiembre de 2023
El SDK de Databricks para Go versión 0.19.1 continúa algunas actualizaciones y correcciones secundarias. Para obtener información más detallada, consulte los registros de cambios para la versión 0.19.1.
Controlador ODBC 2.7.3 de Databricks
7 de septiembre de 2023
Se ha publicado la versión 2.7.3 del controlador ODBC de Databricks (descargar). Esta versión incluye las siguientes características y correcciones:
- Correcciones de vulnerabilidades mediante la actualización de dependencias de terceros.
SQL_ATTR_MAX_ROWScompatibilidad que permite a un cliente limitar el número de filas que se capturan en una consulta para acelerar la carga rápida (como la versión preliminar).- Se ha actualizado la compatibilidad con MacOS. El controlador ahora admite Apple Silicon/M1.
- Compatibilidad con la autenticación basada en explorador OAuth2 para facilitar el inicio de sesión único (SSO).
Importante
Si usa la clave principal y las API de clave externa, la función SQLForeignKeys devuelve un resultado vacío si el autor de la llamada pasa un valor NULL para el catálogo de la tabla principal o la tabla externa. Este problema se conoce para los desarrolladores.
CLI de Databricks actualizada a la versión 0.204.0 (versión preliminar pública)
6 de septiembre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.204.0. Esta versión incluye la agrupación de comandos relacionados con permisos, agrega y cambia a varios comandos, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 0.204.0.
Data Explorer ahora es Catalog Explorer
6 de septiembre de 2023
Data Explorer se cambia el nombre a Catalog Explorer para reconocer el hecho de que se puede usar para trabajar con todos los objetos protegibles en Unity Catalog, no solo con objetos de datos. Consulte ¿Qué es el Explorador de catálogos?.
SDK de Databricks para Go actualizado a la versión 0.19.0 (beta)
4 de septiembre de 2023
Databricks SDK para Go versión 0.19.0 cambia el nombre de las API de permisos, agrega 8 API, agrega 5 campos, cambia y quita algunos campos y cambia algunos métodos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.19.0.
SDK de Databricks para Python actualizado a la versión 0.8.0 (beta)
4 de septiembre de 2023
Databricks SDK para Python versión 0.8.0 cambia el nombre de las API de permisos, agrega media docena de campos, agrega una media docena de clases de datos e introduce varios cambios y eliminaciones. Para obtener información más detallada, consulte los registros de cambios para la versión 0.8.0.
Delegar privilegios de lista de permitidos en Unity Catalog
1 de septiembre de 2023
Ahora puede delegar privilegios para administrar elementos en la lista de permitidos para el catálogo de Unity. Consulte Agregar a la lista de permitidos bibliotecas y scripts de inicialización en proceso compartido.
La integración de aplicaciones de GitHub en Repos está disponible con disponibilidad general
1 de septiembre de 2023
La integración de aplicaciones de GitHub en Repos está disponible con disponibilidad general. La característica permite una administración de credenciales de Git más sencilla al integrar con GitHub en Repos.
Importante
Las aplicaciones de GitHub no se admiten en el servidor GitHub Enterprise.