noviembre de 2023

  • Artículo

Estas características y mejoras de la plataforma de Azure Databricks se publicaron en noviembre de 2023.

Nota:

Las versiones se publican por fases. Es posible que su área de trabajo de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.

Vector de búsqueda de Databricks es versión preliminar pública

30 de noviembre de 2023

Vector de búsqueda de Azure Databricks es un motor de búsqueda de similitud sin servidor que permite almacenar una representación vectorial de los datos, incluidos los metadatos, en una base de datos vectorial. Como parte de esta funcionalidad, puede crear índices de vectores búsqueda de actualización automática a partir de datos del Catálogo de Unity y consultarlos con una API sencilla para devolver los vectores más similares como parte de los flujos de trabajo RAG. Consulte Vectores de búsqueda de Databricks.

Las listas de controles de acceso ya no se pueden deshabilitar

29 de noviembre de 2023

La siguiente configuración está habilitada en todas las áreas de trabajo del plan Premium y ya no se puede deshabilitar desde la página de configuración del administrador del área de trabajo o la API de Conf del área de trabajo:

  • Control de acceso al área de trabajo: permite a los usuarios configurar permisos para los objetos del área de trabajo.
  • Control de acceso de trabajos, grupos, clústeres: permite a los usuarios configurar permisos para clústeres, grupos y trabajos.
  • Control de visibilidad del clúster: impide que los clústeres sean visibles para los usuarios que no tienen permisos en ellos.
  • Control de visibilidad de trabajos: impide que los trabajos sean visibles para los usuarios que no tienen permisos en ellos.
  • Configuración del control de visibilidad del área de trabajo: impide que los blocs de notas y carpetas sean visibles para los usuarios que no tienen permisos en ellos.

La configuración de control de acceso se ha habilitado de forma predeterminada en nuevas áreas de trabajo desde marzo de 2018 y la configuración de control de visibilidad se ha habilitado de forma predeterminada desde diciembre de 2020.

Para obtener más información, consulte Introducción al control de acceso.

Nuevos comportamientos y acciones en el Explorador de catálogos para volúmenes

22 de noviembre de 2023

Ahora puede crear un nuevo volumen en el esquema de destino si no existe ninguno desde la interfaz de usuario de Cargar en el volumen. Consulte Cargar archivos en un volumen de Unity Catalog.

Se han agregado acciones como Eliminar archivo y Descargar archivo al Explorador de catálogos para archivos en volúmenes.

Databricks Runtime 14.2 está disponible de forma general

22 de noviembre de 2023

Databricks Runtime 14.2 y Databricks Runtime 14.2 ML ahora están disponibles con carácter general.

Consulte Databricks Runtime 14.2 y Databricks Runtime 14.2 para Machine Learning.

Conector SQL de Databricks para Python versión 3.0.0

17 de noviembre de 2023

Ahora puede ejecutar pip install databricks-sql-connector==3.0.0.

Esta versión:

  • Quita la compatibilidad con Python 3.7
  • Agrega compatibilidad con consultas SQL parametrizadas nativas. Requiere DBR 14.2 y versiones posteriores. Para obtener más información, consulte Uso de parámetros nativos en el repositorio de GitHub databricks-sql-python.
  • Incluye nuestro dialecto SQLAlchemy completamente reescrito:
    • Agrega compatibilidad con SQLAlchemy >= 2.0 y quita compatibilidad con SQLAlchemy 1.x
    • Cobertura completa de pruebas de un extremo a otro de todas las características admitidas
    • Notas de uso detalladas disponibles aquí
    • Agrega compatibilidad con:
      • Nuevos tipos: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric escala y precisión de tipos, como Numeric(10,2)
      • Lectura y escritura de PrimaryKeyConstraint y ForeignKeyConstraint
      • Lectura y escritura de claves compuestas
      • Lectura y escritura desde vistas
      • Escritura Identity en tablas (creación automática de claves principales)
      • LIMIT y OFFSET para paginar a través de los resultados
      • Almacenamiento en caché de llamadas de metadatos
  • Habilita Cloud Fetch de manera predeterminada. Para deshabilitarlo, establezca use_cloud_fetch=False al compilar databricks.sql.client.
  • Incorporación de pruebas de integración para consultas de ingesta de volúmenes de Unity de Azure Databricks
  • Reintentos:
    • Agregar _retry_max_redirects configuración
    • Establezca _enable_v3_retries=True y advierte si los usuarios lo invalidan.
  • Seguridad: aumenta la versión mínima de pyarrow a 14.0.1 (CVE-2023-47248)

Bibliotecas en archivos del área de trabajo compatibles con clústeres compartidos sin aislamiento

15 de noviembre de 2023

Ahora puede instalar bibliotecas almacenadas como archivos del área de trabajo en sistemas informáticos configurados con el modo de acceso compartido sin aislamiento en Databricks Runtime 14.1 y versiones posteriores.

Desuso de las bibliotecas de áreas de trabajo

15 de noviembre de 2023

Las bibliotecas de áreas de trabajo están ya en desuso y se ha deshabilitado la creación de nuevas bibliotecas. Las bibliotecas de áreas de trabajo existentes seguirán en funcionamiento. Tenga en cuenta que el almacenamiento de bibliotecas como archivos de área de trabajo es distinto de las bibliotecas de áreas de trabajo y sigue siendo totalmente compatible. Puede instalar bibliotecas almacenadas como archivos de área de trabajo directamente en tareas de proceso o trabajo. Consulte Bibliotecas.

Compatibilidad con los tipos de máquina virtual de computación confidencial de Azure ahora está en fase de disponibilidad general

15 de noviembre de 2023

La compatibilidad de Azure Databricks con los tipos de máquina virtual de informática confidencial de Azure ahora está en fase de disponibilidad general. La computación confidencial de Azure ayuda a proteger los datos en uso, lo que impide que el proveedor de nube tenga acceso a datos confidenciales. Consulte Máquinas virtuales de informática confidencial de Azure

13 de noviembre de 2023

Ahora puede encontrar conjuntos de datos, modelos de IA y aceleradores de soluciones de Databricks en el Marketplace de Databricks mediante la barra de búsqueda global de la interfaz de usuario del área de trabajo de Azure Databricks. Consulte ¿Qué es el Marketplace de Databricks? y Búsqueda de objetos del área de trabajo.

Consumo de productos de datos en Databricks Marketplace mediante plataformas externas

10 de noviembre de 2023

Los consumidores sin un área de trabajo de Azure Databricks habilitada para Unity Catalog ya pueden acceder a productos de datos en el Marketplace de Databricks. Puede usar conectores de uso compartido abierto de Delta Sharing para acceder a los datos de Marketplace mediante una serie de plataformas comunes, como Microsoft Power BI, Microsoft Excel, pandas, Apache Spark y áreas de trabajo de Databricks que no sean de Unity Catalog. Solo los conjuntos de datos tabulares están disponibles en plataformas externas (no en cuadernos o modelos de Databricks, por ejemplo). Consulte Solicitud y acceso a productos de datos en Databricks Marketplace mediante plataformas externas.

Compatibilidad con almacenes SQL sin servidor agregados para varias regiones de Azure

9 de noviembre de 2023

Las siguientes regiones de Azure ahora admiten almacenes de SQL sin servidor:

  • Sur de Brasil (brasilsouth)
  • Centro de la India (centralindia)
  • Japón Oriental (japaneast)
  • Centro-norte de EE. UU. (northcentralus)
  • Sur de Reino Unido (uksouth)

Consulte Regiones de Azure Databricks y Habilitación de almacenes SQL sin servidor.

Habilitación automática de Unity Catalog para nuevas áreas de trabajo

9 de noviembre de 2023

Databricks pronto comenzará a habilitar Unity Catalog automáticamente para nuevas áreas de trabajo. Esto elimina la necesidad de que los administradores de cuentas deban configurar Unity Catalog después de crear un área de trabajo. Se procederá gradualmente con la implementación en todas las cuentas. Consulte Habilitación automática de Unity Catalog.

Databricks Runtime 14.2 (versión beta)

8 de noviembre de 2023

Databricks Runtime 14.2 y Databricks Runtime 14.2 ML ahora están disponibles como versiones Beta.

Consulte Databricks Runtime 14.2 y Databricks Runtime 14.2 para Machine Learning.

Databricks Marketplace incluye aceleradores de soluciones de Databricks

7 de noviembre de 2023

Databricks Marketplace ahora proporciona acceso a aceleradoresde soluciones de Databricks, guías diseñadas específicamente que proporcionan cuadernos totalmente funcionales, instrucciones de procedimientos recomendados y datos de ejemplo para configurar rápidamente con muchos casos de uso populares en Azure Databricks. Consulte Obtener acceso a los aceleradoresde soluciones de Databricks.

Lakehouse Federation agrega compatibilidad con Google BigQuery

3 de noviembre de 2023

Ahora puede configurar La federación de Lakehouse para ejecutar consultas federadas con el tipo de BigQuery conector. El nuevo conector bigQuery se admite en almacenes de SQL sin servidor y Pro y Databricks Runtime 13.3 LTS y versiones posteriores. Consulte Ejecución de consultas federadas en Google BigQuery.