Octubre de 2019

Estas características y Azure Databricks de la plataforma se publicaron en octubre de 2019.

Nota

Las versiones se provisionalmente. Es Azure Databricks la cuenta de lanzamiento no se puede actualizar hasta una semana después de la fecha de lanzamiento inicial.

Las métricas de compatibilidad se movieron a Azure Event Hubs

22-29 de octubre de 2019

Las métricas de compatibilidad que permiten a Azure Databricks supervisar el estado del clúster se han migrado de Azure Blob Storage a los puntos de conexión del centro de eventos. Esto permite a Azure Databricks proporcionar respuestas de latencia más baja para resolver los incidentes de los clientes. En el caso de las áreas de trabajo de inserción de red virtual, hemos agregado una regla adicional al grupo de seguridad de red para el punto de conexión de EventHub servicio. Los detalles están disponibles en la tabla Reglas del grupo de seguridad de red. No se requiere ninguna acción para la disponibilidad continua de los servicios.

Para obtener una lista de las métricas Azure Databricks compatibilidad Event Hubs puntos de conexión por región, consulte Metastore, artifact Blob Storage, log Blob Storagey Direcciones IP del punto de conexión del centro de eventos.

El acceso directo a credenciales de Azure Data Lake Storage en clústeres estándar y Scala está en disponibilidad general

Del 22 al 29 de octubre de 2019: versión 3.5

El acceso directo de credenciales para Python, SQL y Scala en clústeres estándar que ejecutan Databricks Runtime 5.5 y posteriores, así como SparkR en Databricks Runtime 6.0 y posteriores está disponible con carácter general. Consulte Enable Azure Data Lake Storage credential passthrough for a Standard cluster(Habilitar Azure Data Lake Storage acceso directo de credenciales para un clúster estándar).

Disponibilidad general de Databricks Runtime 6.1 para Genomics

22 de octubre de 2019

Databricks Runtime 6.1 para Genomics está disponible con carácter general. Consulte Databricks Runtime para Genomics (en desuso).

Disponibilidad general de Databricks Runtime 6.1 para Machine Learning

22 de octubre de 2019

Databricks Runtime ml 6.1 está disponible con carácter general. Incluye compatibilidad con clústeres de GPU y actualizaciones a las siguientes bibliotecas de aprendizaje automático:

  • TensorFlow a 1.14.0
  • PyTorch a 1.2.0
  • Torchvision a 0.4.0
  • MLflow a 1.3.0

Para obtener más información, vea la versión Databricks Runtime 6.1 para obtener Machine Learning (no compatible).

Las llamadas API de MLflow ahora tienen velocidad limitada

Del 22 al 29 de octubre de 2019: versión 3.5

Para garantizar una alta calidad de servicio bajo una carga elevada, Azure Databricks ahora aplica límites de velocidad de API para todas las llamadas API de MLflow. Los límites se establecen por cuenta para garantizar un uso justo y una alta disponibilidad para todas las organizaciones que comparten un área de trabajo.

Los clientes de MLflow con reintentos automáticos están disponibles en MLflow 1.3.0 y están en Databricks Runtime 6.1 para Machine Learning (no compatible). Recomendamos a todos los clientes que cambien a la versión más reciente del cliente de MLflow.

Para más información, consulte MLflow API.

Disponibilidad general de los grupos de instancias para el inicio rápido de clústeres

Del 22 al 29 de octubre de 2019: versión 3.5

La Azure Databricks que admite la asociación de un clúster a un grupo predefinido de instancias inactivas ahora está disponible con carácter general.

Azure Databricks no cobra DBU por hora mientras las instancias están inactivas en el grupo. Tiene validez la facturación del proveedor de instancias. Consulte Precios.

Para obtener más información, vea Grupos.

Disponibilidad general de Databricks Runtime 6.1

16 de octubre de 2019

Databricks Runtime 6.1 aporta varias mejoras a Delta Lake:

  • Conversión sencilla de tablas al formato Delta Lake
  • API de Python para tablas delta (versión preliminar pública)
  • La depuración dinámica de archivos (DFP) está habilitada de forma predeterminada

Databricks Runtime 6.1 también quita varias limitaciones en el paso a través de credenciales.

Nota

A partir de la versión 6.1, Databricks Runtime solo admite clústeres de CPU. Si desea usar clústeres de GPU, debe usar Databricks Runtime ML.

Para obtener más información, vea las notas Databricks Runtime de la versión 6.1 (no admitida).

Disponibilidad general de Databricks Runtime 6.0 para Genomics

16 de octubre de 2019

Databricks Runtime para Genomics (Databricks Runtime Genomics) es una variante de Databricks Runtime optimizada para trabajar con datos genómicos y biomédicos. A partir de la versión 6.0, Databricks Runtime para Genomics (en desuso) está disponible con carácter general.

La funcionalidad para implementar un área de trabajo de Azure Databricks en su propia red virtual, también conocida como inserción en red virtual, ahora está disponible con carácter general

9 de octubre de 2019

Nos complace anunciar la ga-ga de la capacidad de implementar un área de trabajo de Azure Databricks en su propia red virtual, también conocida como inyección de red virtual. Esta opción está pensada para aquellos usuarios que requieren personalización de red y, por tanto, no quieren usar la red virtual predeterminada que se crea al implementar un área de trabajo de Azure Databricks de la manera estándar. Con la inserción de red virtual, puede:

La implementación de Azure Databricks en su propia red virtual también le permite aprovechar los intervalos DE CIDR flexibles (en cualquier lugar entre /16-/24 para la red virtual y hasta /26 para las subredes).

La configuración mediante la interfaz de usuario de Azure Portal es rápida y sencilla: al crear un área de trabajo Azure Databricks, solo tiene que seleccionar Implementar un área de trabajo en Virtual Network, seleccionar la red virtual y proporcionar intervalos CIDR para dos subredes. Azure Databricks actualiza la red virtual con las dos nuevas subredes y los grupos de seguridad de red, permite el acceso al tráfico de subred entrante y saliente e implementa el área de trabajo en la red virtual actualizada.

Inserción de red virtual en la implementación del área de trabajo

Si prefiere configurar la red virtual para la inserción de red virtual usted mismo (por ejemplo, quiere usar subredes existentes, usar grupos de seguridad de red existentes o crear sus propias reglas de seguridad), puede usar plantillas de ARM proporcionadas por Azure-Databricks en lugar de la interfaz de usuario del portal.

Nota

Si ha participado en la versión preliminar de inserción de red virtual, debe actualizar el área de trabajo de versión preliminar a la versión de ga antes del 31 de enero de 2020 para seguir recibiendo soporte técnico. Consulte Actualización del área de trabajo de la versión preliminar de inserción de red virtual a GA.

Para más información, consulte Implementación de Azure Databricks en la red virtual de Azure (inserción de red virtual) y Conexión del área de trabajo de Azure Databricks a la red local.

Los usuarios que no son administradores de Azure Databricks pueden leer los nombres e identificadores de usuarios y grupos mediante la API de SCIM

Del 8 al 15 de octubre de 2019: versión 3.4

Los usuarios que no son administradores ahora pueden invocar los puntos de conexión Get Users (Obtener usuarios) y Get Groups (Obtener grupos) de LA API de SCIM para leer solo los nombres para mostrar de usuarios y grupos y los id. Todas las demás operaciones de LA API de SCIM siguen necesitando acceso de administrador.

La API del área de trabajo devuelve los identificadores de objeto de los cuadernos y carpetas

Del 8 al 15 de octubre de 2019: versión 3.4

Los puntos de conexión y de la API de área de trabajo ahora devuelven los IDs de objetos de carpeta y cuaderno, lo que le permite hacer referencia a esos objetos get-status list en otras llamadas API.

Disponibilidad general de Databricks Runtime 6.0 ML

4 de octubre de 2019

Databricks Runtime 6.0 ML incluye las siguientes actualizaciones:

  • MLflow
    • Un nuevo origen de datos de Spark para experimentos de MLflow ahora proporciona una API estándar para cargar datos de ejecución de experimentos de MLflow.
    • Se ha agregado el cliente java de MLflow.
    • MLflow ahora se promueve como una biblioteca de nivel superior
  • Hyperopt GA: entre las mejoras importantes desde la versión preliminar pública se incluye la compatibilidad con el registro de MLflow en trabajos de Spark, el control correcto de las variables de difusión de PySpark, así como una nueva guía sobre la selección de modelos mediante Hyperopt.
  • Se han actualizado las bibliotecas Horovod y MLflow y la distribución de Anaconda.

Nota

En esta versión solo se admiten clústeres de CPU.

Para obtener más información, vea la versión Databricks Runtime 6.0 para obtener Machine Learning (no compatible).

Regiones nuevas: Sur de Brasil y Centro de Francia

1 de octubre de 2019

Azure Databricks está disponible en el Sur de Brasil (Estado de Sao Paulo) y Centro de Francia (París).

Disponibilidad general de Databricks Runtime 6.0

1 de octubre de 2019

Databricks Runtime 6.0 ofrece muchas actualizaciones de biblioteca y características nuevas, entre las que se incluyen:

  • Nuevas API de Scala y Java para comandos DML de Delta Lake, así como los comandos de utilidad de vacío e historial.
  • Cliente FUSE de DBFS mejorado para lecturas y escrituras más rápidas y confiables durante el entrenamiento del modelo.
  • Compatibilidad con varios trazados matplotlib por celda de cuaderno.
  • Actualice a Python 3.7, así como a numpy, pandas, matplotlib y otras bibliotecas actualizadas.
  • Compatibilidad con Sunset of Python 2.

Nota

En esta versión solo se admiten clústeres de CPU.

Para más información, consulte las notas Databricks Runtime de la versión 6.0 (no admitida).