Septiembre de 2019

Estas características y mejoras de la plataforma Azure Databricks se publicaron en septiembre de 2019.

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana después de la fecha de lanzamiento inicial.

Finaliza la compatibilidad con Databricks Runtime 5.2

30 de septiembre de 2019

La compatibilidad con Databricks Runtime 5.2 finalizó el 30 de septiembre. Consulte Ciclo de vida del soporte técnico de Databricks Runtime.

Inicio de clústeres automatizados compatibles con grupos que usan Databricks Light (versión preliminar pública)

Del 26 de septiembre al 1 de octubre de 2019: versión 3.3

Cuando introdujimos la Referencia de configuración del grupo en julio, no se podía seleccionar Databricks Light como versión de runtime cuando se configuraba un grupo respaldado por un grupo para un trabajo automatizado. Ahora puede tener tiempos de inicio rápidos del clúster y clústeres rentables.

Las direcciones IP de la puerta de enlace de Azure SQL Database se cambiarán el 14 de octubre de 2019

El 14 de octubre, Microsoft migrará el tráfico a nuevas puertas de enlace en estas regiones. Si el área de trabajo se encuentra en una de estas regiones y ha configurado rutas definidas por el usuario (UDR) para el repositorio metastore consolidado desde su propia red virtual de Azure Databricks (mediante la "inserción de red virtual"), es posible que deba actualizar la dirección IP del repositorio metastore cuando cambien estas direcciones IP. Consulte la tabla Direcciones IP de puerta de enlace de Azure SQL Database para conocer la lista más reciente de direcciones IP para su región.

El acceso directo a credenciales de Azure Data Lake Storage ahora es compatible con los clústeres estándar y Scala (versión preliminar pública)

Del 12 al17 de septiembre de 2019: versión 3.2

El paso de credenciales se puede usar ahora con Python, SQL y Scala en clústeres estándar que ejecutan Databricks Runtime 5.5 y versiones posteriores, así como en SparkR en la versión beta de Databricks Runtime 6.0. Hasta ahora, el paso de credenciales requería clústeres de alta simultaneidad, que no admiten Scala.

Cuando un clúster está habilitado para el paso de credenciales de Azure Data Lake Storage, los comandos que se ejecutan en ese clúster pueden leer y escribir datos en Azure Data Lake Storage sin necesidad de que los usuarios configuren credenciales de entidad de servicio para acceder al almacenamiento. Las credenciales se establecen automáticamente desde el usuario que inicia la acción.

Por motivos de seguridad, solo un usuario puede ejecutar comandos en un clúster estándar que tenga habilitado el paso de credenciales. El usuario único se establece en el momento de la creación y lo puede editar cualquier persona con permisos de administración en el clúster. Los administradores deben asegurarse de que el usuario único tenga al menos permiso de asociación en el clúster.

Los dataframes de Pandas ahora se representan ahora en los cuadernos sin escalado

Del 12 al17 de septiembre de 2019: versión 3.2

En los cuadernos de Azure Databricks, displayHTML escalaba algún contenido HTML con marco para ajustarlo al ancho disponible del cuaderno representado. Aunque este comportamiento es deseable para las imágenes, no representaba bien los objetos DataFrame de Pandas anchos. Pero eso ha cambiado.

La visualización del selector de versiones de Python ahora es dinámica

Del 12 al17 de septiembre de 2019: versión 3.2

Al seleccionar un entorno de ejecución de Databricks que no admite Python 2 (como Databricks 6.0), la página de creación del clúster oculta el selector de versiones de Python.

Versión beta de Databricks Runtime 6.0

12 de septiembre de 2019

Databricks Runtime 6.0 Beta ofrece muchas actualizaciones de bibliotecas y nuevas características, entre las que se incluyen:

• Nuevas API de Scala y Java para comandos DML de Delta Lake, así como los comandos de utilidad de vacío e historial.
• Cliente FUSE v2 de DBFS mejorado para lecturas y escrituras más rápidas y confiables durante el entrenamiento del modelo.
• Soporte técnico con varios trazados matplotlib por celda de cuaderno.
• Actualización a Python 3.7, así como bibliotecas numpy, pandas, matplotlib y otras, actualizadas.
• Soporte técnico de puesta del sol en Python 2.

Para obtener más información, consulte las notas de la versión completa de Databricks Runtime 6.0 (sin soporte).