Actualizaciones de mantenimiento de Databricks Runtime

  • Artículo
  • Tiempo de lectura: 124 minutos

En esta página se enumeran las actualizaciones de mantenimiento publicadas para versiones de Databricks Runtime. Para agregar una actualización de mantenimiento a un clúster existente, debe reiniciarlo.

Nota:

Este artículo contiene referencias al término lista de permitidos, el cual Azure Databricks no usa. Cuando se quite el término del software, se quitará también del artículo.

Versiones de Databricks Runtime

Actualizaciones de mantenimiento por versión:

Para obtener las notas de la versión originales, siga el vínculo que hay debajo del subencabezado.

Databricks Runtime 11.0

Consulte Databricks Runtime 11.0.

  • 5 de julio de 2022
    • Mejora de los mensajes de error de un intervalo de clases de error.
    • [SPARK-39451] [SQL] Compatibilidad con la conversión de intervalos a enteros en modo ANSI
    • [SPARK-39361] No se usa el patrón de conversión con generación de excepciones extendido de Log4J2 en las configuraciones de registro predeterminadas.
    • [SPARK-39354][SQL] Se garantiza que se muestre Table or view not found incluso si hay errores dataTypeMismatchError relacionados con Filter al mismo tiempo.
    • [SPARK-38675][CORE] Corrección de la condición de carrera durante el desbloqueo en BlockInfoManager
    • [SPARK-39392][SQL] Se han refinado los mensajes de error ANSI para las sugerencias de las funciones try_*.
    • [SPARK-39214][SQL][3.3] Se han mejorado los errores que ocurren en relación con las funciones CAST.
    • [SPARK-37939][SQL] Uso de clases de error en los errores de análisis de las propiedades
    • [SPARK-39085][SQL] Se ha movido el mensaje de error INCONSISTENT_BEHAVIOR_CROSS_VERSION al archivo error-classes.json.
    • [SPARK-39376][SQL] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN.
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 10.5

Consulte Databricks Runtime 10.5.

  • 5 de julio de 2022
    • [SPARK-39376][SQL] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
    • [SPARK-36718][SQL][FOLLOWUP] Se ha corregido la comprobación isExtractOnly en CollapseProject
  • 2 de junio de 2022
    • [SPARK-39166][SQL] Se proporciona contexto de consulta de error en tiempo de ejecución para la aritmética binaria cuando WSCG está desactivado.
    • [SPARK-39093][SQL] Se evita un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero.
    • [SPARK-38990][SQL] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • [SPARK-38868][SQL]No propagar excepciones del predicado de filtro al optimizar las combinaciones externas
    • [SPARK-38796][SQL] Implemente las funciones to_number y try_to_number SQL según una nueva especificación
    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-38929] [SQL] Mejora de los mensajes de error para los errores de conversión en ANSI
    • [SPARK-38926][SQL] Tipos de salida en mensajes de error en estilo SQL
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • [SPARK-32268][SQL] Agregar columnPruning en injectBloomFilter
    • [SPARK-38908][SQL] Proporcionar contexto de consulta en tiempo de ejecución de conversión de cadena a número/fecha/marca de tiempo/booleano
    • [SPARK-39046][SQL] Devolver una cadena de contexto vacía si TreeNode.origin se ha establecido erróneamente
    • [SPARK-38974][SQL] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista
    • [SPARK-38762][SQL] Proporcionar contexto de consulta en errores de desbordamiento decimal
    • [SPARK-38931][SS] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control
    • [SPARK-38992][CORE] Evitar el uso de bash -c en ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] proporcionar contexto de consulta en el error la clave de asignación no existe
    • [SPARK-38889][SQL] Compile filtros de columna booleanos para usar el tipo de bits para el origen de datos MSSQL
    • [SPARK-38698][SQL] Proporcionar contexto de consulta en el error en tiempo de ejecución de Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Hacer que NewInstance no se pueda plegar para corregir el problema de daños en el búfer de agregación
    • [SPARK-38809][SS] Implementar la opción para omitir valores NULL en la implementación de hash simétrico de combinaciones de flujo a flujo
    • [SPARK-38676][SQL] Proporcionar contexto de consulta SQL en el mensaje de error de tiempo de ejecución Add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Python MonitorThread debe detectar interbloqueo debido a la E/S de bloqueo
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 10.4

Consulte Databricks Runtime 10.4 LTS.

  • 5 de julio de 2022
    • [SPARK-39376][SQL] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
    • [SPARK-36718][SQL][FOLLOWUP] Se ha corregido la comprobación isExtractOnly en CollapseProject
  • 2 de junio de 2022
    • [SPARK-39093][SQL] Se evita un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero.
    • [SPARK-38990][SQL] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-37593][CORE] Reducir el tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • [SPARK-32268][SQL] Agregar columnPruning en injectBloomFilter
    • [SPARK-38974][SQL] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista
    • [SPARK-38931][SS] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control
    • Actualizaciones de seguridad del sistema operativo
  • 19 de abril de 2022
    • Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
    • Se ha corregido un problema que provocaba que las bibliotecas con ámbito de cuaderno no funcionara en trabajos de streaming por lotes.
    • [SPARK-38616] [SQL] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst.
    • Actualizaciones de seguridad del sistema operativo
  • 6 de abril de 2022
    • Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:
      • timestampadd() y dateadd(): agregue una duración de tiempo en una unidad especificada a una expresión de marca de tiempo.
      • timestampdiff() y datediff(): calcule la diferencia de tiempo en una unidad especificada entre dos expresiones de marca de tiempo.
    • El Parquet-MR se ha actualizado a la versión 1.12.2
    • Compatibilidad mejorada con esquemas anchos en archivos parquet
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-pick 3 cambios relacionados con timestmapadd/diff
    • [SPARK-38523][SQL] Corrección que hace referencia a la columna de registro dañada de CSV
    • [SPARK-38237][SQL][SS] Permitir a ClusteredDistribution requerir claves de agrupación en clústeres completas
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 10.3

Consulte Databricks Runtime 10.3.

  • 5 de julio de 2022
    • [SPARK-39376][SQL] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
    • [SPARK-36718][SQL][FOLLOWUP] Se ha corregido la comprobación isExtractOnly en CollapseProject
  • 2 de junio de 2022
    • [SPARK-38990][SQL] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-37593][CORE] Reducir el tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • [SPARK-32268][SQL] Agregar columnPruning en injectBloomFilter
    • [SPARK-38974][SQL] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista
    • [SPARK-38889][SQL] Compile filtros de columna booleanos para usar el tipo de bits para el origen de datos MSSQL
    • Actualizaciones de seguridad del sistema operativo
  • 4 de mayo de 2022
    • Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
  • 19 de abril de 2022
    • [SPARK-38616] [SQL] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst.
    • Actualizaciones de seguridad del sistema operativo
  • 6 de abril de 2022
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • Se cambió el directorio de trabajo actual de los cuadernos en los clústeres de alta simultaneidad con el control de acceso a la tabla o el paso de credenciales habilitado al directorio de inicio del usuario. Anteriormente, el directorio de trabajo era /databricks/driver.
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-38325][SQL] modo ANSI: evite el posible error en tiempo de ejecución en HashJoin.extractKeyExprAt()
  • 14 de marzo de 2022
    • Se ha mejorado la detección de conflictos de transacciones para transacciones vacías en Delta Lake.
    • [SPARK-38185][SQL] Corrección de los datos incorrectos si la función de agregado está vacía
    • [SPARK-38318][SQL] Regresión al reemplazar una vista de conjunto de datos
    • [SPARK-38236][SQL] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-35937][SQL] La extracción del campo de fecha de la marca de tiempo debería funcionar en modo ANSI
    • [SPARK-34069][SQL] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Permiso de asignación de almacenes entre TimestampNTZ y Date/Timestamp
  • 23 de febrero de 2022
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet

Databricks Runtime 10.2 (no admitido)

Consulte Databricks Runtime 10.2 (sin soporte técnico).

  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
  • 2 de junio de 2022
    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-38990][SQL] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • [SPARK-38889][SQL] Compile filtros de columna booleanos para usar el tipo de bits para el origen de datos MSSQL
    • [SPARK-38931][SS] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control
    • Actualizaciones de seguridad del sistema operativo
  • 4 de mayo de 2022
    • Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
  • 19 de abril de 2022
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.
  • 6 de abril de 2022
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • Se cambió el directorio de trabajo actual de los cuadernos en los clústeres de alta simultaneidad con el control de acceso a la tabla o el paso de credenciales habilitado al directorio de inicio del usuario. Anteriormente, el directorio de trabajo era /databricks/driver.
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-38325][SQL] modo ANSI: evite el posible error en tiempo de ejecución en HashJoin.extractKeyExprAt()
  • 14 de marzo de 2022
    • Se ha mejorado la detección de conflictos de transacciones para transacciones vacías en Delta Lake.
    • [SPARK-38185][SQL] Corrección de los datos incorrectos si la función de agregado está vacía
    • [SPARK-38318][SQL] Regresión al reemplazar una vista de conjunto de datos
    • [SPARK-38236][SQL] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-35937][SQL] La extracción del campo de fecha de la marca de tiempo debería funcionar en modo ANSI
    • [SPARK-34069][SQL] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Permiso de asignación de almacenes entre TimestampNTZ y Date/Timestamp
  • 23 de febrero de 2022
    • [SPARK-37577][SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
  • 8 de febrero de 2022
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Se ha introducido compatibilidad con la inserción de credenciales temporales en COPY INTO para cargar los datos de origen sin permisos SQL ANY_FILE.
    • Correcciones de errores y mejoras de seguridad
  • 20 de diciembre de 2021
    • Se ha corregido un error poco frecuente con el filtrado basado en índices de columnas de Parquet.

Databricks Runtime 10.1 (no admitido)

Consulte Databricks Runtime 10.1 (sin soporte técnico).

  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
    • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
  • 2 de junio de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • [SPARK-38889][SQL] Compile filtros de columna booleanos para usar el tipo de bits para el origen de datos MSSQL
    • Actualizaciones de seguridad del sistema operativo
  • 19 de abril de 2022
    • [SPARK-37270] [SQL] Corrección de la inserción plegable en ramas CaseWhen si elseValue está vacío
    • Actualizaciones de seguridad del sistema operativo
  • 6 de abril de 2022
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-38325][SQL] modo ANSI: evite el posible error en tiempo de ejecución en HashJoin.extractKeyExprAt()
  • 14 de marzo de 2022
    • Se ha mejorado la detección de conflictos de transacciones para transacciones vacías en Delta Lake.
    • [SPARK-38185][SQL] Corrección de los datos incorrectos si la función de agregado está vacía
    • [SPARK-38318][SQL] Regresión al reemplazar una vista de conjunto de datos
    • [SPARK-38236][SQL] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-35937][SQL] La extracción del campo de fecha de la marca de tiempo debería funcionar en modo ANSI
    • [SPARK-34069][SQL] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Permiso de asignación de almacenes entre TimestampNTZ y Date/Timestamp
  • 23 de febrero de 2022
    • [SPARK-37577][SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
  • 8 de febrero de 2022
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Se ha introducido compatibilidad con la inserción de credenciales temporales en COPY INTO para cargar los datos de origen sin permisos SQL ANY_FILE.
    • Se ha corregido un problema de falta de memoria con el almacenamiento en caché de resultados de consulta bajo determinadas condiciones.
    • Se ha corregido un problema con USE DATABASE producido cuando un usuario cambiaba el catálogo actual a un catálogo no predeterminado.
    • Correcciones de errores y mejoras de seguridad
    • Actualizaciones de seguridad del sistema operativo
  • 20 de diciembre de 2021
    • Se ha corregido un error poco frecuente con el filtrado basado en índices de columnas de Parquet.

Databricks Runtime 10.0 (sin soporte)

Consulte Databricks Runtime 10.0 (sin soporte).

  • 19 de abril de 2022
    • [SPARK-37270] [SQL] Corrección de la inserción plegable en ramas CaseWhen si elseValue está vacío
    • Actualizaciones de seguridad del sistema operativo
  • 6 de abril de 2022
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-38325][SQL] modo ANSI: evite el posible error en tiempo de ejecución en HashJoin.extractKeyExprAt()
  • 14 de marzo de 2022
    • Se ha mejorado la detección de conflictos de transacciones para transacciones vacías en Delta Lake.
    • [SPARK-38185][SQL] Corrección de los datos incorrectos si la función de agregado está vacía
    • [SPARK-38318][SQL] Regresión al reemplazar una vista de conjunto de datos
    • [SPARK-38236][SQL] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-35937][SQL] La extracción del campo de fecha de la marca de tiempo debería funcionar en modo ANSI
    • [SPARK-34069][SQL] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Permiso de asignación de almacenes entre TimestampNTZ y Date/Timestamp
  • 23 de febrero de 2022
    • [SPARK-37577][SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
  • 8 de febrero de 2022
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet
    • [SPARK-36905][SQL] Corrección de la lectura de vistas de subárbol sin nombres de columna explícitos
    • [SPARK-37859][SQL] Corrección de un problema por el que las tablas SQL creadas con JDBC con Spark 3.1 no eran legibles en la versión 3.2
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Correcciones de errores y mejoras de seguridad
    • Actualizaciones de seguridad del sistema operativo
  • 20 de diciembre de 2021
    • Se ha corregido un error poco frecuente con el filtrado basado en índices de columnas de Parquet.
  • 9 de noviembre de 2021
    • Se han agregado marcas de configuración adicionales para tener un control más preciso de los comportamientos ANSI.
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
    • El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
  • 30 de noviembre de 2021
    • Se ha corregido un problema con el análisis de marca de tiempo por el que una cadena de zona horaria sin dos puntos se consideraba no válida.
    • Se ha corregido un problema de falta de memoria con el almacenamiento en caché de resultados de consulta bajo determinadas condiciones.
    • Se ha corregido un problema con USE DATABASE producido cuando un usuario cambiaba el catálogo actual a un catálogo no predeterminado.

Databricks Runtime 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 5 de julio de 2022
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.
  • 15 de junio de 2022
    • [SPARK-39283][CORE] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
  • 2 de junio de 2022
    • [SPARK-34554][SQL] Implementación del método copy() en ColumnarMap
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria nativa en el cargador automático.
    • Actualice la versión del SDK de AWS de la versión 1.11.655 a la 1.11.678.
    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
    • Actualizaciones de seguridad del sistema operativo
  • 19 de abril de 2022
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.
  • 6 de abril de 2022
    • [SPARK-38631][CORE] Usa la implementación basada en Java para anular el tarring en Utils.unpack
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • Se cambió el directorio de trabajo actual de los cuadernos en los clústeres de alta simultaneidad con el control de acceso a la tabla o el paso de credenciales habilitado al directorio de inicio del usuario. Anteriormente, el directorio de trabajo era /databricks/driver.
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180][SQL] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155][SQL] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet
  • 14 de marzo de 2022
    • [SPARK-38236][SQL] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-34069][SQL] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL
  • 23 de febrero de 2022
    • [SPARK-37859][SQL] Sin búsqueda de metadatos durante la comparación de esquemas
  • 8 de febrero de 2022
    • [SPARK-27442][SQL] Retirada del nombre del campo de comprobación al leer o escribir datos en Parquet
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Correcciones de errores y mejoras de seguridad
    • Actualizaciones de seguridad del sistema operativo
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
    • El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
  • 20 de octubre de 2021
    • Se ha actualizado el conector de BigQuery de la versión 0.18.1 a la 0.22.2. Esto agrega compatibilidad con el tipo BigNumeric.

Databricks Runtime 9.0 (admitida)

Consulte Databricks Runtime 9.0 (admitida).

  • 8 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Correcciones de errores y mejoras de seguridad
    • Actualizaciones de seguridad del sistema operativo
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
    • El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
  • 22 de septiembre de 2021
    • Se ha corregido un error en la conversión de la matriz de Spark con valor NULL en cadena.
  • 15 de septiembre de 2021
    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 de septiembre de 2021
    • Se ha agregado compatibilidad con el nombre de esquema (formato databaseName.schemaName.tableName) como nombre de tabla de destino para el conector de Azure Synapse.
    • Se ha agregado compatibilidad con los tipos de geometría y geografía de JDBC para Spark SQL.
    • [SPARK-33527][SQL] Ampliación de la función de descodificación para que sea coherente con las bases de datos estándares
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.
  • 25 de agosto de 2021
    • La biblioteca de controladores de SQL Server se ha actualizado a la versión 9.2.1.jre8.
    • El conector de Snowflake se actualizó a la versión 2.9.0.
    • Se ha corregido el vínculo roto al mejor cuaderno de prueba en la página de experimentos de AutoML.

Databricks Runtime 8.4 (no admitida)

Consulte Databricks Runtime 8.4 (no admitida).

  • 19 de enero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
    • El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
  • 22 de septiembre de 2021
    • El controlador de JDBC de Spark se ha actualizado a la versión 2.6.19.1030.
    • [SPARK-36734][SQL] Actualización de ORC a la versión 1.5.1
  • 15 de septiembre de 2021
    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Actualizaciones de seguridad del sistema operativo
  • 8 de septiembre de 2021
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.
  • 25 de agosto de 2021
    • La biblioteca de controladores de SQL Server se ha actualizado a la versión 9.2.1.jre8.
    • El conector de Snowflake se actualizó a la versión 2.9.0.
    • Se corrige un error en el acceso directo a credenciales causado por la nueva optimización de captura previa de Parquet, donde era posible que no se encontrara la credencial de acceso directo del usuario durante el acceso a archivos.
  • 11 de agosto de 2021
    • Se corrige un problema de incompatibilidad de RocksDB por el que se impide usar la versión antigua Databricks Runtime 8.4. Esto permite corregir la compatibilidad con versiones futuras de Auto Loader, COPY INTO y las aplicaciones de streaming con estado.
    • Se corrige un error al usar Auto Loader para leer archivos CSV con archivos de encabezado no coincidentes. Si los nombres de columna no coincidían, la columna se rellenaba con valores NULL. Ahora, si se proporciona un esquema, se asume que el esquema es el mismo y solo se guardarán las discrepancias de columna si las columnas de datos rescatadas están habilitadas.
    • Se agrega una nueva opción llamada externalDataSource al conector de Azure Synapse para quitar el requisito de permiso CONTROL en la base de datos para la lectura de PolyBase.
  • 29 de julio de 2021
    • [SPARK-36034][BUILD] Fusión mediante cambio de base en filtros aplicados en Parquet
    • [SPARK-36163][BUILD] Propagación de las propiedades de JDBC correctas en el proveedor de conectores de JDBC y adición de la opción connectionProvider

Databricks Runtime 8.3 (no admitida)

Consulte Databricks Runtime 8.3 (no admitida).

  • 19 de enero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
  • 22 de septiembre de 2021
    • El controlador de JDBC de Spark se ha actualizado a la versión 2.6.19.1030.
  • 15 de septiembre de 2021
    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Actualizaciones de seguridad del sistema operativo
  • 8 de septiembre de 2021
    • [SPARK-35700][SQL][WARMFIX] Lectura de la tabla orc char/varchar cuando se crea y escribe en sistemas externos
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.
  • 25 de agosto de 2021
    • La biblioteca de controladores de SQL Server se ha actualizado a la versión 9.2.1.jre8.
    • El conector de Snowflake se actualizó a la versión 2.9.0.
    • Se corrige un error en el acceso directo a credenciales causado por la nueva optimización de captura previa de Parquet, donde era posible que no se encontrara la credencial de acceso directo del usuario durante el acceso a archivos.
  • 11 de agosto de 2021
    • Se corrige un error al usar Auto Loader para leer archivos CSV con archivos de encabezado no coincidentes. Si los nombres de columna no coincidían, la columna se rellenaba con valores NULL. Ahora, si se proporciona un esquema, se asume que el esquema es el mismo y solo se guardarán las discrepancias de columna si las columnas de datos rescatadas están habilitadas.
  • 29 de julio de 2021
    • Actualización del conector de Databricks Snowflake Spark a la versión 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Fusión mediante cambio de base en filtros aplicados en Parquet
    • [SPARK-36163][BUILD] Propagación de las propiedades de JDBC correctas en el proveedor de conectores de JDBC y adición de la opción connectionProvider
  • 14 de julio de 2021
    • Se ha corregido un problema al usar nombres de columna con puntos en el conector de Azure Synapse.
    • Se ha agregado el formato database.schema.table para el conector de Synapse.
    • Se ha agregado compatibilidad para proporcionar el formato databaseName.schemaName.tableName como tabla de destino en lugar de solo schemaName.tableName o tableName.
  • 15 de junio de 2021
    • Se ha corregido un error de NoSuchElementException en las escrituras optimizadas de Delta Lake que podía producirse al escribir grandes cantidades de datos y encontrar pérdidas del ejecutor.
    • Se agregan los comandos SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS y SHOW USERS Para más información, consulte Instrucciones de seguridad e Instrucciones de mostrar.

Databricks Runtime 8.2 (no admitida)

Consulte Databricks Runtime 8.2 (no admitida).

  • 22 de septiembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 15 de septiembre de 2021

    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 de septiembre de 2021

    • [SPARK-35700][SQL][WARMFIX] Lectura de la tabla orc char/varchar cuando se crea y escribe en sistemas externos
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.

  • 25 de agosto de 2021

    • Se ha actualizado el conector de Snowflake a la versión 2.9.0.

  • 11 de agosto de 2021

    • [SPARK-36034][SQL] Fusión mediante cambio de base en filtros aplicados en Parquet

  • 29 de julio de 2021

    • Actualización del conector de Databricks Snowflake Spark a la versión 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagación de las propiedades de JDBC correctas en el proveedor de conectores de JDBC y adición de la opción connectionProvider

  • 14 de julio de 2021

    • Se ha corregido un problema al usar nombres de columna con puntos en el conector de Azure Synapse.
    • Se ha agregado el formato database.schema.table para el conector de Synapse.
    • Se ha agregado compatibilidad para proporcionar el formato databaseName.schemaName.tableName como tabla de destino en lugar de solo schemaName.tableName o tableName.
    • Se ha corregido un error que impedía a los usuarios viajar en el tiempo hasta versiones anteriores disponibles con tablas Delta.

  • 15 de junio de 2021

    • Se corrige un error de NoSuchElementException en las escrituras optimizadas de Delta Lake que podía producirse al escribir grandes cantidades de datos y encontrar pérdidas del ejecutor.

  • 26 de mayo de 2021

    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
    • Se ha corregido un problema de OOM cuando Auto Loader cargaba las métricas de progreso de Structured Streaming.

Databricks Runtime 8.1 (no admitida)

Consulte Databricks Runtime 8.1 (no admitida).

  • 22 de septiembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 15 de septiembre de 2021

    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 de septiembre de 2021

    • [SPARK-35700][SQL][WARMFIX] Lectura de la tabla orc char/varchar cuando se crea y escribe en sistemas externos
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.

  • 25 de agosto de 2021

    • Se ha actualizado el conector de Snowflake a la versión 2.9.0.

  • 11 de agosto de 2021

    • [SPARK-36034][SQL] Fusión mediante cambio de base en filtros aplicados en Parquet

  • 29 de julio de 2021

    • Actualización del conector de Databricks Snowflake Spark a la versión 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagación de las propiedades de JDBC correctas en el proveedor de conectores de JDBC y adición de la opción connectionProvider

  • 14 de julio de 2021

    • Se ha corregido un problema al usar nombres de columna con puntos en el conector de Azure Synapse.
    • Se ha corregido un error que impedía a los usuarios viajar en el tiempo hasta versiones anteriores disponibles con tablas Delta.

  • 15 de junio de 2021

    • Se corrige un error de NoSuchElementException en las escrituras optimizadas de Delta Lake que podía producirse al escribir grandes cantidades de datos y encontrar pérdidas del ejecutor.

  • 26 de mayo de 2021

    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • Se ha corregido un problema de OOM cuando Auto Loader cargaba las métricas de progreso de Structured Streaming.

  • 27 de abril de 2021

    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
    • [SPARK-34856][SQL] Modo ANSI: permiso de conversión de tipos complejos como tipo de cadena.
    • [SPARK-35014] Corrección del patrón PhysicalAggregation para no volver a escribir expresiones plegables
    • [SPARK-34769][SQL] AnsiTypeCoercion: devolución del tipo convertible más estrecho entre TypeCollection
    • [SPARK-34614][SQL] Modo ANSI: la conversión de cadena a booleana generará una excepción al producirse un error de análisis
    • [SPARK-33794][SQL] Modo ANSI: corrección de la expresión NextDay para iniciar una excepción IllegalArgumentException del runtime al recibir una entrada no válida en

Databricks Runtime 8.0 (no admitida)

Consulte Databricks Runtime 8.0 (no admitida).

  • 15 de septiembre de 2021

    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 de agosto de 2021

    • Se ha actualizado el conector de Snowflake a la versión 2.9.0.

  • 11 de agosto de 2021

    • [SPARK-36034][SQL] Fusión mediante cambio de base en filtros aplicados en Parquet

  • 29 de julio de 2021

    • [SPARK-36163][BUILD] Propagación de las propiedades de JDBC correctas en el proveedor de conectores de JDBC y adición de la opción connectionProvider

  • 14 de julio de 2021

    • Se ha corregido un problema al usar nombres de columna con puntos en el conector de Azure Synapse.
    • Se ha corregido un error que impedía a los usuarios viajar en el tiempo hasta versiones anteriores disponibles con tablas Delta.

  • 26 de mayo de 2021

    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización

  • 24 de marzo de 2021

    • [SPARK-34681][SQL] Corrección del error de combinación hash aleatoria externa completa al compilar el lado izquierdo con una condición no igual
    • [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
    • [SPARK-34613][SQL] La vista de corrección no captura la configuración para deshabilitar sugerencias

  • 9 de marzo de 2021

    • [SPARK-34543][SQL] Cumplimiento de la configuración spark.sql.caseSensitiveal resolver la especificación de partición en la versión 1 de SET LOCATION
    • [SPARK-34392][SQL] Compatibilidad con ZoneOffset +h:mm en DateTimeUtils getZoneId
    • [UI] Corrección del vínculo href de visualización de DAG de Spark
    • [SPARK-34436][SQL] Compatibilidad de DPP con la expresión LIKE ANY/ALL

Databricks Runtime 7.6 (no admitida)

Consulte Databricks Runtime 7.6 (no admitida).

  • 11 de agosto de 2021
    • [SPARK-36034][SQL] Fusión mediante cambio de base en filtros aplicados en Parquet
  • 29 de julio de 2021
    • [SPARK-32998][BUILD] Adición de la capacidad para reemplazar repositorios remotos predeterminados solo por repositorios internos
  • 14 de julio de 2021
    • Se ha corregido un error que impedía a los usuarios viajar en el tiempo hasta versiones anteriores disponibles con tablas Delta.
  • 26 de mayo de 2021
    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).
  • 30 de abril de 2021
    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
  • 24 de marzo de 2021
    • [SPARK-34768][SQL] No alteración del tamaño de búfer de entrada predeterminado en Univocity
    • [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
  • 9 de marzo de 2021
    • (Solo para Azure) Se ha corregido un error de Auto Loader que podía provocar la excepción NullPointerException al usar Databricks Runtime 7.6 para ejecutar un flujo antiguo de Auto Loader creado en Databricks Runtime 7.2.
    • [UI] Corrección del vínculo href de visualización de DAG de Spark
    • SparkPlan de nodo hoja desconocido sin control correcto en SizeInBytesOnlyStatsSparkPlanVisitor
    • Restauración del esquema de salida de SHOW DATABASES
    • [Delta] [8.0, 7.6] Se ha corregido un error de cálculo en la lógica de ajuste automático de tamaño de archivo.
    • Deshabilitación de la comprobación de estancamiento de los archivos de tablas Delta en la caché de Delta
    • [SQL] Uso de la clave de compilación de eliminación dinámica correcta cuando la sugerencia de combinación de intervalo está presente
    • Deshabilitación de la compatibilidad con tipos char en la ruta de acceso al código que no es SQL
    • Prevención de NPE en DataFrameReader.schema
    • Corrección de NPE cuando la respuesta de EventGridClient no tiene ninguna entidad
    • Corrección de un error de flujo cerrado de lectura en Azure Auto Loader
    • [SQL] No generación de consejos de número de particiones aleatorio cuando AOS está habilitado
  • 24 de febrero de 2021
    • Se ha actualizado el conector de Spark de BigQuery a la versión 0.18, que presenta varias correcciones de errores y compatibilidad con iteradores de Arrow y Avro.
    • Se ha corregido un problema de corrección que provocaba que Spark devolviera resultados incorrectos cuando la precisión decimal y la escala del archivo Parquet eran diferentes del esquema de Spark.
    • Se ha corregido un problema de lectura en tablas de Microsoft SQL Server que contienen tipos de datos espaciales; para ello, se ha agregado compatibilidad con tipos de geometría y geografía de JDBC para Spark SQL.
    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.
    • [SPARK-34212] Corrección de problemas relacionados con la lectura de datos decimales de archivos Parquet
    • [SPARK-34260][SQL] Corrección de UnresolvedException al crear la vista temporal dos veces

Databricks Runtime 7.5 (no admitida)

Consulte Databricks Runtime 7.5 (no admitida).

  • 26 de mayo de 2021
    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).
  • 30 de abril de 2021
    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
  • 24 de marzo de 2021
    • [SPARK-34768][SQL] No alteración del tamaño de búfer de entrada predeterminado en Univocity
    • [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
  • 9 de marzo de 2021
    • (Solo para Azure) Se ha corregido un error de Auto Loader que podía provocar la excepción NullPointerException al usar Databricks Runtime 7.5 para ejecutar un flujo antiguo de Auto Loader creado en Databricks Runtime 7.2.
    • [UI] Corrección del vínculo href de visualización de DAG de Spark
    • SparkPlan de nodo hoja desconocido sin control correcto en SizeInBytesOnlyStatsSparkPlanVisitor
    • Restauración del esquema de salida de SHOW DATABASES
    • Deshabilitación de la comprobación de estancamiento de los archivos de tablas Delta en la caché de Delta
    • [SQL] Uso de la clave de compilación de eliminación dinámica correcta cuando la sugerencia de combinación de intervalo está presente
    • Deshabilitación de la compatibilidad con tipos char en la ruta de acceso al código que no es SQL
    • Prevención de NPE en DataFrameReader.schema
    • Corrección de NPE cuando la respuesta de EventGridClient no tiene ninguna entidad
    • Corrección de un error de flujo cerrado de lectura en Azure Auto Loader
  • 24 de febrero de 2021
    • Se ha actualizado el conector de Spark de BigQuery a la versión 0.18, que presenta varias correcciones de errores y compatibilidad con iteradores de Arrow y Avro.
    • Se ha corregido un problema de corrección que provocaba que Spark devolviera resultados incorrectos cuando la precisión decimal y la escala del archivo Parquet eran diferentes del esquema de Spark.
    • Se ha corregido un problema de lectura en tablas de Microsoft SQL Server que contienen tipos de datos espaciales; para ello, se ha agregado compatibilidad con tipos de geometría y geografía de JDBC para Spark SQL.
    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.
    • [SPARK-34212] Corrección de problemas relacionados con la lectura de datos decimales de archivos Parquet
    • [SPARK-34260][SQL] Corrección de UnresolvedException al crear la vista temporal dos veces
  • 4 de febrero de 2021
    • Se ha corregido una regresión que impedía la ejecución incremental de una consulta que establece un límite global como SELECT * FROM table LIMIT nrows. Los usuarios que ejecutaban consultas mediante ODBC o JDBC con la serialización de Arrow habilitada experimentaron esta regresión.
    • Se han incorporado comprobaciones de tiempo de escritura en el cliente de Hive para evitar daños en los metadatos del metastore de Hive para tablas Delta.
    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.
  • 20 de enero de 2021
    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)
  • 12 de enero de 2021
    • Actualice el SDK de Azure Storage de la versión 2.3.8 a la 2.3.9.
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33480][SQL] Actualización del mensaje de error de comprobación de longitud de inserción de tablas char/varchar

Databricks Runtime 7.3 LTS

Consulte Databricks Runtime 7.3 LTS.

  • 5 de julio de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 2 de junio de 2022

    • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • Actualizaciones de seguridad del sistema operativo

  • 18 de mayo de 2022

    • Actualice la versión del SDK de AWS de la versión 1.11.655 a la 1.11.678.
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 19 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 6 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 14 de marzo de 2022

    • Eliminación de clases vulnerables del archivo JAR log4j 1.2.17
    • Correcciones de errores varios.

  • 23 de febrero de 2022

    • [SPARK-37859][SQL] Sin búsqueda de metadatos durante la comparación de esquemas

  • 8 de febrero de 2022

    • Actualice el JDK de Ubuntu a la versión 1.8.0.312.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de febrero de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 26 de enero de 2022

    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.

  • 19 de enero de 2022

    • Retirada del canal de valores predeterminados de Conda de la versión 7.3 ML LTS
    • Actualizaciones de seguridad del sistema operativo

  • 7 de diciembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 4 de noviembre de 2021

    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con una excepción ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.

  • 15 de septiembre de 2021

    • Se ha corregido una condición de carrera que podría provocar un error de consulta con una excepción IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2021

    • [SPARK-35700][SQL][WARMFIX] Lectura de la tabla orc char/varchar cuando se crea y escribe en sistemas externos
    • [SPARK-36532][CORE][3.1] Corrección del interbloqueo en CoarseGrainedExecutorBackend.onDisconnected para evitar executorsconnected e impedir que el ejecutor se bloquee durante el apagado.

  • 25 de agosto de 2021

    • Se ha actualizado el conector de Snowflake a la versión 2.9.0.

  • 29 de julio de 2021

    • [SPARK-36034][BUILD] Fusión mediante cambio de base en filtros aplicados en Parquet
    • [SPARK-34508][BUILD] Omisión de HiveExternalCatalogVersionsSuite si la red está fuera de servicio

  • 14 de julio de 2021

    • Se ha agregado el formato database.schema.table para el conector de Azure Synapse.
    • Se ha agregado compatibilidad para proporcionar el formato databaseName.schemaName.tableName como tabla de destino en lugar de solo schemaName.tableName o tableName.
    • Se ha corregido un error que impedía a los usuarios viajar en el tiempo hasta versiones anteriores disponibles con tablas Delta.

  • 15 de junio de 2021

    • Se corrige un error de NoSuchElementException en las escrituras optimizadas de Delta Lake que podía producirse al escribir grandes cantidades de datos y encontrar pérdidas del ejecutor.
    • Se ha actualizado Python con un parche de seguridad para corregir la vulnerabilidad de seguridad de Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
    • [SPARK-35045][SQL] Adición de una opción interna para controlar el búfer de entrada en Univocity

  • 24 de marzo de 2021

    • [SPARK-34768][SQL] No alteración del tamaño de búfer de entrada predeterminado en Univocity
    • [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
    • [SPARK-33118][SQL] Error de CREATE TEMPORARY TABLE con la ubicación

  • 9 de marzo de 2021

    • El controlador de Azure Blob File System actualizado para Azure Data Lake Storage Gen2 ahora está habilitado de forma predeterminada. Ofrece varias mejoras de estabilidad.
    • Corrección del separador de ruta de acceso en Windows para databricks-connect get-jar-dir
    • [UI] Corrección del vínculo href de visualización de DAG de Spark
    • [DBCONNECT] Compatibilidad con FlatMapCoGroupsInPandas agregada en Databricks Connect 7.3
    • Restauración del esquema de salida de SHOW DATABASES
    • [SQL] Uso de la clave de compilación de eliminación dinámica correcta cuando la sugerencia de combinación de intervalo está presente
    • Deshabilitación de la comprobación de estancamiento de los archivos de tablas Delta en la caché de Delta
    • [SQL] No generación de consejos de número de particiones aleatorio cuando AOS está habilitado

  • 24 de febrero de 2021

    • Se ha actualizado el conector de Spark de BigQuery a la versión 0.18, que presenta varias correcciones de errores y compatibilidad con iteradores de Arrow y Avro.
    • Se ha corregido un problema de corrección que provocaba que Spark devolviera resultados incorrectos cuando la precisión decimal y la escala del archivo Parquet eran diferentes del esquema de Spark.
    • Se ha corregido un problema de lectura en tablas de Microsoft SQL Server que contienen tipos de datos espaciales; para ello, se ha agregado compatibilidad con tipos de geometría y geografía de JDBC para Spark SQL.
    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.
    • [SPARK-34212] Corrección de problemas relacionados con la lectura de datos decimales de archivos Parquet
    • [SPARK-33579][UI] Corrección de la página en blanco del ejecutor situada detrás del proxy
    • [SPARK-20044][UI] Compatibilidad con la interfaz de usuario de Spark situada detrás del proxy inverso de front-end mediante un prefijo de ruta de acceso
    • [SPARK-33277][PYSPARK][SQL] Uso de ContextAwareIterator para interrumpir el consumo una vez que finalice la tarea

  • 4 de febrero de 2021

    • Se ha corregido una regresión que impedía la ejecución incremental de una consulta que establece un límite global como SELECT * FROM table LIMIT nrows. Los usuarios que ejecutaban consultas mediante ODBC o JDBC con la serialización de Arrow habilitada experimentaron esta regresión.
    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 20 de enero de 2021

    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33677][SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier valor escapeChar
    • [SPARK-33592][ML][PYTHON] Posibilidad de que los parámetros del validador de Pyspark ML en estimatorParamMaps se pierdan tras el guardado y la recarga
    • [SPARK-33071][SPARK-33536][SQL] No modificación de dataset_id de LogicalPlan en join() para no interrumpir DetectAmbiguousSelfJoin

  • 8 de diciembre de 2020

    • [SPARK-33587][CORE] Terminación del ejecutor en errores irrecuperables anidados
    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • [SPARK-33316][SQL] El usuario de soporte ha proporcionado un esquema de Avro que acepta valores NULL para el esquema de Catalyst que no acepta valores NULL en la escritura de Avro
    • Los trabajos de Spark iniciados con Databricks Connect pueden quedar bloqueados indefinidamente con Executor$TaskRunner.$anonfun$copySessionState en el seguimiento de la pila del ejecutor.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33404][SQL][3.0] Corrección de resultados incorrectos en la expresión date_trunc
    • [SPARK-33339][PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
    • [SPARK-33183][SQL][HOTFIX] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [SPARK-33371][PYTHON][3.0] Actualización de setup.py y pruebas para Python 3.9
    • [SPARK-33391][SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
    • [SPARK-33306][SQL] Zona horaria necesaria al convertir fecha en cadena
    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream

  • 5 de noviembre de 2020

    • Se ha corregido el bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser().
    • Se ha corregido un error de bucle infinito cuando el lector de Avro leía los bytes magic.
    • Se ha agregado compatibilidad con el privilegio USAGE.
    • Mejoras de rendimiento para la comprobación de privilegios en el control de acceso a tablas.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • Puede leer y escribir desde DBFS mediante el montaje FUSE en /dbfs/ cuando se encuentra en un clúster habilitado para el acceso directo a credenciales de alta simultaneidad. Se admiten montajes normales, pero todavía no se admiten montajes que necesiten credenciales de acceso directo.
    • [SPARK-32999][SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • [SPARK-32585][SQL] Compatibilidad con enumeración de Scala en ScalaReflection
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 29 de septiembre de 2020

    • [SPARK-32718][SQL] Eliminación de palabras clave innecesarias para las unidades de intervalo
    • [SPARK-32635][SQL] Corrección de la propagación plegable
    • Agregue un nuevo spark.shuffle.io.decoder.consolidateThreshold de configuración. Establezca el valor de configuración en Long.MAX_VALUE para omitir la consolidación de FrameBuffers de Netty, lo que evita java.lang.IndexOutOfBoundsException en casos especiales.

Soporte extendido de Databricks Runtime 6.4 (no admitido)

Consulte Databricks Runtime 6.4 (no admitida) y Soporte extendido para Databricks Runtime 6.4 (no admitida).

  • 5 de julio de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 2 de junio de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 18 de mayo de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 19 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 6 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 14 de marzo de 2022

    • Eliminación de clases vulnerables del archivo JAR log4j 1.2.17
    • Correcciones de errores varios.

  • 23 de febrero de 2022

    • Correcciones de errores varios.

  • 8 de febrero de 2022

    • Actualice el JDK de Ubuntu a la versión 1.8.0.312.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de febrero de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 26 de enero de 2022

    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.

  • 19 de enero de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 8 de diciembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 22 de septiembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 15 de junio de 2021

    • [SPARK-35576][SQL] Eliminación de la información confidencial en el resultado del comando Set

  • 7 de junio de 2021

    • Agregue una nueva configuración denominada spark.sql.maven.additionalRemoteRepositories, una configuración de cadena delimitada por comas del reflejo de Maven remoto adicional y opcional. El valor predeterminado es https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit

  • 9 de marzo de 2021

    • Porte HADOOP-17215 al controlador de Azure Blob File System (compatibilidad con la sobrescritura condicional).
    • Corrección del separador de ruta de acceso en Windows para databricks-connect get-jar-dir
    • Se ha agregado compatibilidad con las versiones 2.3.5, 2.3.6 y 2.3.7 del metastore de Hive.
    • “totalResultsCollected” de Arrow no notificado correctamente tras el volcado

  • 24 de febrero de 2021

    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.

  • 4 de febrero de 2021

    • Se ha corregido una regresión que impedía la ejecución incremental de una consulta que establece un límite global como SELECT * FROM table LIMIT nrows. Los usuarios que ejecutaban consultas mediante ODBC o JDBC con la serialización de Arrow habilitada experimentaron esta regresión.
    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • [SPARK-33183][SQL] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [Runtime 6.4 ML GPU] Anteriormente, se instaló una versión incorrecta (2.7.8-1+cuda11.1) de NCCL. Esta versión lo corrige a 2.4.8-1+cuda10.0, que es compatible con CUDA 10.0.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream
    • [SPARK-32635][SQL] Corrección de la propagación plegable

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL][2.4] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 24 de septiembre de 2020

    • Se ha corregido una limitación anterior por la que el acceso directo en el clúster estándar restringía igualmente la implementación del sistema de archivos empleada por el usuario. Ahora, los usuarios podrán acceder a los sistemas de archivos locales sin restricciones.
    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.
    • Actualice el SDK de Azure Storage a la versión 8.6.4 y habilite la función para mantener la conexión de TCP en las conexiones hechas por el controlador WASB.

  • 25 de agosto de 2020

    • Corrección de la resolución ambigua de atributos en la autocombinación

  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.

  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Prevención del registro excesivo de ContextCleaner

  • Agosto de 3 de 2020

    • Ahora puede usar la función de transformación LDA en un clúster habilitado para acceso directo.
    • Actualizaciones de seguridad del sistema operativo

  • 7 de julio de 2020

    • Se ha actualizado la versión de Java de la versión 1.8.0_232 a la 1.8.0_252.

  • 21 de abril de 2020

    • [SPARK-31312][SQL] Instancia de clase de caché para la instancia de UDF en HiveFunctionWrapper

  • 7 de abril de 2020

    • A fin de resolver un problema con pandas de UDF que no funciona con PyArrow 0.15.0 y versiones posteriores, hemos agregado una variable de entorno (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar la compatibilidad con las versiones de PyArrow mencionadas. Consulte las instrucciones de [SPARK-29367].

  • 10 de marzo de 2020

    • El escalado automático optimizado ahora se usa de manera predeterminada en los clústeres multiuso del plan Premium.
    • El conector de Snowflake (spark-snowflake_2.11) incluido en Databricks Runtime se actualiza a la versión 2.5.9. snowflake-jdbc se actualiza a la versión 3.12.0.

Databricks Runtime 5.5 LTS (no admitida)

Consulte Databricks Runtime 5.5 (no admitida) y Soporte extendido para Databricks Runtime 5.5 (no admitida).

  • 8 de diciembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 22 de septiembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 25 de agosto de 2021

    • Algunos paquetes de Python actualizados anteriormente en la versión 5.5 ML de soporte extendido se han cambiado a una versión anterior para mantener una mejor paridad con 5.5 ML LTS (ahora en desuso). Consulte [_]/release-notes/runtime/5.5xml.md) para conocer las diferencias actualizadas entre las dos versiones.

  • 15 de junio de 2021

    • [SPARK-35576][SQL] Eliminación de la información confidencial en el resultado del comando Set

  • 7 de junio de 2021

    • Agregue una nueva configuración denominada spark.sql.maven.additionalRemoteRepositories, una configuración de cadena delimitada por comas del reflejo de Maven remoto adicional y opcional. El valor predeterminado es https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit

  • 9 de marzo de 2021

    • Porte HADOOP-17215 al controlador de Azure Blob File System (compatibilidad con la sobrescritura condicional).

  • 24 de febrero de 2021

    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • Corrección para [HADOOP-17130].

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream
    • [SPARK-32635][SQL] Corrección de la propagación plegable

  • 29 de octubre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL][2.4] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode

  • 24 de septiembre de 2020

    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.

  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.

  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Prevención del registro excesivo de ContextCleaner

  • Agosto de 3 de 2020

    • Actualizaciones de seguridad del sistema operativo

  • 7 de julio de 2020

    • Se ha actualizado la versión de Java de la versión 1.8.0_232 a la 1.8.0_252.

  • 21 de abril de 2020

    • [SPARK-31312][SQL] Instancia de clase de caché para la instancia de UDF en HiveFunctionWrapper

  • 7 de abril de 2020

    • A fin de resolver un problema con pandas de UDF que no funciona con PyArrow 0.15.0 y versiones posteriores, hemos agregado una variable de entorno (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar la compatibilidad con las versiones de PyArrow mencionadas. Consulte las instrucciones de [SPARK-29367].

  • 25 de marzo de 2020

    • El conector de Snowflake (spark-snowflake_2.11) incluido en Databricks Runtime se actualiza a la versión 2.5.9. snowflake-jdbc se actualiza a la versión 3.12.0.

  • 10 de marzo de 2020

    • La salida del trabajo, como la salida del registro emitida a stdout, está sujeta a un límite de tamaño de 20 MB. Si la salida total tiene un tamaño mayor, la ejecución se cancelará y se marcará como con errores. Para evitar alcanzar este límite, puede impedir que stdout se devuelva desde el controlador estableciendo la configuración para Spark de spark.databricks.driver.disableScalaOutput en true. De forma predeterminada, el valor de marca es false. La marca permite controlar la salida de celda para los trabajos JAR y los cuadernos de Scala. Si la marca está habilitada, Spark no devuelve los resultados de la ejecución del trabajo al cliente. La marca no afecta a los datos escritos en los archivos de registro del clúster. Solo se recomienda establecer esta marca en clústeres automatizados para trabajos JAR, ya que deshabilitará los resultados del cuaderno.

  • 18 de febrero de 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 debería producir una excepción
    • El acceso directo a credenciales con ADLS Gen2 presenta una degradación del rendimiento debido a un control local incorrecto de subprocesos cuando está habilitada la captura previa del cliente de ADLS. En esta versión se deshabilita la captura previa de ADLS Gen2 cuando se habilita el acceso directo a credenciales hasta que se disponga de una corrección adecuada.

  • 28 de enero de 2020

    • [SPARK-30447][SQL] Problema de nulabilidad en la propagación de constantes

  • 14 de enero de 2020

    • Se ha actualizado la versión de Java de la versión 1.8.0_222 a la 1.8.0_232.

  • 19 de noviembre de 2019

    • [SPARK-29743][SQL] La muestra debe establecer needCopyResult en true si el valor needCopyResult de su elemento secundario es true
    • La versión de R se ha actualizado de forma no intencionada a la versión 3.6.1 desde la 3.6.0. Se ha cambiado a la versión 3.6.0.

  • 5 de noviembre de 2019

    • Se ha actualizado la versión de Java de la versión 1.8.0_212 a la 1.8.0_222.

  • 23 de octubre de 2019

    • [SPARK-29244][CORE] Prevención de que la página liberada en BytesToBytesMap se libere otra vez

  • 8 de octubre de 2019

    • Cambios en el lado servidor para permitir que el controlador ODBC de Simba Apache Spark se vuelva a conectar y continúe después de un error de conexión durante la captura de resultados (requiere el controlador de Simba Apache Spark ODBC en la versión 2.6.10).
    • Se ha corregido un problema que afectaba al uso del comando Optimize con clústeres habilitados para ACL de tabla.
    • Se ha corregido un problema que causaba un error en las bibliotecas pyspark.ml debido a un error prohibido de la UDF de Scala en los clústeres habilitados para ACL de tabla y el acceso directo a credenciales.
    • Métodos SerDe y SerDeUtil permitidos para el acceso directo a credenciales
    • Se ha corregido NullPointerException al comprobar el código de error en el cliente de WASB.

  • 24 de septiembre de 2019

    • Estabilidad mejorada del escritor de Parquet.
    • Se ha corregido el problema por el que la consulta de Thrift cancelada antes de empezar a ejecutarse podía quedar atrapada en el estado STARTED.

  • 10 de septiembre de 2019

    • Adición de un iterador seguro para subprocesos a BytesToBytesMap
    • [SPARK-27992][SPARK-28881] Permiso para que Python se una al subproceso de conexión para propagar errores
    • Se ha corregido un error que afectaba a determinadas consultas de agregación globales.
    • Se ha mejorado la eliminación de credenciales.
    • [SPARK-27330][SS] Anulación de tarea de soporte en el escritor foreach
    • [SPARK-28642]Ocultación de credenciales en SHOW CREATE TABLE
    • [SPARK-28699][SQL] Deshabilitación del uso de la ordenación radix para ShuffleExchangeExec en el caso de repartición

  • 27 de agosto de 2019

    • [SPARK-20906][SQL] Permiso para el esquema especificado por el usuario en la API to_avro con registro de esquema
    • [SPARK-27838][SQL] El usuario de soporte ha proporcionado un esquema de Avro que no acepta valores NULL para el esquema de Catalyst que admite valores NULL sin ningún registro NULL
    • Mejora en el viaje en el tiempo de Delta Lake
    • Se ha corregido un problema que afectaba a determinadas expresiones transform.
    • Se admiten variables de difusión cuando el aislamiento de procesos está habilitado.

  • 13 de agosto de 2019

    • El origen de streaming de Delta debe comprobar el protocolo más reciente de una tabla
    • [SPARK-28260] Adición del estado CLOSED a ExecutionState
    • [SPARK-28489][SS] Se ha corregido un error por el que KafkaOffsetRangeCalculator.getRanges podía quitar desplazamientos.

  • 30 de julio de 2019

    • [SPARK-28015][SQL] La comprobación stringToDate() consume toda la entrada de los formatos yyyy e yyyy-[m]m
    • [SPARK-28308][CORE] La parte inferior a un segundo de CalendarInterval debería rellenarse antes del análisis
    • [SPARK-27485] EnsureRequirements.reorder debería controlar correctamente las expresiones duplicadas
    • [SPARK-28355][CORE][PYTHON] Uso del conf de Spark para establecer el umbral en el que las UDF se comprimen por transmisión

Soporte extendido para Databricks Light 2.4

Consulte Databricks Light 2.4 (no admitida) y Soporte extendido para Databricks Light 2.4.

  • 5 de julio de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 2 de junio de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 18 de mayo de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 19 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 6 de abril de 2022

    • Actualizaciones de seguridad del sistema operativo
    • Correcciones de errores varios.

  • 14 de marzo de 2022

    • Correcciones de errores varios.

  • 23 de febrero de 2022

    • Correcciones de errores varios.

  • 8 de febrero de 2022

    • Actualice el JDK de Ubuntu a la versión 1.8.0.312.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de febrero de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 19 de enero de 2022

    • Actualizaciones de seguridad del sistema operativo

  • 22 de septiembre de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

  • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 7.4 (no admitida)

Consulte Databricks Runtime 7.4 (no admitida).

  • 30 de abril de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-35227][BUILD] Actualización de la resolución para spark-packages en SparkSubmit
    • [SPARK-34245][CORE] Comprobación de que Master eliminar los ejecutores que no han podido enviar el estado de finalización
    • [SPARK-35045][SQL] Adición de una opción interna para controlar el búfer de entrada en Univocity y una configuración para el tamaño del búfer de entrada de CSV.

  • 24 de marzo de 2021

    • [SPARK-34768][SQL] No alteración del tamaño de búfer de entrada predeterminado en Univocity
    • [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques

  • 9 de marzo de 2021

    • El controlador de Azure Blob File System actualizado para Azure Data Lake Storage Gen2 ahora está habilitado de forma predeterminada. Ofrece varias mejoras de estabilidad.
    • [ES-67926][UI] Corrección del vínculo href de visualización de DAG de Spark
    • [ES-65064] Restauración del esquema de salida de SHOW DATABASES
    • [SC-70522][SQL] Uso de la clave de compilación de eliminación dinámica correcta cuando la sugerencia de combinación de intervalo está presente
    • [SC-35081] Deshabilitación de la comprobación de estancamiento de los archivos de tablas Delta en la caché de Delta
    • [SC-70640] Corrección de NPE cuando la respuesta de EventGridClient no tiene ninguna entidad
    • [SC-70220][SQL] No generación de consejos de número de particiones aleatorio cuando AOS está habilitado

  • 24 de febrero de 2021

    • Se ha actualizado el conector de Spark de BigQuery a la versión 0.18, que presenta varias correcciones de errores y compatibilidad con iteradores de Arrow y Avro.
    • Se ha corregido un problema de corrección que provocaba que Spark devolviera resultados incorrectos cuando la precisión decimal y la escala del archivo Parquet eran diferentes del esquema de Spark.
    • Se ha corregido un problema de lectura en tablas de Microsoft SQL Server que contienen tipos de datos espaciales; para ello, se ha agregado compatibilidad con tipos de geometría y geografía de JDBC para Spark SQL.
    • Se ha introducido una nueva configuración (spark.databricks.hive.metastore.init.reloadFunctions.enabled). Esta configuración permite controlar la inicialización integrada de Hive. Cuando se establece en true, Azure Databricks vuelve a cargar todas las funciones de todas las bases de datos que los usuarios tienen en FunctionRegistry. Este es el comportamiento predeterminado en el metastore de Hive. Cuando se establece en false, Azure Databricks deshabilita este proceso con fines de optimización.
    • [SPARK-34212] Corrección de problemas relacionados con la lectura de datos decimales de archivos Parquet
    • [SPARK-33579][UI] Corrección de la página en blanco del ejecutor situada detrás del proxy
    • [SPARK-20044][UI] Compatibilidad con la interfaz de usuario de Spark situada detrás del proxy inverso de front-end mediante un prefijo de ruta de acceso
    • [SPARK-33277][PYSPARK][SQL] Uso de ContextAwareIterator para interrumpir el consumo una vez que finalice la tarea

  • 4 de febrero de 2021

    • Se ha corregido una regresión que impedía la ejecución incremental de una consulta que establece un límite global como SELECT * FROM table LIMIT nrows. Los usuarios que ejecutaban consultas mediante ODBC o JDBC con la serialización de Arrow habilitada experimentaron esta regresión.
    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 20 de enero de 2021

    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33677][SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier valor escapeChar
    • [SPARK-33071][SPARK-33536][SQL] No modificación de dataset_id de LogicalPlan en join() para no interrumpir DetectAmbiguousSelfJoin

  • 8 de diciembre de 2020

    • [SPARK-33587][CORE] Terminación del ejecutor en errores irrecuperables anidados
    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • [SPARK-33316][SQL] El usuario de soporte ha proporcionado un esquema de Avro que acepta valores NULL para el esquema de Catalyst que no acepta valores NULL en la escritura de Avro
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33404][SQL][3.0] Corrección de resultados incorrectos en la expresión date_trunc
    • [SPARK-33339][PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
    • [SPARK-33183][SQL][HOTFIX] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [SPARK-33371][PYTHON][3.0] Actualización de setup.py y pruebas para Python 3.9
    • [SPARK-33391][SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
    • [SPARK-33306][SQL] Zona horaria necesaria al convertir fecha en cadena
    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream
    • [SPARK-33272][SQL] Eliminación de la asignación de atributos en QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (no admitida)

Consulte Databricks Runtime 7.2 (no admitida).

  • 4 de febrero de 2021

    • Se ha corregido una regresión que impedía la ejecución incremental de una consulta que establece un límite global como SELECT * FROM table LIMIT nrows. Los usuarios que ejecutaban consultas mediante ODBC o JDBC con la serialización de Arrow habilitada experimentaron esta regresión.
    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 20 de enero de 2021

    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33677][SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier valor escapeChar
    • [SPARK-33071][SPARK-33536][SQL] No modificación de dataset_id de LogicalPlan en join() para no interrumpir DetectAmbiguousSelfJoin

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • [SPARK-33404][SQL] Corrección de resultados incorrectos en la expresión date_trunc
    • [SPARK-33339][PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
    • [SPARK-33183][SQL] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [SPARK-33391][SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33306][SQL] Zona horaria necesaria al convertir fecha en cadena
    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 29 de septiembre de 2020

    • [SPARK-28863][SQL][WARMFIX] Adición de AlreadyOptimized para evitar el reanálisis de V1FallbackWriters
    • [SPARK-32635][SQL] Corrección de la propagación plegable
    • Agregue un nuevo spark.shuffle.io.decoder.consolidateThreshold de configuración. Establezca el valor de configuración en Long.MAX_VALUE para omitir la consolidación de FrameBuffers de Netty, lo que evita java.lang.IndexOutOfBoundsException en casos especiales.

  • 24 de septiembre de 2020

    • [SPARK-32764] [SQL] -0.0 debe ser igual a 0.0
    • [SPARK-32753][SQL] Copia solo de etiquetas en el nodo sin etiquetas al transformar planes
    • [SPARK-32659][SQL] Corrección del problema de datos de la eliminación de particiones dinámicas insertada en un tipo no atómico
    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.

Databricks Runtime 7.1 (no admitida)

Consulte Databricks Runtime 7.1 (no admitida).

  • 4 de febrero de 2021

    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 20 de enero de 2021

    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33677][SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier valor escapeChar
    • [SPARK-33071][SPARK-33536][SQL] No modificación de dataset_id de LogicalPlan en join() para no interrumpir DetectAmbiguousSelfJoin

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • Los trabajos de Spark iniciados con Databricks Connect pueden quedar bloqueados indefinidamente con Executor$TaskRunner.$anonfun$copySessionState en el seguimiento de la pila del ejecutor.
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33404][SQL][3.0] Corrección de resultados incorrectos en la expresión date_trunc
    • [SPARK-33339][PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
    • [SPARK-33183][SQL][HOTFIX] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [SPARK-33371][PYTHON][3.0] Actualización de setup.py y pruebas para Python 3.9
    • [SPARK-33391][SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
    • [SPARK-33306][SQL] Zona horaria necesaria al convertir fecha en cadena

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 29 de septiembre de 2020

    • [SPARK-28863][SQL][WARMFIX] Adición de AlreadyOptimized para evitar el reanálisis de V1FallbackWriters
    • [SPARK-32635][SQL] Corrección de la propagación plegable
    • Agregue un nuevo spark.shuffle.io.decoder.consolidateThreshold de configuración. Establezca el valor de configuración en Long.MAX_VALUE para omitir la consolidación de FrameBuffers de Netty, lo que evita java.lang.IndexOutOfBoundsException en casos especiales.

  • 24 de septiembre de 2020

    • [SPARK-32764] [SQL] -0.0 debe ser igual a 0.0
    • [SPARK-32753][SQL] Copia solo de etiquetas en el nodo sin etiquetas al transformar planes
    • [SPARK-32659][SQL] Corrección del problema de datos de la eliminación de particiones dinámicas insertada en un tipo no atómico
    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.

  • 25 de agosto de 2020

    • [SPARK-32159][SQL] Corrección de la integración entre Aggregator[Array[_], _, _] y UnresolvedMapObjects
    • [SPARK-32559][SQL] Corrección de la lógica de recorte en UTF8String.toInt/toLong, que no controló correctamente los caracteres no ASCII
    • [SPARK-32543][R] Eliminación del uso de arrow::as_tibble en SparkR
    • [SPARK-32091][CORE] Omisión del error de tiempo de espera al quitar bloques en el ejecutor perdido
    • Se ha corregido un problema que afectaba al conector de Azure Synapse con credenciales MSI
    • Corrección de la resolución ambigua de atributos en la autocombinación

  • 18 de agosto de 2020

    • [SPARK-32594][SQL] Corrección de la serialización de fechas insertadas en tablas de Hive
    • [SPARK-32237][SQL] Resolución de una sugerencia en CTE
    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • [SPARK-32467][UI] No codificación de la dirección URL dos veces en el redireccionamiento https
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.

  • 11 de agosto de 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight solo debería volver a escribir atributos para los nodos antecesores del plan de conflictos
    • [SPARK-32234][SQL] Los comandos SQL Spark producen errores al seleccionar las tablas ORC

  • Agosto de 3 de 2020

    • Ahora puede usar la función de transformación LDA en un clúster habilitado para acceso directo.

Databricks Runtime 7.0 (no admitida)

Consulte Databricks Runtime 7.0 (no admitida).

  • 4 de febrero de 2021

    • Se ha corregido una regresión que provocaba que DBFS FUSE no se iniciara cuando las configuraciones de variables de entorno de clúster contenían sintaxis de Bash no válida.

  • 20 de enero de 2021

    • Se ha corregido una regresión en la versión de mantenimiento del 12 de enero de 2021 que podía provocar una excepción AnalysisException incorrecta e indicar que la columna era ambigua en una autocombinación. Esta regresión se producía cuando un usuario combinaba un dataframe con su dataframe derivado (conocida como autocombinación) con las condiciones siguientes:
      • Estos dos dataframes tienen columnas comunes, pero la salida de la autocombinación no tiene columnas comunes. Por ejemplo: df.join(df.select($"col" as "new_col"), cond)
      • El dataframe derivado excluye algunas columnas a través de select, groupBy o window.
      • La condición de combinación o la transformación siguiente después del dataframe combinado hace referencia a las columnas no comunes. Por ejemplo: df.join(df.drop("a"), df("a") === 1)

  • 12 de enero de 2021

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-33593][SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binaria
    • [SPARK-33677][SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier valor escapeChar
    • [SPARK-33071][SPARK-33536][SQL] No modificación de dataset_id de LogicalPlan en join() para no interrumpir DetectAmbiguousSelfJoin

  • 8 de diciembre de 2020

    • [SPARK-27421][SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
    • [SPARK-33404][SQL] Corrección de resultados incorrectos en la expresión date_trunc
    • [SPARK-33339][PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
    • [SPARK-33183][SQL] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
    • [SPARK-33391][SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
    • Actualizaciones de seguridad del sistema operativo

  • 1 de diciembre de 2020

    • [SPARK-33306][SQL] Zona horaria necesaria al convertir fecha en cadena

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 29 de septiembre de 2020

    • [SPARK-28863][SQL][WARMFIX] Adición de AlreadyOptimized para evitar el reanálisis de V1FallbackWriters
    • [SPARK-32635][SQL] Corrección de la propagación plegable
    • Agregue un nuevo spark.shuffle.io.decoder.consolidateThreshold de configuración. Establezca el valor de configuración en Long.MAX_VALUE para omitir la consolidación de FrameBuffers de Netty, lo que evita java.lang.IndexOutOfBoundsException en casos especiales.

  • 24 de septiembre de 2020

    • [SPARK-32764] [SQL] -0.0 debe ser igual a 0.0
    • [SPARK-32753][SQL] Copia solo de etiquetas en el nodo sin etiquetas al transformar planes
    • [SPARK-32659][SQL] Corrección del problema de datos de la eliminación de particiones dinámicas insertada en un tipo no atómico
    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.

  • 25 de agosto de 2020

    • [SPARK-32159][SQL] Corrección de la integración entre Aggregator[Array[_], _, _] y UnresolvedMapObjects
    • [SPARK-32559][SQL] Corrección de la lógica de recorte en UTF8String.toInt/toLong, que no controló correctamente los caracteres no ASCII
    • [SPARK-32543][R] Eliminación del uso de arrow::as_tibble en SparkR
    • [SPARK-32091][CORE] Omisión del error de tiempo de espera al quitar bloques en el ejecutor perdido
    • Se ha corregido un problema que afectaba al conector de Azure Synapse con credenciales MSI
    • Corrección de la resolución ambigua de atributos en la autocombinación

  • 18 de agosto de 2020

    • [SPARK-32594][SQL] Corrección de la serialización de fechas insertadas en tablas de Hive
    • [SPARK-32237][SQL] Resolución de una sugerencia en CTE
    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • [SPARK-32467][UI] No codificación de la dirección URL dos veces en el redireccionamiento https
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.

  • 11 de agosto de 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight solo debería volver a escribir atributos para los nodos antecesores del plan de conflictos
    • [SPARK-32234][SQL] Los comandos SQL Spark producen errores al seleccionar las tablas ORC
    • Ahora puede usar la función de transformación LDA en un clúster habilitado para acceso directo.

Databricks Runtime 6.6 (no admitida)

Consulte Databricks Runtime 6.6 (no admitida).

  • 1 de diciembre de 2020

    • [SPARK-33260][SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream
    • [SPARK-32635][SQL] Corrección de la propagación plegable

  • 3 de noviembre de 2020

    • Se ha actualizado la versión de Java de 1.8.0_252 a 1.8.0_265.
    • Corrección del bloqueo de ABFS y WASB con respecto a UserGroupInformation.getCurrentUser()
    • Se ha corregido un error de bucle infinito del lector de Avro al leer los bytes magic.

  • 13 de octubre de 2020

    • Actualizaciones de seguridad del sistema operativo
    • [SPARK-32999][SQL][2.4] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
    • Corrección de la enumeración de directorios en el montaje de FUSE que contiene nombres de archivo con caracteres XML no válidos
    • El montaje de FUSE ya no usa ListMultipartUploads

  • 24 de septiembre de 2020

    • Actualizaciones de seguridad del sistema operativo

  • 8 de septiembre de 2020

    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.
    • Actualice el SDK de Azure Storage a la versión 8.6.4 y habilite la función para mantener la conexión de TCP en las conexiones hechas por el controlador WASB.

  • 25 de agosto de 2020

    • Corrección de la resolución ambigua de atributos en la autocombinación

  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.

  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Prevención del registro excesivo de ContextCleaner
    • [SPARK-31967][UI] Degradación a vis.js 4.21.0 para corregir la regresión del tiempo de carga de la interfaz de usuario de trabajos

  • Agosto de 3 de 2020

    • Ahora puede usar la función de transformación LDA en un clúster habilitado para acceso directo.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 6.5 (no admitida)

Consulte Databricks Runtime 6.5 (no admitida).

  • 24 de septiembre de 2020
    • Se ha corregido una limitación anterior por la que el acceso directo en el clúster estándar restringía igualmente la implementación del sistema de archivos empleada por el usuario. Ahora, los usuarios podrán acceder a los sistemas de archivos locales sin restricciones.
    • Actualizaciones de seguridad del sistema operativo
  • 8 de septiembre de 2020
    • Se ha creado un nuevo parámetro para Azure Synapse Analytics, maxbinlength. Este parámetro se usa para controlar la longitud de columna de las columnas BinaryType y se traduce como VARBINARY(maxbinlength). Se puede establecer mediante .option("maxbinlength", n), donde 0 < n < = 8000.
    • Actualice el SDK de Azure Storage a la versión 8.6.4 y habilite la función para mantener la conexión de TCP en las conexiones hechas por el controlador WASB.
  • 25 de agosto de 2020
    • Corrección de la resolución ambigua de atributos en la autocombinación
  • 18 de agosto de 2020
    • [SPARK-32431][SQL] Comprobación de columnas anidadas duplicadas en lectura desde orígenes de datos integrados
    • Se ha corregido una condición de carrera en el conector de AQS al usar Trigger.Once.
  • 11 de agosto de 2020
    • [SPARK-28676][CORE] Prevención del registro excesivo de ContextCleaner
  • Agosto de 3 de 2020
    • Ahora puede usar la función de transformación LDA en un clúster habilitado para acceso directo.
    • Actualizaciones de seguridad del sistema operativo
  • 7 de julio de 2020
    • Se ha actualizado la versión de Java de la versión 1.8.0_242 a la 1.8.0_252.
  • 21 de abril de 2020
    • [SPARK-31312][SQL] Instancia de clase de caché para la instancia de UDF en HiveFunctionWrapper

Databricks Runtime 6.3 (no admitida)

Consulte Databricks Runtime 6.3 (no admitida).

  • 7 de julio de 2020
    • Se ha actualizado la versión de Java de la versión 1.8.0_232 a la 1.8.0_252.
  • 21 de abril de 2020
    • [SPARK-31312][SQL] Instancia de clase de caché para la instancia de UDF en HiveFunctionWrapper
  • 7 de abril de 2020
    • A fin de resolver un problema con pandas de UDF que no funciona con PyArrow 0.15.0 y versiones posteriores, hemos agregado una variable de entorno (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar la compatibilidad con las versiones de PyArrow mencionadas. Consulte las instrucciones de [SPARK-29367].
  • 10 de marzo de 2020
    • El conector de Snowflake (spark-snowflake_2.11) incluido en Databricks Runtime se actualiza a la versión 2.5.9. snowflake-jdbc se actualiza a la versión 3.12.0.
  • 18 de febrero de 2020
    • El acceso directo a credenciales con ADLS Gen2 presenta una degradación del rendimiento debido a un control local incorrecto de subprocesos cuando está habilitada la captura previa del cliente de ADLS. En esta versión se deshabilita la captura previa de ADLS Gen2 cuando se habilita el acceso directo a credenciales hasta que se disponga de una corrección adecuada.
  • 11 de febrero de 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 debería producir una excepción
    • [SPARK-30447][SQL] Problema de nulabilidad en la propagación de constantes
    • [SPARK-28152][SQL] Adición de un conf heredado para la asignación numérica antigua de MsSqlServerDialect
    • Se ha permitido la función de sobrescritura para que MLModels amplíe MLWriter y pueda llamar a la función.

Databricks Runtime 6.2 (no admitida)

Consulte Databricks Runtime 6.2 (no admitida).

  • 21 de abril de 2020
    • [SPARK-31312][SQL] Instancia de clase de caché para la instancia de UDF en HiveFunctionWrapper
  • 7 de abril de 2020
    • A fin de resolver un problema con pandas de UDF que no funciona con PyArrow 0.15.0 y versiones posteriores, hemos agregado una variable de entorno (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar la compatibilidad con las versiones de PyArrow mencionadas. Consulte las instrucciones de [SPARK-29367].
  • 25 de marzo de 2020
    • La salida del trabajo, como la salida del registro emitida a stdout, está sujeta a un límite de tamaño de 20 MB. Si la salida total tiene un tamaño mayor, la ejecución se cancelará y se marcará como con errores. Para evitar alcanzar este límite, puede impedir que stdout se devuelva desde el controlador estableciendo la configuración para Spark de spark.databricks.driver.disableScalaOutput en true. De forma predeterminada, el valor de marca es false. La marca permite controlar la salida de celda para los trabajos JAR y los cuadernos de Scala. Si la marca está habilitada, Spark no devuelve los resultados de la ejecución del trabajo al cliente. La marca no afecta a los datos escritos en los archivos de registro del clúster. Solo se recomienda establecer esta marca en clústeres automatizados para trabajos JAR, ya que deshabilitará los resultados del cuaderno.
  • 10 de marzo de 2020
    • El conector de Snowflake (spark-snowflake_2.11) incluido en Databricks Runtime se actualiza a la versión 2.5.9. snowflake-jdbc se actualiza a la versión 3.12.0.
  • 18 de febrero de 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 debería producir una excepción
    • El acceso directo a credenciales con ADLS Gen2 presenta una degradación del rendimiento debido a un control local incorrecto de subprocesos cuando está habilitada la captura previa del cliente de ADLS. En esta versión se deshabilita la captura previa de ADLS Gen2 cuando se habilita el acceso directo a credenciales hasta que se disponga de una corrección adecuada.
  • 28 de enero de 2020
    • Se ha permitido la función de sobrescritura de los escritores del modelo de ML para los clústeres habilitados para el acceso directo a credenciales, de modo que el modelo guardado pueda usar el modo de sobrescritura en clústeres con acceso directo a credenciales.
    • [SPARK-30447][SQL] Problema de nulabilidad en la propagación de constantes
    • [SPARK-28152][SQL] Adición de un conf heredado para la asignación numérica antigua de MsSqlServerDialect
  • 14 de enero de 2020
    • Se ha actualizado la versión de Java de la versión 1.8.0_222 a la 1.8.0_232.
  • 10 de diciembre de 2019
    • [SPARK-29904][SQL] Análisis de marcas de tiempo con un precisión de microsegundos por origen de datos JSON/CSV

Databricks Runtime 6.1 (no admitida)

Consulte Databricks Runtime 6.1 (no admitida).

  • 7 de abril de 2020
    • A fin de resolver un problema con pandas de UDF que no funciona con PyArrow 0.15.0 y versiones posteriores, hemos agregado una variable de entorno (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar la compatibilidad con las versiones de PyArrow mencionadas. Consulte las instrucciones de [SPARK-29367].
  • 25 de marzo de 2020
    • La salida del trabajo, como la salida del registro emitida a stdout, está sujeta a un límite de tamaño de 20 MB. Si la salida total tiene un tamaño mayor, la ejecución se cancelará y se marcará como con errores. Para evitar alcanzar este límite, puede impedir que stdout se devuelva desde el controlador estableciendo la configuración para Spark de spark.databricks.driver.disableScalaOutput en true. De forma predeterminada, el valor de marca es false. La marca permite controlar la salida de celda para los trabajos JAR y los cuadernos de Scala. Si la marca está habilitada, Spark no devuelve los resultados de la ejecución del trabajo al cliente. La marca no afecta a los datos escritos en los archivos de registro del clúster. Solo se recomienda establecer esta marca en clústeres automatizados para trabajos JAR, ya que deshabilitará los resultados del cuaderno.
  • 10 de marzo de 2020
    • El conector de Snowflake (spark-snowflake_2.11) incluido en Databricks Runtime se actualiza a la versión 2.5.9. snowflake-jdbc se actualiza a la versión 3.12.0.
  • 18 de febrero de 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 debería producir una excepción
    • El acceso directo a credenciales con ADLS Gen2 presenta una degradación del rendimiento debido a un control local incorrecto de subprocesos cuando está habilitada la captura previa del cliente de ADLS. En esta versión se deshabilita la captura previa de ADLS Gen2 cuando se habilita el acceso directo a credenciales hasta que se disponga de una corrección adecuada.
  • 28 de enero de 2020
    • [SPARK-30447][SQL] Problema de nulabilidad en la propagación de constantes
    • [SPARK-28152][SQL] Adición de un conf heredado para la asignación numérica antigua de MsSqlServerDialect
  • 14 de enero de 2020
    • Se ha actualizado la versión de Java de la versión 1.8.0_222 a la 1.8.0_232.
  • 7 de noviembre de 2019
  • 5 de noviembre de 2019
    • Se ha corregido un error en DBFS FUSE para controlar los puntos de montaje que tienen // en su ruta de acceso.
    • [SPARK-29081] Reemplazo de las llamadas a SerializationUtils.clone en propiedades con una implementación más rápida
    • [SPARK-29244][CORE] Prevención de que la página liberada en BytesToBytesMap se libere otra vez
    • (6.1 ML) Instalación no intencionada de la biblioteca mkl 2019.4 Se ha degradado a mkl 2019.3 para que coincida con Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (no admitida)

Consulte Databricks Runtime 6.0 (no admitida).

  • 25 de marzo de 2020
    • La salida del trabajo, como la salida del registro emitida a stdout, está sujeta a un límite de tamaño de 20 MB. Si la salida total tiene un tamaño mayor, la ejecución se cancelará y se marcará como con errores. Para evitar alcanzar este límite, puede impedir que stdout se devuelva desde el controlador estableciendo la configuración para Spark de spark.databricks.driver.disableScalaOutput en true. De forma predeterminada, el valor de marca es false. La marca permite controlar la salida de celda para los trabajos JAR y los cuadernos de Scala. Si la marca está habilitada, Spark no devuelve los resultados de la ejecución del trabajo al cliente. La marca no afecta a los datos escritos en los archivos de registro del clúster. Solo se recomienda establecer esta marca en clústeres automatizados para trabajos JAR, ya que deshabilitará los resultados del cuaderno.
  • 18 de febrero de 2020
    • El acceso directo a credenciales con ADLS Gen2 presenta una degradación del rendimiento debido a un control local incorrecto de subprocesos cuando está habilitada la captura previa del cliente de ADLS. En esta versión se deshabilita la captura previa de ADLS Gen2 cuando se habilita el acceso directo a credenciales hasta que se disponga de una corrección adecuada.
  • 11 de febrero de 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 debería producir una excepción
  • 28 de enero de 2020
    • [SPARK-30447][SQL] Problema de nulabilidad en la propagación de constantes
    • [SPARK-28152][SQL] Adición de un conf heredado para la asignación numérica antigua de MsSqlServerDialect
  • 14 de enero de 2020
    • Se ha actualizado la versión de Java de la versión 1.8.0_222 a la 1.8.0_232.
  • 19 de noviembre de 2019
    • [SPARK-29743][SQL] La muestra debe establecer needCopyResult en true si el valor needCopyResult de su elemento secundario es true
  • 5 de noviembre de 2019
    • dbutils.tensorboard.start() ahora admite TensorBoard 2.0 (si se instala manualmente).
    • Se ha corregido un error en DBFS FUSE para controlar los puntos de montaje que tienen // en su ruta de acceso.
    • [SPARK-29081] Reemplazo de las llamadas a SerializationUtils.clone en propiedades con una implementación más rápida
  • 23 de octubre de 2019
    • [SPARK-29244][CORE] Prevención de que la página liberada en BytesToBytesMap se libere otra vez
  • 8 de octubre de 2019
    • Cambios en el lado servidor para permitir que el controlador ODBC de Simba Apache Spark se vuelva a conectar y continúe después de un error de conexión durante la captura de resultados (requiere el controlador de Simba Apache Spark ODBC en la versión 2.6.10).
    • Se ha corregido un problema que afectaba al uso del comando Optimize con clústeres habilitados para ACL de tabla.
    • Se ha corregido un problema que causaba un error en las bibliotecas pyspark.ml debido a un error prohibido de la UDF de Scala en los clústeres habilitados para ACL de tabla y el acceso directo a credenciales.
    • Métodos SerDe y SerDeUtil permitidos para el acceso directo a credenciales
    • Se ha corregido NullPointerException al comprobar el código de error en el cliente de WASB.
    • Se ha corregido el problema por el que las credenciales de usuario no se reenviaban a los trabajos creados por dbutils.notebook.run().

Databricks Runtime 5.4 ML (no admitida)

Consulte Databricks Runtime 5.4 para Machine Learning (no admitida).

  • 18 de junio de 2019
    • Control mejorado de las ejecuciones activas de MLflow en la integración de Hyperopt
    • Mensajes mejorados en Hyperopt
    • Paquete Marchkdown actualizado de la versión 3.1 a la 3.1.1

Databricks Runtime 5.4 (no admitida)

Consulte Databricks Runtime 5.4 (no admitida).

  • 19 de noviembre de 2019
    • [SPARK-29743][SQL] La muestra debe establecer needCopyResult en true si el valor needCopyResult de su elemento secundario es true
  • 8 de octubre de 2019
    • Cambios en el lado servidor para permitir que el controlador ODBC de Simba Apache Spark se vuelva a conectar y continúe después de un error de conexión durante la captura de resultados (requiere la actualización del controlador de Simba Apache Spark ODBC a la versión 2.6.10).
    • Se ha corregido NullPointerException al comprobar el código de error en el cliente de WASB.
  • 10 de septiembre de 2019
    • Adición de un iterador seguro para subprocesos a BytesToBytesMap
    • Se ha corregido un error que afectaba a determinadas consultas de agregación globales.
    • [SPARK-27330][SS] Anulación de tarea de soporte en el escritor foreach
    • [SPARK-28642]Ocultación de credenciales en SHOW CREATE TABLE
    • [SPARK-28699][SQL] Deshabilitación del uso de la ordenación radix para ShuffleExchangeExec en el caso de repartición
    • [SPARK-28699][CORE] Corrección de un caso especial para anular una fase indeterminada
  • 27 de agosto de 2019
    • Se ha corregido un problema que afectaba a determinadas expresiones transform.
  • 13 de agosto de 2019
    • El origen de streaming de Delta debe comprobar el protocolo más reciente de una tabla
    • [SPARK-28489][SS] Se ha corregido un error por el que KafkaOffsetRangeCalculator.getRanges podía quitar desplazamientos.
  • 30 de julio de 2019
    • [SPARK-28015][SQL] La comprobación stringToDate() consume toda la entrada de los formatos yyyy e yyyy-[m]m
    • [SPARK-28308][CORE] La parte inferior a un segundo de CalendarInterval debería rellenarse antes del análisis
    • [SPARK-27485] EnsureRequirements.reorder debería controlar correctamente las expresiones duplicadas
  • 2 de julio de 2019
    • Se ha actualizado snappy-java de la versión 1.1.7.1 a la 1.1.7.3.
  • 18 de junio de 2019
    • Control mejorado de las ejecuciones activas de MLflow en la integración de MLlib
    • Se ha mejorado el mensaje de Databricks Advisor relacionado con el uso de la caché de Delta.
    • Se ha corregido un error que afectaba al uso de funciones de orden superior.
    • Se ha corregido un error que afectaba a las consultas de metadatos Delta.

Databricks Runtime 5.3 (no admitida)

Consulte Databricks Runtime 5.3 (no admitida).

  • 7 de noviembre de 2019
    • [SPARK-29743][SQL] La muestra debe establecer needCopyResult en true si el valor needCopyResult de su elemento secundario es true
  • 8 de octubre de 2019
    • Cambios en el lado servidor para permitir que el controlador ODBC de Simba Apache Spark se vuelva a conectar y continúe después de un error de conexión durante la captura de resultados (requiere la actualización del controlador de Simba Apache Spark ODBC a la versión 2.6.10).
    • Se ha corregido NullPointerException al comprobar el código de error en el cliente de WASB.
  • 10 de septiembre de 2019
    • Adición de un iterador seguro para subprocesos a BytesToBytesMap
    • Se ha corregido un error que afectaba a determinadas consultas de agregación globales.
    • [SPARK-27330][SS] Anulación de tarea de soporte en el escritor foreach
    • [SPARK-28642]Ocultación de credenciales en SHOW CREATE TABLE
    • [SPARK-28699][SQL] Deshabilitación del uso de la ordenación radix para ShuffleExchangeExec en el caso de repartición
    • [SPARK-28699][CORE] Corrección de un caso especial para anular una fase indeterminada
  • 27 de agosto de 2019
    • Se ha corregido un problema que afectaba a determinadas expresiones transform.
  • 13 de agosto de 2019
    • El origen de streaming de Delta debe comprobar el protocolo más reciente de una tabla
    • [SPARK-28489][SS] Se ha corregido un error por el que KafkaOffsetRangeCalculator.getRanges podía quitar desplazamientos.
  • 30 de julio de 2019
    • [SPARK-28015][SQL] La comprobación stringToDate() consume toda la entrada de los formatos yyyy e yyyy-[m]m
    • [SPARK-28308][CORE] La parte inferior a un segundo de CalendarInterval debería rellenarse antes del análisis
    • [SPARK-27485] EnsureRequirements.reorder debería controlar correctamente las expresiones duplicadas
  • 18 de junio de 2019
    • Se ha mejorado el mensaje de Databricks Advisor relacionado con el uso de la caché de Delta.
    • Se ha corregido un error que afectaba al uso de funciones de orden superior.
    • Se ha corregido un error que afectaba a las consultas de metadatos Delta.
  • 28 de mayo de 2019
    • Mejora de la estabilidad de Delta
    • Tolerancia de IOExceptions al leer el archivo LAST_CHECKPOINT de Delta
      • Se ha agregado la recuperación a la instalación de la biblioteca con errores.
  • 7 de mayo de 2019
    • Puerto HADOOP-15778 (ABFS: corrección de la limitación del lado cliente para lectura) al conector de Azure Data Lake Storage Gen2
    • Puerto HADOOP-16040 (ABFS: corrección de errores para la configuración de tolerateOobAppends) a Azure Data Lake Storage Gen2
    • Se ha corregido un error que afectaba a las ACL de tabla.
    • Se ha corregido una condición de carrera al cargar un archivo de suma de comprobación de registro Delta.
    • Se ha corregido la lógica de detección de conflictos de Delta para que no se identifique "insertar + sobrescribir" como operación de "anexar" pura.
    • Comprobación de que la caché de Delta no esté deshabilitada cuando las ACL de tabla estén habilitadas
    • [SPARK-27494][SS] Los valores o claves NULL no funcionan en el origen de Kafka 2
    • [SPARK-27446][R] Uso del conf de Spark actual si está disponible
    • [SPARK-27454][SPARK-27454] [ML][SQL] Error en el origen de datos de imagen de Spark al encontrar algunas imágenes no válidas
    • [SPARK-27160][SQL] Corrección de DecimalType al compilar filtros orc
    • [SPARK-27338][CORE] Corrección del interbloqueo entre UnsafeExternalSorter y TaskMemoryManager

Databricks Runtime 5.2 (no admitida)

Consulte Databricks Runtime 5.2 (no admitida).

  • 10 de septiembre de 2019
    • Adición de un iterador seguro para subprocesos a BytesToBytesMap
    • Se ha corregido un error que afectaba a determinadas consultas de agregación globales.
    • [SPARK-27330][SS] Anulación de tarea de soporte en el escritor foreach
    • [SPARK-28642]Ocultación de credenciales en SHOW CREATE TABLE
    • [SPARK-28699][SQL] Deshabilitación del uso de la ordenación radix para ShuffleExchangeExec en el caso de repartición
    • [SPARK-28699][CORE] Corrección de un caso especial para anular una fase indeterminada
  • 27 de agosto de 2019
    • Se ha corregido un problema que afectaba a determinadas expresiones transform.
  • 13 de agosto de 2019
    • El origen de streaming de Delta debe comprobar el protocolo más reciente de una tabla
    • [SPARK-28489][SS] Se ha corregido un error por el que KafkaOffsetRangeCalculator.getRanges podía quitar desplazamientos.
  • 30 de julio de 2019
    • [SPARK-28015][SQL] La comprobación stringToDate() consume toda la entrada de los formatos yyyy e yyyy-[m]m
    • [SPARK-28308][CORE] La parte inferior a un segundo de CalendarInterval debería rellenarse antes del análisis
    • [SPARK-27485] EnsureRequirements.reorder debería controlar correctamente las expresiones duplicadas
  • 2 de julio de 2019
    • Tolerancia de IOExceptions al leer el archivo LAST_CHECKPOINT de Delta
  • 18 de junio de 2019
    • Se ha mejorado el mensaje de Databricks Advisor relacionado con el uso de la caché de Delta.
    • Se ha corregido un error que afectaba al uso de funciones de orden superior.
    • Se ha corregido un error que afectaba a las consultas de metadatos Delta.
  • 28 de mayo de 2019
    • Se ha agregado la recuperación a la instalación de la biblioteca con errores.
  • 7 de mayo de 2019
    • Puerto HADOOP-15778 (ABFS: corrección de la limitación del lado cliente para lectura) al conector de Azure Data Lake Storage Gen2
    • Puerto HADOOP-16040 (ABFS: corrección de errores para la configuración de tolerateOobAppends) a Azure Data Lake Storage Gen2
    • Se ha corregido una condición de carrera al cargar un archivo de suma de comprobación de registro Delta.
    • Se ha corregido la lógica de detección de conflictos de Delta para que no se identifique "insertar + sobrescribir" como operación de "anexar" pura.
    • Comprobación de que la caché de Delta no esté deshabilitada cuando las ACL de tabla estén habilitadas
    • [SPARK-27494][SS] Los valores o claves NULL no funcionan en el origen de Kafka 2
    • [SPARK-27454][SPARK-27454] [ML][SQL] Error en el origen de datos de imagen de Spark al encontrar algunas imágenes no válidas
    • [SPARK-27160][SQL] Corrección de DecimalType al compilar filtros orc
    • [SPARK-27338][CORE] Corrección del interbloqueo entre UnsafeExternalSorter y TaskMemoryManager
  • 26 de marzo de 2019
    • Evite insertar desplazamientos dependientes de la plataforma literalmente en el código generado en toda la fase.
    • [SPARK-26665][CORE] Se ha corregido un error que podía hacer que BlockTransferService.fetchBlockSync se bloqueara indefinidamente.
    • [SPARK-27134][SQL] La función array_distinct no funciona correctamente con columnas que contienen la matriz de matriz
    • [SPARK-24669][SQL] Invalidación de tablas en caso de DROP DATABASE CASCADE
    • [SPARK-26572][SQL] Corrección de la evaluación de resultados de codegen agregados
    • Se ha corregido un error que afectaba a determinadas UDF Python.
  • 26 de febrero de 2019
    • [SPARK-26864][SQL] La consulta puede devolver un resultado incorrecto cuando se usa una UDF Python como condición de combinación parcial a la izquierda.
    • [SPARK-26887][PYTHON] Creación de datetime.date directamente en lugar de usar datetime64 como datos intermedios
    • Se ha corregido un error que afectaba al servidor JDBC u ODBC.
    • Se ha corregido un error que afectaba a PySpark.
    • Excluya los archivos ocultos al compilar HadoopRDD.
    • Se ha corregido un error en Delta que provocaba problemas de serialización.
  • 12 de febrero de 2019
    • Se ha corregido un problema que afectaba al uso de Delta con los puntos de montaje de Azure ADLS Gen2.
    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).
  • 30 de enero de 2019
    • Se ha corregido el error StackOverflowError al colocar la sugerencia de combinación de sesgo en la relación almacenada en caché.
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.
    • [SPARK-26706][SQL] Corrección de illegalNumericPrecedence para ByteType.
    • [SPARK-26709][SQL] Falta de control correcto de los registros vacíos por parte de OptimizeMetadataOnlyQuery
    • Los orígenes de datos CSV/JSON deben evitar las rutas comodín g al inferir el esquema.
    • Se ha corregido la inferencia de restricciones en el operador Window.
    • Se ha corregido un problema que afectaba a la instalación de bibliotecas egg con clústeres que tienen habilitadas las ACL de tabla.

Databricks Runtime 5.1 (no admitida)

Consulte Databricks Runtime 5.1 (no admitida).

  • 13 de agosto de 2019
    • El origen de streaming de Delta debe comprobar el protocolo más reciente de una tabla
    • [SPARK-28489][SS] Se ha corregido un error por el que KafkaOffsetRangeCalculator.getRanges podía quitar desplazamientos.
  • 30 de julio de 2019
    • [SPARK-28015][SQL] La comprobación stringToDate() consume toda la entrada de los formatos yyyy e yyyy-[m]m
    • [SPARK-28308][CORE] La parte inferior a un segundo de CalendarInterval debería rellenarse antes del análisis
    • [SPARK-27485] EnsureRequirements.reorder debería controlar correctamente las expresiones duplicadas
  • 2 de julio de 2019
    • Tolerancia de IOExceptions al leer el archivo LAST_CHECKPOINT de Delta
  • 18 de junio de 2019
    • Se ha corregido un error que afectaba al uso de funciones de orden superior.
    • Se ha corregido un error que afectaba a las consultas de metadatos Delta.
  • 28 de mayo de 2019
    • Se ha agregado la recuperación a la instalación de la biblioteca con errores.
  • 7 de mayo de 2019
    • Puerto HADOOP-15778 (ABFS: corrección de la limitación del lado cliente para lectura) al conector de Azure Data Lake Storage Gen2
    • Puerto HADOOP-16040 (ABFS: corrección de errores para la configuración de tolerateOobAppends) a Azure Data Lake Storage Gen2
    • Se ha corregido una condición de carrera al cargar un archivo de suma de comprobación de registro Delta.
    • Se ha corregido la lógica de detección de conflictos de Delta para que no se identifique "insertar + sobrescribir" como operación de "anexar" pura.
    • [SPARK-27494][SS] Los valores o claves NULL no funcionan en el origen de Kafka 2
    • [SPARK-27454][SPARK-27454] [ML][SQL] Error en el origen de datos de imagen de Spark al encontrar algunas imágenes no válidas
    • [SPARK-27160][SQL] Corrección de DecimalType al compilar filtros orc
    • [SPARK-27338][CORE] Corrección del interbloqueo entre UnsafeExternalSorter y TaskMemoryManager
  • 26 de marzo de 2019
    • Evite insertar desplazamientos dependientes de la plataforma literalmente en el código generado en toda la fase.
    • Se ha corregido un error que afectaba a determinadas UDF Python.
  • 26 de febrero de 2019
    • [SPARK-26864][SQL] La consulta puede devolver un resultado incorrecto cuando se usa una UDF Python como condición de combinación parcial a la izquierda.
    • Se ha corregido un error que afectaba al servidor JDBC u ODBC.
    • Excluya los archivos ocultos al compilar HadoopRDD.
  • 12 de febrero de 2019
    • Se ha corregido un problema que afectaba a la instalación de bibliotecas egg con clústeres que tienen habilitadas las ACL de tabla.
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.
    • [SPARK-26706][SQL] Corrección de illegalNumericPrecedence para ByteType.
    • [SPARK-26709][SQL] Falta de control correcto de los registros vacíos por parte de OptimizeMetadataOnlyQuery
    • Se ha corregido la inferencia de restricciones en el operador Window.
    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).
  • 30 de enero de 2019
    • Se ha corregido un problema que podía hacer que df.rdd.count() con UDT devolviera una respuesta incorrecta en determinados casos.
    • Se ha corregido un problema que afectaba a la instalación de elementos wheelhouse.
    • [SPARK-26267] Reintento al detectar desplazamientos incorrectos de Kafka
    • Se ha corregido un error que afectaba a varios orígenes de flujo de archivos en una consulta de streaming.
    • Se ha corregido el error StackOverflowError al colocar la sugerencia de combinación de sesgo en la relación almacenada en caché.
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.
  • 8 de enero de 2019
    • Se ha corregido un problema que provocaba el error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352] La reordenación de combinación no debería cambiar el orden de los atributos de salida
    • [SPARK-26366] ReplaceExceptWithFilter deberá considerar NULL como False.
    • Mejora de la estabilidad de Delta Lake
    • Delta Lake está habilitado.
    • Se ha corregido el problema que provocaba un error en el acceso a Azure Data Lake Storage Gen2 cuando se habilitaba el acceso directo a credenciales de Azure AD para Azure Data Lake Storage Gen1.
    • La caché de E/S de Databricks ahora está habilitada para los tipos de instancia de trabajo de la serie Ls para todos los planes de tarifa.

Databricks Runtime 5.0 (no admitida)

Consulte Databricks Runtime 5.0 (no admitida).

  • 18 de junio de 2019
    • Se ha corregido un error que afectaba al uso de funciones de orden superior.
  • 7 de mayo de 2019
    • Se ha corregido una condición de carrera al cargar un archivo de suma de comprobación de registro Delta.
    • Se ha corregido la lógica de detección de conflictos de Delta para que no se identifique "insertar + sobrescribir" como operación de "anexar" pura.
    • [SPARK-27494][SS] Los valores o claves NULL no funcionan en el origen de Kafka 2
    • [SPARK-27454][SPARK-27454] [ML][SQL] Error en el origen de datos de imagen de Spark al encontrar algunas imágenes no válidas
    • [SPARK-27160][SQL] Corrección de DecimalType al compilar filtros orc
      • [SPARK-27338][CORE] Corrección del interbloqueo entre UnsafeExternalSorter y TaskMemoryManager
  • 26 de marzo de 2019
    • Evite insertar desplazamientos dependientes de la plataforma literalmente en el código generado en toda la fase.
    • Se ha corregido un error que afectaba a determinadas UDF Python.
  • 12 de marzo de 2019
    • [SPARK-26864][SQL] La consulta puede devolver un resultado incorrecto cuando se usa una UDF Python como condición de combinación parcial a la izquierda.
  • 26 de febrero de 2019
    • Se ha corregido un error que afectaba al servidor JDBC u ODBC.
    • Excluya los archivos ocultos al compilar HadoopRDD.
  • 12 de febrero de 2019
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.
    • [SPARK-26706][SQL] Corrección de illegalNumericPrecedence para ByteType.
    • [SPARK-26709][SQL] Falta de control correcto de los registros vacíos por parte de OptimizeMetadataOnlyQuery
    • Se ha corregido la inferencia de restricciones en el operador Window.
    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).
  • 30 de enero de 2019
    • Se ha corregido un problema que podía hacer que df.rdd.count() con UDT devolviera una respuesta incorrecta en determinados casos.
    • [SPARK-26267] Reintento al detectar desplazamientos incorrectos de Kafka
    • Se ha corregido un error que afectaba a varios orígenes de flujo de archivos en una consulta de streaming.
    • Se ha corregido el error StackOverflowError al colocar la sugerencia de combinación de sesgo en la relación almacenada en caché.
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.
  • 8 de enero de 2019
    • Se ha corregido un problema que provocaba el error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352] La reordenación de combinación no debería cambiar el orden de los atributos de salida
    • [SPARK-26366] ReplaceExceptWithFilter deberá considerar NULL como False.
    • Mejora de la estabilidad de Delta Lake
    • Delta Lake está habilitado.
    • La caché de E/S de Databricks ahora está habilitada para los tipos de instancia de trabajo de la serie Ls para todos los planes de tarifa.
  • 18 de diciembre de 2018
    • [SPARK-26293] Excepción de conversión al tener UDF de Python en la subconsulta
    • Se ha corregido un problema que afectaba a determinadas consultas mediante Join y Limit.
    • Credenciales eliminadas de nombres RDD en la interfaz de usuario de Spark
  • 6 de diciembre de 2018
    • Se ha corregido un problema que provocaba un resultado de consulta incorrecto al usar orderBy seguido inmediatamente de groupBy con la clave group-by como parte inicial de la clave sort-by.
    • Actualización del conector de Snowflake para Spark de la versión 2.4.9.2-spark_2.4_pre_release a la 2.4.10
    • Omita solo los archivos dañados después de uno o varios reintentos cuando la marca spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles esté habilitada.
    • Se ha corregido un problema que afectaba a determinadas consultas de autocombinación.
    • Se ha corregido un error con el servidor Thrift por el que las sesiones a veces se perdían cuando se cancelaban.
    • [SPARK-26307] Corrección de CTAS al insertar una tabla con particiones mediante SerDe de Hive.
    • [SPARK-26147] Error de las UDF de Python en condición de combinación incluso al usar columnas desde solo un lado de combinación
    • [SPARK-26211] Corrección de InSet para valores binarios, structs y matrices con NULL
    • [SPARK-26181] Método hasMinMaxStats de ColumnStatsMap no correcto
    • Se ha corregido un problema que afectaba a la instalación de Python Wheels en entornos sin acceso a Internet.
  • 20 de noviembre de 2018
    • Se ha corregido un problema que provocaba que un cuaderno no se pudiera utilizar después de cancelar una consulta de streaming.
    • Se ha corregido un problema que afectaba a determinadas consultas que usan funciones de ventana.
    • Se ha corregido un problema que afectaba a un flujo de Delta con varios cambios de esquema.
    • Se ha corregido un problema que afectaba a determinadas consultas de agregación con combinaciones parciales o anticombinaciones a la izquierda.

Databricks Runtime 4.3 (no admitida)

Consulte Databricks Runtime 4.3 (no admitida).

  • 9 de abril de 2019

    • [SPARK-26665][CORE] Se ha corregido un error que podía hacer que BlockTransferService.fetchBlockSync se bloqueara indefinidamente.
    • [SPARK-24669][SQL] Invalidación de tablas en caso de DROP DATABASE CASCADE

  • 12 de marzo de 2019

    • Se ha corregido un error que afectaba a la generación de código.
    • Se ha corregido un error que afectaba a Delta.

  • 26 de febrero de 2019

    • Se ha corregido un error que afectaba al servidor JDBC u ODBC.

  • 12 de febrero de 2019

    • [SPARK-26709][SQL] Falta de control correcto de los registros vacíos por parte de OptimizeMetadataOnlyQuery
    • Exclusión de los archivos ocultos al compilar HadoopRDD
    • Se ha corregido la conversión de filtros de Parquet para el predicado IN cuando su valor está vacío.
    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).

  • 30 de enero de 2019

    • Se ha corregido un problema que podía hacer que df.rdd.count() con UDT devolviera una respuesta incorrecta en determinados casos.
    • Se ha corregido la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico, que provocaba un resultado incorrecto.

  • 8 de enero de 2019

    • Se ha corregido el problema que provocaba el error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenciales eliminadas de nombres RDD en la interfaz de usuario de Spark
    • [SPARK-26352] La reordenación de combinación no debería cambiar el orden de los atributos de salida
    • [SPARK-26366] ReplaceExceptWithFilter deberá considerar NULL como False.
    • Delta Lake está habilitado.
    • La caché de E/S de Databricks ahora está habilitada para los tipos de instancia de trabajo de la serie Ls para todos los planes de tarifa.

  • 18 de diciembre de 2018

    • [SPARK-25002] Avro: revisión del espacio de nombres del registro de salida
    • Se ha corregido un problema que afectaba a determinadas consultas mediante Join y Limit.
    • [SPARK-26307] Corrección de CTAS al insertar una tabla con particiones mediante SerDe de Hive.
    • Omita solo los archivos dañados después de uno o varios reintentos cuando la marca spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles esté habilitada.
    • [SPARK-26181] Método hasMinMaxStats de ColumnStatsMap no correcto
    • Se ha corregido un problema que afectaba a la instalación de Python Wheels en entornos sin acceso a Internet.
    • Se ha corregido un problema de rendimiento en el analizador de consultas.
    • Se ha corregido un problema en PySpark que provocaba que se produjese un error de "conexión rechazada" en las acciones de dataframe.
    • Se ha corregido un problema que afectaba a determinadas consultas de autocombinación.

  • 20 de noviembre de 2018

    • [SPARK-17916][SPARK-25241] Corrección de la cadena vacía que se analizaba como NULL cuando se establecía nullValue
    • [SPARK-25387] Corrección para NPE causada por una mala entrada CSV.
    • Se ha corregido un problema que afectaba a determinadas consultas de agregación con combinaciones parciales o anticombinaciones a la izquierda.

  • 6 de noviembre de 2018

    • [SPARK-25741] Las direcciones URL largas no se representan correctamente en la interfaz de usuario web
    • [SPARK-25714] Corrección del control de valores NULL en la regla BooleanSimplification del optimizador
    • Se ha corregido un problema que afectaba a la limpieza de objetos temporales en el conector de Synapse Analytics.
    • [SPARK-25816] Corrección de la resolución de atributos en extractores anidados.

  • 16 de octubre de 2018

    • Se ha corregido un error que afectaba a la salida de la ejecución de SHOW CREATE TABLE en tablas Delta.
    • Se ha corregido un error que afectaba a la operación Union.

  • 25 de septiembre de 2018

    • [SPARK-25368][SQL] Inferencia de restricción incorrecta devuelve un resultado incorrecto
    • [SPARK-25402][SQL] Control de valores NULL en BooleanSimplification
    • Se ha corregido NotSerializableException en el origen de datos de Avro.

  • 11 de septiembre de 2018

    • [SPARK-25214][SS] Corrección de un problema por el que el origen de Kafka 2 podía devolver registros duplicados cuando failOnDataLoss=false
    • [SPARK-24987][SS] Corrección de la fuga de consumidor de Kafka cuando no hay desplazamientos nuevos para articlePartition
    • La reducción del filtro debería controlar correctamente el valor NULL.
    • Estabilidad mejorada del motor de ejecución

  • 28 de agosto de 2018

    • Se ha corregido un error en el comando Delete de Delta Lake por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.
    • [SPARK-25142] Adición de mensajes de error cuando el trabajo de Python no puede abrir el socket en _load_from_socket

  • 23 de agosto de 2018

    • [SPARK-23935]mapEntry genera org.codehaus.commons.compiler.CompileException.
    • Se ha corregido un problema de asignación que admite valores NULL en el lector de Parquet.
    • [SPARK-25051][SQL] FixNullability no debería detenerse en AnalysisBarrier
    • [SPARK-25081] Corrección de un error por el que ShuffleExternalSorter podía acceder a una página de memoria liberada cuando el desbordamiento no podía asignar memoria
    • Se ha corregido una interacción entre Databricks Delta y Pyspark que podía provocar errores de lectura transitorios.
    • [SPARK-25084]"distribute by" en varias columnas (entre corchetes) puede provocar un problema de codegen
    • [SPARK-25096] Relajación de la nulabilidad si la conversión admite valores NULL por la fuerza
    • Se ha reducido el número predeterminado de subprocesos usados por el comando Optimize de Delta Lake, lo que permite reducir la sobrecarga de memoria y confirma los datos con mayor rapidez.
    • [SPARK-25114] Corrección de RecordBinaryComparator cuando la resta entre dos palabras es divisible por Integer.MAX_VALUE
    • Se ha corregido la eliminación del administrador de secretos cuando el comando es correcto parcialmente.

Databricks Runtime 4.2 (no admitida)

Consulte Databricks Runtime 4.2 (no admitida).

  • 26 de febrero de 2019

    • Se ha corregido un error que afectaba al servidor JDBC u ODBC.

  • 12 de febrero de 2019

    • [SPARK-26709][SQL] Falta de control correcto de los registros vacíos por parte de OptimizeMetadataOnlyQuery
    • Exclusión de los archivos ocultos al compilar HadoopRDD
    • Se ha corregido la conversión de filtros de Parquet para el predicado IN cuando su valor está vacío.
    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).

  • 30 de enero de 2019

    • Se ha corregido un problema que podía hacer que df.rdd.count() con UDT devolviera una respuesta incorrecta en determinados casos.

  • 8 de enero de 2019

    • Se ha corregido un problema que provocaba el error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenciales eliminadas de nombres RDD en la interfaz de usuario de Spark
    • [SPARK-26352] La reordenación de combinación no debería cambiar el orden de los atributos de salida
    • [SPARK-26366] ReplaceExceptWithFilter deberá considerar NULL como False.
    • Delta Lake está habilitado.
    • La caché de E/S de Databricks ahora está habilitada para los tipos de instancia de trabajo de la serie Ls para todos los planes de tarifa.

  • 18 de diciembre de 2018

    • [SPARK-25002] Avro: revisión del espacio de nombres del registro de salida
    • Se ha corregido un problema que afectaba a determinadas consultas mediante Join y Limit.
    • [SPARK-26307] Corrección de CTAS al insertar una tabla con particiones mediante SerDe de Hive.
    • Omita solo los archivos dañados después de uno o varios reintentos cuando la marca spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles esté habilitada.
    • [SPARK-26181] Método hasMinMaxStats de ColumnStatsMap no correcto
    • Se ha corregido un problema que afectaba a la instalación de Python Wheels en entornos sin acceso a Internet.
    • Se ha corregido un problema de rendimiento en el analizador de consultas.
    • Se ha corregido un problema en PySpark que provocaba que se produjese un error de "conexión rechazada" en las acciones de dataframe.
    • Se ha corregido un problema que afectaba a determinadas consultas de autocombinación.

  • 20 de noviembre de 2018

    • [SPARK-17916][SPARK-25241] Corrección de la cadena vacía que se analizaba como NULL cuando se establecía nullValue
    • Se ha corregido un problema que afectaba a determinadas consultas de agregación con combinaciones parciales o anticombinaciones a la izquierda.

  • 6 de noviembre de 2018

    • [SPARK-25741] Las direcciones URL largas no se representan correctamente en la interfaz de usuario web
    • [SPARK-25714] Corrección del control de valores NULL en la regla BooleanSimplification del optimizador

  • 16 de octubre de 2018

    • Se ha corregido un error que afectaba a la salida de la ejecución de SHOW CREATE TABLE en tablas Delta.
    • Se ha corregido un error que afectaba a la operación Union.

  • 25 de septiembre de 2018

    • [SPARK-25368][SQL] Inferencia de restricción incorrecta devuelve un resultado incorrecto
    • [SPARK-25402][SQL] Control de valores NULL en BooleanSimplification
    • Se ha corregido NotSerializableException en el origen de datos de Avro.

  • 11 de septiembre de 2018

    • [SPARK-25214][SS] Corrección de un problema por el que el origen de Kafka 2 podía devolver registros duplicados cuando failOnDataLoss=false
    • [SPARK-24987][SS] Corrección de la fuga de consumidor de Kafka cuando no hay desplazamientos nuevos para articlePartition
    • La reducción del filtro debería controlar correctamente el valor NULL.

  • 28 de agosto de 2018

    • Se ha corregido un error en el comando Delete de Delta Lake por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.

  • 23 de agosto de 2018

    • Corrección de NoClassDefError para la instantánea de Delta
    • [SPARK-23935]mapEntry genera org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] El promedio con decimales seguido de una agregación devuelve un resultado incorrecto Es posible que se devuelvan resultados incorrectos de AVERAGE. La instrucción CAST agregada en el operador Average se omitirá si el resultado de dividir es del mismo tipo al que se convierte.
    • [SPARK-25081] Corrección de un error por el que ShuffleExternalSorter podía acceder a una página de memoria liberada cuando el desbordamiento no podía asignar memoria
    • Se ha corregido una interacción entre Databricks Delta y Pyspark que podía provocar errores de lectura transitorios.
    • [SPARK-25114] Corrección de RecordBinaryComparator cuando la resta entre dos palabras es divisible por Integer.MAX_VALUE
    • [SPARK-25084]"distribute by" en varias columnas (entre corchetes) puede provocar un problema de codegen
    • [SPARK-24934][SQL] Permiso explícito de los tipos admitidos en límites superiores o inferiores para la eliminación de particiones en memoria Cuando se usan tipos de datos complejos en filtros de consulta con datos almacenados en caché, Spark siempre devuelve un conjunto de resultados vacío. La eliminación basada en estadísticas en memoria genera resultados incorrectos, ya que, para los límites superior e inferior de los tipos complejos, se establece NULL. La solución es no usar la eliminación basada en estadísticas en memoria para los tipos complejos.
    • Se ha corregido la eliminación del administrador de secretos cuando el comando es correcto parcialmente.
    • Se ha corregido un problema de asignación que admite valores NULL en el lector de Parquet.

  • 2 de agosto de 2018

    • Adición de la API writeStream.table en Python
    • Se ha corregido un problema que afectaba a los puntos de comprobación de Delta.
    • [SPARK-24867][SQL] Adición de AnalysisBarrier a DataFrameWriter La caché de SQL no se usa cuando se emplea DataFrameWriter para escribir un dataframe con UDF. Se trata de una regresión causada por los cambios hechos en AnalysisBarrier, ya que no todas las reglas del analizador son idempotentes.
    • Se ha corregido un problema que podía hacer que el comando mergeInto generase resultados incorrectos.
    • Estabilidad mejorada en el acceso a Azure Data Lake Storage Gen1
    • [SPARK-24809] La serialización de LongHashedRelation en el ejecutor puede producir un error de datos
    • [SPARK-24878][SQL] Corrección de la función inversa para el tipo de matriz del tipo primitivo que contiene valores NULL

  • 11 de julio de 2018

    • Se ha corregido un error en la ejecución de consultas que provocaba que las agregaciones en columnas decimales con diferentes precisiones devolviera resultados incorrectos en algunos casos.
    • Se ha corregido un error NullPointerException que se producía durante las operaciones de agregación avanzadas, como los conjuntos de agrupación.

Databricks Runtime 4.1 ML (no admitida)

Consulte Databricks Runtime 4.1 ML (no admitida).

  • 31 de julio de 2018
    • Adición de Azure Synapse Analytics a ML Runtime 4.1
    • Se ha corregido un error que podía provocar resultados de consulta incorrectos cuando el nombre de una columna de partición usada en un predicado difería del caso de esa columna en el esquema de la tabla.
    • Se ha corregido un error que afectaba al motor de ejecución de Spark SQL.
    • Se ha corregido un error que afectaba a la generación de código.
    • Se ha corregido un error (java.lang.NoClassDefFoundError) que afectaba a Delta Lake.
    • Se ha mejorado el control de errores en Delta Lake.
    • Se ha corregido un error que provocaba que se recopilaran estadísticas de omisión de datos incorrectas para columnas de cadena de 32 o más caracteres.

Databricks Runtime 4.1 (no admitida)

Consulte Databricks Runtime 4.1 (no admitida).

  • 8 de enero de 2019

    • [SPARK-26366] ReplaceExceptWithFilter deberá considerar NULL como False.
    • Delta Lake está habilitado.

  • 18 de diciembre de 2018

    • [SPARK-25002] Avro: revisión del espacio de nombres del registro de salida
    • Se ha corregido un problema que afectaba a determinadas consultas mediante Join y Limit.
    • [SPARK-26307] Corrección de CTAS al insertar una tabla con particiones mediante SerDe de Hive.
    • Omita solo los archivos dañados después de uno o varios reintentos cuando la marca spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles esté habilitada.
    • Se ha corregido un problema que afectaba a la instalación de Python Wheels en entornos sin acceso a Internet.
    • Se ha corregido un problema en PySpark que provocaba que se produjese un error de "conexión rechazada" en las acciones de dataframe.
    • Se ha corregido un problema que afectaba a determinadas consultas de autocombinación.

  • 20 de noviembre de 2018

    • [SPARK-17916][SPARK-25241] Corrección de la cadena vacía que se analizaba como NULL cuando se establecía nullValue
    • Se ha corregido un problema que afectaba a determinadas consultas de agregación con combinaciones parciales o anticombinaciones a la izquierda.

  • 6 de noviembre de 2018

    • [SPARK-25741] Las direcciones URL largas no se representan correctamente en la interfaz de usuario web
    • [SPARK-25714] Corrección del control de valores NULL en la regla BooleanSimplification del optimizador

  • 16 de octubre de 2018

    • Se ha corregido un error que afectaba a la salida de la ejecución de SHOW CREATE TABLE en tablas Delta.
    • Se ha corregido un error que afectaba a la operación Union.

  • 25 de septiembre de 2018

    • [SPARK-25368][SQL] Inferencia de restricción incorrecta devuelve un resultado incorrecto
    • [SPARK-25402][SQL] Control de valores NULL en BooleanSimplification
    • Se ha corregido NotSerializableException en el origen de datos de Avro.

  • 11 de septiembre de 2018

    • [SPARK-25214][SS] Corrección de un problema por el que el origen de Kafka 2 podía devolver registros duplicados cuando failOnDataLoss=false
    • [SPARK-24987][SS] Corrección de la fuga de consumidor de Kafka cuando no hay desplazamientos nuevos para articlePartition
    • La reducción del filtro debería controlar correctamente el valor NULL.

  • 28 de agosto de 2018

    • Se ha corregido un error en el comando Delete de Delta Lake por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.
    • [SPARK-25084]"distribute by" en varias columnas (entre corchetes) puede provocar un problema de codegen
    • [SPARK-25114] Corrección de RecordBinaryComparator cuando la resta entre dos palabras es divisible por Integer.MAX_VALUE

  • 23 de agosto de 2018

    • Corrección de NoClassDefError para la instantánea de Delta
    • [SPARK-24957][SQL] El promedio con decimales seguido de una agregación devuelve un resultado incorrecto Es posible que se devuelvan resultados incorrectos de AVERAGE. La instrucción CAST agregada en el operador Average se omitirá si el resultado de dividir es del mismo tipo al que se convierte.
    • Se ha corregido un problema de asignación que admite valores NULL en el lector de Parquet.
    • [SPARK-24934][SQL] Permiso explícito de los tipos admitidos en límites superiores o inferiores para la eliminación de particiones en memoria Cuando se usan tipos de datos complejos en filtros de consulta con datos almacenados en caché, Spark siempre devuelve un conjunto de resultados vacío. La eliminación basada en estadísticas en memoria genera resultados incorrectos, ya que, para los límites superior e inferior de los tipos complejos, se establece NULL. La solución es no usar la eliminación basada en estadísticas en memoria para los tipos complejos.
    • [SPARK-25081] Corrección de un error por el que ShuffleExternalSorter podía acceder a una página de memoria liberada cuando el desbordamiento no podía asignar memoria
    • Se ha corregido una interacción entre Databricks Delta y Pyspark que podía provocar errores de lectura transitorios.
    • Se ha corregido la eliminación del administrador de secretos cuando el comando es correcto parcialmente.

  • 2 de agosto de 2018

    • [SPARK-24613][SQL] Imposibilidad de que la caché con UDF coincida con las cachés dependientes posteriores Se encapsula el plan lógico con un elemento AnalysisBarrier para la compilación del plan de ejecución en CacheManager; el objetivo es evitar que el plan se vuelva a analizar. También es una regresión de Spark 2.3.
    • Se ha corregido un problema del conector de Synapse Analytics que afectaba a la conversión de zona horaria para escribir datos DateType.
    • Se ha corregido un problema que afectaba a los puntos de comprobación de Delta.
    • Se ha corregido un problema que podía hacer que el comando mergeInto generase resultados incorrectos.
    • [SPARK-24867][SQL] Adición de AnalysisBarrier a DataFrameWriter La caché de SQL no se usa cuando se emplea DataFrameWriter para escribir un dataframe con UDF. Se trata de una regresión causada por los cambios hechos en AnalysisBarrier, ya que no todas las reglas del analizador son idempotentes.
    • [SPARK-24809] La serialización de LongHashedRelation en el ejecutor puede producir un error de datos

  • 11 de julio de 2018

    • Se ha corregido un error en la ejecución de consultas que provocaba que las agregaciones en columnas decimales con diferentes precisiones devolviera resultados incorrectos en algunos casos.
    • Se ha corregido un error NullPointerException que se producía durante las operaciones de agregación avanzadas, como los conjuntos de agrupación.

  • 28 de junio de 2018

    • Se ha corregido un error que podía provocar resultados de consulta incorrectos cuando el nombre de una columna de partición usada en un predicado difería del caso de esa columna en el esquema de la tabla.

  • 7 de junio de 2018

    • Se ha corregido un error que afectaba al motor de ejecución de Spark SQL.
    • Se ha corregido un error que afectaba a la generación de código.
    • Se ha corregido un error (java.lang.NoClassDefFoundError) que afectaba a Delta Lake.
    • Se ha mejorado el control de errores en Delta Lake.

  • 17 de mayo de 2018

    • Se ha corregido un error que provocaba que se recopilaran estadísticas de omisión de datos incorrectas para columnas de cadena de 32 o más caracteres.

Databricks Runtime 4.0 (no admitida)

Consulte Databricks Runtime 4.0 (no admitida).

  • 6 de noviembre de 2018

    • [SPARK-25714] Corrección del control de valores NULL en la regla BooleanSimplification del optimizador

  • 16 de octubre de 2018

    • Se ha corregido un error que afectaba a la operación Union.

  • 25 de septiembre de 2018

    • [SPARK-25368][SQL] Inferencia de restricción incorrecta devuelve un resultado incorrecto
    • [SPARK-25402][SQL] Control de valores NULL en BooleanSimplification
    • Se ha corregido NotSerializableException en el origen de datos de Avro.

  • 11 de septiembre de 2018

    • La reducción del filtro debería controlar correctamente el valor NULL.

  • 28 de agosto de 2018

    • Se ha corregido un error en el comando Delete de Delta Lake por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.

  • 23 de agosto de 2018

    • Se ha corregido un problema de asignación que admite valores NULL en el lector de Parquet.
    • Se ha corregido la eliminación del administrador de secretos cuando el comando es correcto parcialmente.
    • Se ha corregido una interacción entre Databricks Delta y Pyspark que podía provocar errores de lectura transitorios.
    • [SPARK-25081] Corrección de un error por el que ShuffleExternalSorter podía acceder a una página de memoria liberada cuando el desbordamiento no podía asignar memoria
    • [SPARK-25114] Corrección de RecordBinaryComparator cuando la resta entre dos palabras es divisible por Integer.MAX_VALUE

  • 2 de agosto de 2018

    • [SPARK-24452] Protección frente a un posible desbordamiento en int add o multiple
    • [SPARK-24588] La combinación de streaming debe exigir HashClusteredPartitioning a los elementos secundarios
    • Se ha corregido un problema que podía hacer que el comando mergeInto generase resultados incorrectos.
    • [SPARK-24867][SQL] Adición de AnalysisBarrier a DataFrameWriter La caché de SQL no se usa cuando se emplea DataFrameWriter para escribir un dataframe con UDF. Se trata de una regresión causada por los cambios hechos en AnalysisBarrier, ya que no todas las reglas del analizador son idempotentes.
    • [SPARK-24809] La serialización de LongHashedRelation en el ejecutor puede producir un error de datos

  • 28 de junio de 2018

    • Se ha corregido un error que podía provocar resultados de consulta incorrectos cuando el nombre de una columna de partición usada en un predicado difería del caso de esa columna en el esquema de la tabla.

  • 7 de junio de 2018

    • Se ha corregido un error que afectaba al motor de ejecución de Spark SQL.
    • Se ha mejorado el control de errores en Delta Lake.

  • 17 de mayo de 2018

    • Correcciones de errores para la administración de secretos de Databricks
    • Estabilidad mejorada en la lectura de datos almacenados en Azure Data Lake Store
    • Se ha corregido un error que afectaba al almacenamiento en caché de RDD.
    • Se ha corregido un error que afectaba a Equal con protección frente a valores NULL en Spark SQL.

  • 24 de abril de 2018

    • Se ha actualizado el SDK de Azure Data Lake Store de la versión 2.0.11 a la 2.2.8 para mejorar la estabilidad del acceso a Azure Data Lake Store.
    • Se ha corregido un error que afectaba a la inserción de sobrescrituras en tablas de Hive con particiones cuando spark.databricks.io.hive.fastwriter.enabled era false.
    • Se ha corregido un problema que impedía la serialización de tareas.
    • Mejora de la estabilidad de Delta Lake

  • 14 de marzo de 2018

    • Prevención ante actualizaciones de metadatos innecesarias al escribir en Delta Lake
    • Se ha corregido un problema causado por una condición de carrera que, en raras circunstancias, podía provocar la pérdida de algunos archivos de salida.

Databricks Runtime 3.5 LTS (no admitida)

Consulte Databricks Runtime 3.5 LTS (no admitida).

  • 7 de noviembre de 2019

    • [SPARK-29743][SQL] La muestra debe establecer needCopyResult en true si el valor needCopyResult de su elemento secundario es true

  • 8 de octubre de 2019

    • Cambios en el lado servidor para permitir que el controlador ODBC de Simba Apache Spark se vuelva a conectar y continúe después de un error de conexión durante la captura de resultados (requiere la actualización del controlador de Simba Apache Spark ODBC a la versión 2.6.10).

  • 10 de septiembre de 2019

    • [SPARK-28699][SQL] Deshabilitación del uso de la ordenación radix para ShuffleExchangeExec en el caso de repartición

  • 9 de abril de 2019

    • [SPARK-26665][CORE] Se ha corregido un error que podía hacer que BlockTransferService.fetchBlockSync se bloqueara indefinidamente.

  • 12 de febrero de 2019

    • Se ha corregido un problema que provocaba que el protocolo de red de bajo nivel de Spark se rompiera al enviar mensajes de error de RPC de gran tamaño con cifrado habilitado (cuando spark.network.crypto.enabled se establecía en true).

  • 30 de enero de 2019

    • Se ha corregido un problema que podía hacer que df.rdd.count() con UDT devolviera una respuesta incorrecta en determinados casos.

  • 18 de diciembre de 2018

    • Omita solo los archivos dañados después de uno o varios reintentos cuando la marca spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles esté habilitada.
    • Se ha corregido un problema que afectaba a determinadas consultas de autocombinación.

  • 20 de noviembre de 2018

    • [SPARK-25816] Corrección de la resolución de atributos en extractores anidados

  • 6 de noviembre de 2018

    • [SPARK-25714] Corrección del control de valores NULL en la regla BooleanSimplification del optimizador

  • 16 de octubre de 2018

    • Se ha corregido un error que afectaba a la operación Union.

  • 25 de septiembre de 2018

    • [SPARK-25402][SQL] Control de valores NULL en BooleanSimplification
    • Se ha corregido NotSerializableException en el origen de datos de Avro.

  • 11 de septiembre de 2018

    • La reducción del filtro debería controlar correctamente el valor NULL.

  • 28 de agosto de 2018

    • Se ha corregido un error en el comando Delete de Delta Lake por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.
    • [SPARK-25114] Corrección de RecordBinaryComparator cuando la resta entre dos palabras es divisible por Integer.MAX_VALUE

  • 23 de agosto de 2018

    • [SPARK-24809] La serialización de LongHashedRelation en el ejecutor puede producir un error de datos
    • Se ha corregido un problema de asignación que admite valores NULL en el lector de Parquet.
    • [SPARK-25081] Corrección de un error por el que ShuffleExternalSorter podía acceder a una página de memoria liberada cuando el desbordamiento no podía asignar memoria
    • Se ha corregido una interacción entre Databricks Delta y Pyspark que podía provocar errores de lectura transitorios.

  • 28 de junio de 2018

    • Se ha corregido un error que podía provocar resultados de consulta incorrectos cuando el nombre de una columna de partición usada en un predicado difería del caso de esa columna en el esquema de la tabla.

  • 28 de junio de 2018

    • Se ha corregido un error que podía provocar resultados de consulta incorrectos cuando el nombre de una columna de partición usada en un predicado difería del caso de esa columna en el esquema de la tabla.

  • 7 de junio de 2018

    • Se ha corregido un error que afectaba al motor de ejecución de Spark SQL.
    • Se ha mejorado el control de errores en Delta Lake.

  • 17 de mayo de 2018

    • Estabilidad mejorada en la lectura de datos almacenados en Azure Data Lake Store
    • Se ha corregido un error que afectaba al almacenamiento en caché de RDD.
    • Se ha corregido un error que afectaba a Equal con protección frente a valores NULL en Spark SQL.
    • Se ha corregido un error que afectaba a determinadas agregaciones en las consultas de streaming.

  • 24 de abril de 2018

    • Se ha actualizado el SDK de Azure Data Lake Store de la versión 2.0.11 a la 2.2.8 para mejorar la estabilidad del acceso a Azure Data Lake Store.
    • Se ha corregido un error que afectaba a la inserción de sobrescrituras en tablas de Hive con particiones cuando spark.databricks.io.hive.fastwriter.enabled era false.
    • Se ha corregido un problema que impedía la serialización de tareas.

  • 9 de marzo de 2018

    • Se ha corregido un problema causado por una condición de carrera que, en raras circunstancias, podía provocar la pérdida de algunos archivos de salida.

  • 1 de marzo de 2018

    • Se ha mejorado la eficacia del control de flujos que pueden tardar mucho tiempo en detenerse.
    • Se ha corregido un problema que afectaba a la función de autocompletar de Python.
    • Aplicación de parches de seguridad de Ubuntu
    • Se ha corregido un problema que afectaba a determinadas consultas que usan UDF de Python y funciones de ventana.
    • Se ha corregido un problema que afectaba al uso de UDF en un clúster con control de acceso a tablas habilitado.

  • 29 de enero de 2018

    • Se ha corregido un problema que afectaba a la manipulación de tablas almacenadas en Azure Blob Storage.
    • Se ha corregido la agregación después de dropDuplicates en dataframes vacíos.

Databricks Runtime 3.4 (no admitida)

Consulte Databricks Runtime 3.4 (no admitida).

  • 7 de junio de 2018

    • Se ha corregido un error que afectaba al motor de ejecución de Spark SQL.
    • Se ha mejorado el control de errores en Delta Lake.

  • 17 de mayo de 2018

    • Estabilidad mejorada en la lectura de datos almacenados en Azure Data Lake Store
    • Se ha corregido un error que afectaba al almacenamiento en caché de RDD.
    • Se ha corregido un error que afectaba a Equal con protección frente a valores NULL en Spark SQL.

  • 24 de abril de 2018

    • Se ha corregido un error que afectaba a la inserción de sobrescrituras en tablas de Hive con particiones cuando spark.databricks.io.hive.fastwriter.enabled era false.

  • 9 de marzo de 2018

    • Se ha corregido un problema causado por una condición de carrera que, en raras circunstancias, podía provocar la pérdida de algunos archivos de salida.

  • 13 de diciembre de 2017

    • Se ha corregido un problema que afectaba a las UDF en Scala.
    • Se ha corregido un problema que afectaba al uso del índice de omisión de datos en tablas de origen de datos almacenadas en rutas de acceso que no son DBFS.

  • 7 de diciembre de 2017

    • Mejora de la estabilidad aleatoria

Versiones de Databricks Runtime no admitidas

Para obtener las notas de la versión originales, siga el vínculo que hay debajo del subencabezado.