Databricks Runtime 12.2 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 12.2 LTS, con tecnología de Apache Spark 3.3.2.

Databricks publicó estas imágenes en marzo de 2023.

Nuevas características y mejoras

La evolución del esquema de Delta Lake admite la especificación de columnas de origen en instrucciones de combinación

Ahora puede especificar columnas presentes solo en la tabla de origen en acciones de inserción o actualización para instrucciones de combinación cuando la evolución del esquema está habilitada. En Databricks Runtime 12.1 y en las versiones posteriores, solo se pueden usar las acciones INSERT * o UPDATE SET * para la evolución del esquema con combinación. Consulte Evolución automática del esquema para la combinación de Delta Lake.

Las cargas de trabajo de Structured Streaming se admiten en clústeres con modo de acceso compartido

Ahora puede usar Structured Streaming para interactuar con Unity Catalog en clústeres compartidos. Se aplican algunas limitaciones. Consulte ¿Qué funcionalidad de Structured Streaming admite Unity Catalog?.

Nuevas características para E/S predictivas

La compatibilidad de Photon con el receptor Foreachbatch ya está disponible. Las cargas de trabajo que se transmiten desde un origen y se combinan en tablas delta o que escriben en varios receptores ahora pueden beneficiarse del receptor Photonized Foreachbatch.

Compatibilidad con alias de columna lateral implícita

Azure Databricks ahora admite el alias de columna lateral implícito de forma predeterminada. Ahora puede reutilizar una expresión especificada anteriormente en la misma lista SELECT. Por ejemplo, dado SELECT 1 AS a, a + 1 AS b, la a en a + 1 se puede resolver como el elemento 1 AS a anteriormente definido. Consulte Resolución de nombres para obtener más detalles sobre el orden de resolución. Para desactivar esta característica, puede establecer spark.sql.lateralColumnAlias.enableImplicitResolution en false.

Nueva característica forEachBatch

Photon ahora se admite al usar foreachBatch para escribir en un receptor de datos.

Opciones de conexión estandarizadas para la federación de consultas

Ahora puede usar un conjunto unificado de opciones (host, puerto, base de datos, usuario, contraseña) para conectarse a orígenes de datos admitidos en federación de consultas. Port es opcional y usa el número de puerto predeterminado para cada origen de datos si no se proporciona.

Biblioteca de funciones SQL extendidas para la administración de matrices

Ahora puede quitar todos los elementos NULL de una matriz mediante array_compact. Para anexar elementos a una matriz, use array_append.

Nueva función de máscara para anonimizar cadenas

Invoque la función de máscara para anonimizar valores de cadena confidenciales.

Las condiciones de error comunes ahora devuelven valores de SQLSTATE

La mayoría de las condiciones de error de Databricks Runtime ahora incluyen valores de SQLSTATE documentados, que se pueden usar para pruebas de errores de forma de cumpla con el estándar de SQL.

Invocación de funciones generadoras en la cláusula FROM

Ahora puede invocar funciones de generador con valores de tabla, como explode en la cláusula regular FROM de una consulta. Esto alinea la invocación de función del generador con otras funciones de tabla integradas y definidas por el usuario.

La compatibilidad con búferes de protocolo está disponible con carácter general

Puede usar las funciones from_protobuf y to_protobuf para intercambiar datos entre tipos binarios y struct. Consulte Búferes de protocolo de lectura y escritura.

Correcciones de errores

  • Coherencia mejorada para el comportamiento de confirmación Delta para transacciones vacías relacionadas con los comandos update, delete y merge. En el nivel de aislamiento WriteSerializable, los comandos que no dan lugar a cambios ahora crean una confirmación vacía. En un nivel de aislamiento Serializable, estas transacciones vacías ahora no crean una confirmación.

Cambios de comportamiento

Cambios de comportamiento con la nueva característica de alias de columna lateral

La nueva característica de alias de columna lateral presenta cambios de comportamiento para los siguientes casos durante la resolución de nombres:

  • Ahora, el alias de columna lateral tiene prioridad sobre las referencias correlacionadas con el mismo nombre. Por ejemplo, para esta consulta SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), el elemento c1 en el c1 AS c2 interno, se resolvió en la referencia correlacionada t.c1, pero ahora cambia al alias 1 AS c1 de la columna lateral. La consulta ahora devuelve NULL.
  • Ahora, el alias de columna lateral tiene prioridad sobre los parámetros de función con el mismo nombre. Por ejemplo, para la función, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, el elemento x del cuerpo de la función se resolvió en el parámetro de función x, pero cambia al alias x + 1 de columna lateral en el cuerpo de la función. La consulta, SELECT * FROM func(1) ahora devuelve 2, 2.
  • Para desactivar la característica de alias de columna lateral, establezcaspark.sql.lateralColumnAlias.enableImplicitResolution en false. Para obtener más información, consulte Resolución de nombres.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock de 3.8.2 a 3.9.0
    • joblib de 1.1.0 a 1.1.1
    • platformdirs de 2.6.0 a 2.6.2
    • whatthepatch de 1.0.3 a 1.0.4
  • Bibliotecas de R actualizadas:
    • clase de 7.3-20 a 7.3-21
    • codetools de 0.2-18 a 0.2-19
    • MASS de 7.3-58 a 7.3-58.2
    • nlme de 3.1-160 a 3.1-162
    • Rserve de 1.8-11 a 1.8-12
    • SparkR de 3.3.1 a 3.3.2

Cambios de comportamiento

  • Ahora, los usuarios deben tener los privilegios SELECT y MODIFY en cualquier archivo al crear un esquema con una ubicación definida.

Apache Spark

Databricks Runtime 12.2 incluye Apache Spark 3.3.2. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 12.1 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-42416] [SC-123205][SC-122851][SQL] Las operaciones Dateset no deben resolver de nuevo el plan lógico analizado.
  • [SPARK-41848] Revertir "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Corrección de tareas con TaskResourceProfile"
  • [SPARK-42162][SC-122711][ES-556261] Introducir la expresión MultiCommutativeOp como optimización de memoria para grandes árboles canónicos de expresiones conmutativas
  • [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Corregir la configuración de profundidad recursiva para las funciones Protobuf
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implementar DataFrameWriterV2
  • [SPARK-41716] [SC-122545][CONNECT] Cambiar el nombre de _catalog_to_pandas a _execute_and_fetch en el catálogo
  • [SPARK-41490] [SC-121774][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implementar Catalog.cacheTable, isCached y uncache
  • [SPARK-42191] [SC-121990][SQL] Compatibilidad con udf 'luhn_check'
  • [SPARK-42253] [SC-121976][PYTHON] Agregar prueba para detectar la clase de error duplicada
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON] Agregar UserDefinedType en protos
  • [SPARK-42231] [SC-121841][SQL] Convertir MISSING_STATIC_PARTITION_COLUMN en internalError
  • [SPARK-42136] [SC-122554] Refactorizar el cálculo de particiones de salida de BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][SQL] Integrar _LEGACY_ERROR_TEMP_1003 en FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PYTHON] Migrar el TypeError desde pyspark/sql/dataframe.py a PySparkTypeError
  • [SPARK-35240] Revertir "[SC-118242][SS] Usar CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1176 (y 1177)
  • [SPARK-42232] [SC-122267][SQL] Cambiar el nombre de la clase de error: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL] Reescribir agregados distintos después de la combinación de subconsultas
  • [SPARK-42306] [SC-122539][SQL] Integrar _LEGACY_ERROR_TEMP_1317 en UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL] Cambiar el nombre de la clase de error: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][CORE] Omitir IOException en handleBlockRemovalFailure si SparkContext está detenido
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] Cambiar el nombre de las clases de error
  • [SPARK-42320] [SC-122478][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient ahora admite RetryPolicies
  • [SPARK-38728] [SC-116723][SQL] Probar la clase de error: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Ejemplos independientes en PySpark
  • [SPARK-39347] [SC-122457][SS] Corrección de error del cálculo del período de tiempo cuando el evento es < 0
  • [SPARK-42336] [SC-122458][CORE] Usar getOrElse() en lugar de contains() en ResourceAllocator
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON] Pandas UDF en Spark Connect
  • [SPARK-42217] [SC-122263][SQL] Compatibilidad con el alias de columna lateral implícito en consultas con Window
  • [SPARK-35240] [SC-118242][SS] Usar CheckpointFileManager para la manipulación de archivos de punto de control
  • [SPARK-42294] [SC-122337][SQL] Incluir valores predeterminados de columna en la salida DESCRIBE para tablas V2
  • [SPARK-41979] Revertir “Revertir “[12.x][SC-121190][SQL] Agregar puntos faltantes para mensajes de error en clases de error.””
  • [SPARK-42286] [SC-122336][SQL] Reservar la ruta de acceso de código codegen anterior para expr complejo con CAST
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON] Evitar el uso de listas integradas, dict en escritura estática
  • [SPARK-41985] [SC-122172][SQL] Centralizar más reglas de resolución de columnas
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT] Aceptar el tipo de valor devuelto en cadenas DDL para UDF escalares de Python en Spark Connect
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT] Reutilizar la inicialización de JVM y separar los grupos de configuración independientes para establecer en modo local remoto
  • [SPARK-41575] [SC-120118][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Revertir "[SC-122172][SQL] Centralizar más reglas de resolución de columnas"
  • [SPARK-42123] [SC-122234][SC-121453][SQL] Incluir valores predeterminados de columna en la salida DESCRIBE y SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172][SQL] Centralizar más reglas de resolución de columnas
  • [SPARK-42284] [SC-122233][CONNECT] Asegúrese de que el ensamblado del servidor de conexión se compila antes de ejecutar pruebas de cliente: SBT
  • [SPARK-42239] [SC-121790][SQL] Integrar MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [ SC-122170][SQL] DS V2 pushdown admite compatibilidad con la compilación de dialectos JDBC SortOrder por sí mismos
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics debe encargarse de UDAF de Python
  • [SPARK-41979] Revertir "[12.x][SC-121190][SQL] Agregar puntos que faltan para los mensajes de error en las clases de error".
  • [SPARK-42224] [12.x][SC-121708][CONNECT] Migrar TypeError al marco de error para las funciones de Spark Connect
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Migrar los errores de Spark Connect al marco de errores de PySpark
  • [SPARK-42119] [SC-121913][SC-121342][SQL] Agregar funciones integradas con valores de tabla insertadas y inline_outer
  • [SPARK-41489] [121713.x][SC-119273][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Introducir PySparkValueError y PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL] Mejorar la validación de cambios del plan
  • [SPARK-42225] [12.x][SC-121714][CONNECT] Agregar SparkConnectIllegalArgumentException para manipular el error de Spark Connect con precisión
  • [SPARK-42044] [12.x][SC-121280][SQL] Corregir un mensaje de error incorrecto para MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS] Permitir el parámetro de columnas al crear DataFrame con Series
  • [SPARK-42078] [12.x][SC-120761][PYTHON] Migrar errores producidos por JVM en PySparkException
  • [SPARK-42133] [12.x][SC-121250] Agregar métodos básicos de la API de conjunto de datos al cliente de SparkConnect Scala
  • [SPARK-41979] [12.x][SC-121190][SQL] Agregar puntos que faltan en los mensajes de error en las clases de error
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] UDF de Python escalar en línea en Spark Connect
  • [SPARK-42051] [SC-121994][SQL] Compatibilidad de Codegen con HiveGenericUDF
  • [SPARK-42257] [SC-121948][CORE] Eliminar el clasificador externo de variables sin usar
  • [SPARK-41735] [SC-121771][SQL] Usar MINIMAL en lugar de STANDARD para SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL] Refinar NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL] Mejorar el mensaje de error para PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE] Migrar SparkCoreErrors a clases de error
  • [SPARK-42163] [SC-121839][SQL] Corregir la eliminación de esquemas para el índice de matriz no plegable o la clave de mapa
  • [SPARK-40711] [SC-119990][SQL] Agregar métricas de tamaño de desbordamiento para la ventana
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Hacer que createDataFrame admita la coerción AtomicType -> StringType
  • [SPARK-42202] [SC-121837][Connect][Test] Mejorar la lógica de detención del servidor de prueba E2E
  • [SPARK-41167] [SC-117425][SQL] Mejorar del rendimiento multi like mediante la creación de un predicado de árbol de expresión equilibrada
  • [SPARK-41931] [SC-121618][SQL] Mejorar mensaje de error para la definición de tipo complejo incompleta
  • [SPARK-36124] [SC-121339][SC-110446][SQL] Admitir subconsultas con correlación a través de UNION
  • [SPARK-42090] [SC-121290][3.3] Introducir el recuento de reintentos sasl en RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR debe proporcionar un programador FAIR
  • [SPARK-41572] [SC-120772][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL] Cambiar de nombre y mejorar el mensaje de error de error para NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL] Mejorar el mensaje de error para INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573] Asignar SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Reintentos de solicitud SASL
  • [SPARK-38591] [SC-121018][SQL] Agregar flatMapSortedGroups y cogroupSorted
  • [SPARK-41975] [SC-120767][SQL] Mejorar el mensaje de error para INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Agregar opciones que faltan para las funciones Protobuf
  • [SPARK-41984] [SC-120769][SQL] Cambiar de nombre y mejorar el mensaje de error de error para RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL] Corregir NPE para las clases de error: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON] Corregir un nombre de columna incorrecto en el doctest de withField
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON] Agregar array_append a Connect
  • [SPARK-41960] [SC-120773][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL] Corregir getPartitionFiltersAndDataFilters() para maniuplar filtros sin atributos a los que se haga referencia
  • [SPARK-42096] [SC-121012][CONNECT] Un poco de limpieza de código para el módulo connect
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Corregir count(*) y count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL] Modo ANSI SQL: Round/Bround debería devolver un error en caso de desbordamiento de enteros
  • [SPARK-42043] [SC-120968][CONNECT] Resultado del cliente de Scala con pruebas E2E
  • [SPARK-41884] [SC-121022][CONNECT] Admitir la tupla naïve como una fila anidada
  • [SPARK-42112] [SC-121011][SQL][SS] Agregar comprobación null antes de dataWriter de la función de cierre de ContinuousWriteRDD#compute
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON] Literal debe mostrar TypeError para DataType no admitido
  • [SPARK-42108] [SC-120898][SQL] Hacer que Analyzer transforme Count(*) en Count(1)
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON] Compatibilidad con SQL parametrizado por sql()
  • [SPARK-40599] [SC-120930][SQL] Relajar el tipo de regla multiTransform para permitir que las alternativas sean cualquier tipo de Seq
  • [SPARK-41574] [SC-120771][SQL] Actualizar _LEGACY_ERROR_TEMP_2009 como INTERNAL_ERROR
  • [SPARK-41579] [SC-120770][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][SQL] Convertir INCORRECT_END_OFFSET en INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE] Cambiar el nombre de MedianHeap a PercentileMap y admitir percentil
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Corregir la representación de cadena para la clase Column
  • [SPARK-42084] [SC-120775][SQL] Evitar la pérdida de la restricción de solo acceso calificado
  • [SPARK-41973] [SC-120765][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL] SPJ: Eliminar opción en KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][CONNECT][PYTHON] Cambiar el nombre de los mensajes proto para toDF y withColumnsRenamed
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON] Corregir problemas de nombre de variable en funciones lambda anidadas
  • [SPARK-41982] [SC-120604][SQL] Las particiones de tipo cadena no deben tratarse como tipos numéricos
  • [SPARK-40599] [SC-120620][SQL] Agregar métodos multiTransform a TreeNode para generar alternativas
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON] Hacer que from_arrow_schema admita los tipos anidados
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] Corregir cómo se manipula la excepción en los informes de errores
  • [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] Introducir pyspark.errors y clases de error para PySpark
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal debe admitir 1-dim ndarray
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON] Hacer que createDataFrame admita array.array
  • [SPARK-41896] [SC-120506][SQL] El filtrado por índice de fila devuelve resultados vacíos
  • [SPARK-41162][SC-119742][SQL] Corregir anti-y semicombinación para la autocombinación con agregaciones
  • [SPARK-41961] [SC-120501][SQL] Admitir funciones con valores de tabla con LATERAL
  • [SPARK-41752] [SC-120550][SQL][UI] Agrupar ejecuciones anidadas en la ejecución raíz
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Literal debe admitir tipos de datos Numpy
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON] Truncar marcas de tiempo en nanosegundos
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implementar DataFrameReader.csv
  • [SPARK-41990] [SC-120532][SQL] Usar FieldReference.column en lugar de apply en la conversión de filtros de V1 a V2
  • [SPARK-39217] [SC-120446][SQL] Hace que el DPP admita que el lado de eliminación tenga Unión
  • [SPARK-42076] [SC-120551][CONNECT][PYTHON] Factor de conversión de datos arrow -> rows a conversion.py
  • [SPARK-42074] [SC-120540][SQL] Habilitar KryoSerializer en TPCDSQueryBenchmark para aplicar el registro de clases SQL
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implementar DataFrameReader.orc
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON] Corregir DataFrame.unionByName, agregar allow_missing_columns
  • [SPARK-38651] [SC-120514][SQL] Agregar spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert debe aceptar ExpressionProxy como secundario
  • [SPARK-41232] [SC-120073][SQL][PYTHON] Agregar la función array_append
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader debe admitir una lista de rutas de acceso
  • [SPARK-42071] [SC-120533][CORE] Registrar scala.math.Ordering$Reverse en KyroSerializer
  • [SPARK-41986] [SC-120429][SQL] Introducir orden aleatorio en SinglePartition
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON] Habilitar pruebas relacionadas con la columna anidada
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader debe admitir el esquema StructType
  • [SPARK-42031] [SC-120389][CORE][SQL] Limpiar los métodos remove que no tienen invalidación
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Hacer que createDataFrame(rows/lists/tuples/dicts) admita los tipos anidados
  • [SPARK-41437] [SC-117601][SQL][ALL TESTS] No optimizar la consulta de entrada dos veces para la reserva de escritura v1
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON] Agregar el alias groupby que falta
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON] Habilitar doctests para funciones de ventana
  • [SPARK-41914] [SC-120094][SQL] FileFormatWriter materializa el plan de AQE antes de acceder a outputOrdering
  • [SPARK-41805] [SC-119992][SQL] Reutilizar expresiones en WindowSpecDefinition
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range para tomar float como argumentos
  • [SPARK-42029] [SC-120336][CONNECT] Agregar reglas de sombreado de Guava a connect-common para evitar errores de inicio
  • [SPARK-41989] [SC-120334][PYTHON] Evitar interrumpir la configuración del registro de pyspark.pandas
  • [SPARK-42003] [SC-120331][SQL] Reducir el código duplicado en ResolveGroupByAll
  • [SPARK-41635] [SC-120313][SQL] Corregir el informe de error de GROUP BY ALL
  • [SPARK-41047] [SC-120291][SQL] Mejorar los documentos para la ronda
  • [SPARK-41822] [SC-120122][CONNECT] Configurar la conexión gRPC para el cliente Scala/JVM
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON] Hacer que DataFrame.collect admita tipos anidados
  • [SPARK-41887] [SC-120268][CONNECT][PYTHON] Hacer que DataFrame.hint acepte el parámetro de tipo de lista
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON] Agregar la lista de funciones de E/S no admitidas
  • [SPARK-41595] [SC-120097][SQL] Compatibilidad con la función del generador explode/explode_outer en la cláusula FROM
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON] Habilitar el doctest para DataFrame.hint
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] La salida del doctest DataFrame.intersect tiene un orden diferente
  • [SPARK-41442] [SC-117795][SQL][ALL TESTS] Solo actualizar el valor de SQLMetric si se combina con una métrica válida
  • [SPARK-41944] [SC-120046][CONNECT] Pasar configuraciones cuando el modo remoto local esté activado
  • [SPARK-41708] [SC-119838][SQL] Extraer la información de v1write a WriteFiles
  • [SPARK-41780] [SC-120000][SQL] Se debe mostrar INVALID_PARAMETER_VALUE.PATTERN cuando los parámetros regexp no sean válidos
  • [SPARK-41889] [SC-119975][SQL] Asociar la causa principal a invalidPatternError y refactorizar las clases de error INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL] Hacer clases de caso de AvroScanBuilder y JsonScanBuilder
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: conectar los datos de columna perdidos del cliente con pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Codificadores independientes
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implementar RepartitionByExpression
  • [SPARK-41581] [SC-119997][SQL] Actualizar _LEGACY_ERROR_TEMP_1230 como INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON] Agregar la lista no admitida para functions
  • [SPARK-41933] [SC-119980][CONNECT] Proporcionar el modo local que inicie automáticamente el servidor
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' debe respetar el esquema DDL proporcionado por el usuario
  • [SPARK-41936] [SC-119978][CONNECT][PYTHON] Hacer que withMetadata reutilice el proto de withColumns
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON] Verificación de tipo de paridad de los parámetros Window.rowsBetween, Window.rangeBetween con PySpark
  • [SPARK-41939] [SC-119977][CONNECT][PYTHON] Agregar la lista no admitida para las funciones catalog
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON] Hacer que StructType admita metadatos e implemente DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON] Agregar la lista de funciones no admitidas para session
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON] Agregar casos de prueba para Dataset.to()
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ignorar el doctest para explicar la conexión
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON] Hacer que la función from_json acepte esquema no literal
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON] Agregar la lista no admitida para GroupedData
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON] Agregar la función array_compact
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON] Hacer que GroupBy acepte la lista de columna
  • [SPARK-41925] [SC-119905][SQL] Habilitar spark.sql.orc.enableNestedColumnVectorizedReader de forma predeterminada
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON] Hacer que DataFrame.select acepte la lista de columna
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON] Hacer que DataFrame.collect descarte la información de zona horaria
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON] Agregar DataFrame.writeTo a la lista no admitida
  • [SPARK-41912] [SC-119837][SQL] Subconsulta no debe validar CTE
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Hacer que createDataFrame admita dataframe vacío
  • [SPARK-41905] [SC-119848][CONNECT] Compatibilidad con el nombre como cadenas en el segmento
  • [SPARK-41869] [SC-119845][CONNECT] Rechazar una sola cadena en dropDuplicates
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON] Hacer que DataFrame.sample acepte los mismos parámetros que PySpark
  • [SPARK-41849] [SC-119835][CONNECT] Implementar DataFrameReader.text
  • [SPARK-41861] [SC-119834][SQL] Hacer que build() de ScanBuilders v2 devuelva un análisis de tipo de valor devuelto
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON] Habilitar doctests relacionados con DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Hacer que createDataFrame manipule None/NaN correctamente
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Hacer queDataFrame.collect manipule None/NaN/Array/Binary correctamente
  • [SPARK-39318] [SC-119713][SQL] Quitar los archivos de oro de tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Agregar nuevos tipos de columna de metadatos de origen de archivo
  • [SPARK-41790] [SC-119729][SQL] Establecer correctamente el formato del lector y el escritor de TRANSFORM
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON] Agregar el parámetro de ordenación que falta en Sort y sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON] Corregir de pruebas de doctest para DataFrame.describe
  • [SPARK-41871] [ SC-119714][CONNECT] El parámetro de sugerencia DataFrame puede ser str, float o int
  • [SPARK-41720] [SC-119076][SQL] Cambiar el nombre de UnresolvedFunc a UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL] Corregir el error de corrección relacionado con los valores DEFAULT en el lector Orc
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Reutilizar INVALID_TYPED_LITERAL en lugar de _LEGACY_ERROR_TEMP_0022

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 12.2.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 criptografía 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy 1.21.5 empaquetado 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
Solicitudes 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six (seis) 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 11-11-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 clase 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 elementos gráficos 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1