Share via

Databricks Runtime 14.0 (sin soporte técnico)

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 14.0, con tecnología de Apache Spark 3.5.0.

Databricks publicó estas imágenes en septiembre de 2023.

Nuevas características y mejoras

La E/S predictiva para las actualizaciones está en disponibilidad general

La E/S predictiva para las actualizaciones ahora está disponible con carácter general. Consulte ¿Qué es la E/S predictiva?.

Los vectores de eliminación son de disponibilidad general

Los vectores de eliminación ahora están disponibles con carácter general. Consulte ¿Qué son los vectores de eliminación?.

Spark 3.5.0 tiene disponibilidad general

Apache Spark 3.5.0 ya está disponible con carácter general. Consulte Versión 3.5.0 de Spark.

Versión preliminar pública para funciones de tabla definidas por el usuario para Python

Las funciones de tabla definidas por el usuario (UDF) permiten registrar funciones que devuelven tablas en lugar de valores escalares. Consulte ¿Qué son las funciones de tabla definidas por el usuario de Python?.

Versión preliminar pública para la simultaneidad de nivel de fila

La simultaneidad de nivel de fila reduce los conflictos entre las operaciones de escritura simultáneas mediante la detección de cambios en el nivel de fila y la resolución automática de cambios en escrituras simultáneas que actualizan o eliminan filas diferentes en el mismo archivo de datos. Vea Conflictos de escritura con simultaneidad de nivel de fila.

El directorio de trabajo actual predeterminado ha cambiado

El directorio de trabajo actual (CWD) predeterminado para el código ejecutado localmente es ahora el directorio que contiene el cuaderno o el script que se está ejecutando. Esto incluye código como %sh y código de Python o R que no usan Spark. Vea ¿Cuál es el directorio de trabajo actual predeterminado?.

Problema conocido con sparklyr

La versión instalada del paquete de sparklyr (versión 1.8.1) no es compatible con Databricks Runtime 14.0. Para usar sparklyr, instale versión 1.8.3 o posterior

Introducción a Spark Connect en la arquitectura de clúster compartido

Con Databricks Runtime 14.0 y versiones posteriores, los clústeres compartidos ahora usan Spark Connect con el controlador de Spark desde el REPL de Python de forma predeterminada. Las API internas de Spark ya no son accesibles desde el código de usuario.

Spark Connect ahora interactúa con el controlador de Spark desde REPL, en lugar de con la integración heredada de REPL.

Enumeración de la actualización de la API de versiones de Spark disponibles

Habilite Photon estableciendo runtime_engine = PHOTONy habilite aarch64 eligiendo un tipo de instancia de graviton. Azure Databricks establece la versión correcta de Databricks Runtime. Anteriormente, la API de versión de Spark devolvía entornos de ejecución específicos de la implementación para cada versión. Consulte GET /api/2.0/clusters/spark-versions en el documento de referencia de la API de REST.

Últimos cambios

En Databricks Runtime 14.0 y versiones posteriores, los clústeres con modo de acceso compartido usan Spark Connect para la comunicación cliente-servidor. Esto incluye los siguientes cambios.

Para obtener más información sobre las limitaciones del modo de acceso compartido, consulte Limitaciones del modo de acceso de proceso para el de Unity Catalog.

Python en clústeres con modo de acceso compartido

  • sqlContext no está disponible. Azure Databricks recomienda usar la variable spark para la instancia SparkSession.
  • El contexto de Spark (sc) ya no está disponible en Notebooks o cuando se usa Databricks Connect en un clúster con el modo de acceso compartido. Las siguientes funciones sc ya no están disponibles:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • La característica de información sobre conjuntos de datos ya no es compatible.
  • Ya no hay ninguna dependencia de la máquina virtual Java al consultar Apache Spark y, como consecuencia, las API internas relacionadas con la máquina virtual Java, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap y _jcols, ya no son compatibles.
  • Al acceder a los valores de configuración mediante spark.conf solo se puede acceder a los valores de configuración de tiempo de ejecución dinámico.
  • Todavía no se admiten comandos de análisis de Delta Live Tables en clústeres compartidos.

Delta en clústeres con modo de acceso compartido

  • En Python, ya no hay ninguna dependencia de máquina virtual Java al consultar Apache Spark. Las API internas relacionadas con la JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuildery DeltaOptimizeBuilder._jbuilder, ya no son compatibles.

SQL en clústeres con modo de acceso compartido

  • ya no se admiten comandos DBCACHE ni DBUNCACHE.
  • Casos de uso poco frecuentes como cache table db as show databases ya no se admiten.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • asttokens de 2.2.1 a 2.0.5
    • attrs de 21.4.0 a 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certifi de 2022.9.14 a 2022.12.7
    • criptografía de 37.0.1 a 39.0.1
    • debugpy de 1.6.0 a 1.6.7
    • docstring-to-Markdown de 0.12 a 0.11
    • ejecución de 1.2.0 a 0.8.3
    • facets-overview de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • idna de 3.3 a 3.4
    • ipykernel de 6.17.1 a 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 a 6.5.4
    • nbformat de 5.5.0 a 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • cuaderno de 6.4.12 a 6.5.2
    • numpy de 1.21.5 a 1.23.5
    • empaquetado de 21.3 a 22.0
    • pandas de 1.4.4 a 1.5.3
    • pathspec de 0.9.0 a 0.10.3
    • patsy de 0.5.2 a 0.5.3
    • Almohada de 9.2.0 a 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 a 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • setuptools de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 a 2.3.2.post1
    • stack-data de 0.6.2 a 0.2.0
    • statsmodels de 0.13.2 a 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • traitlets de 5.1.1 a 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • rueda de 0.37.1 a 0.38.4
  • Bibliotecas de R actualizadas:
    • flecha de 10.0.1 a 12.0.1
    • base de 4.2.2 a 4.3.1
    • blob de 1.2.3 a 1.2.4
    • escoba de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • caret de 6.0-93 a 6.0-94
    • chron de 2.3-59 a 2.3-61
    • clase de 7.3-21 a 7.3-22
    • cli de 3.6.0 a 3.6.1
    • reloj de 0.6.1 a 0.7.0
    • commonmark de 1.8.1 a 1.9.0
    • compilador de 4.2.2 a 4.3.1
    • cpp11 de 0.4.3 a 0.4.4
    • curl de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjuntos de datos de 4.2.2 a 4.3.1
    • dbplyr de 2.3.0 a 2.3.3
    • resumen de 0.6.31 a 0.6.33
    • fuera de servicio de 0.4.2 a 0.4.3
    • dplyr de 1.1.0 a 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • evaluar de 0,20 a 0,21
    • fastmap de 1.1.0 a 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • future de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gárgle de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • gh de 1.3.1 a 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • googledrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • grDevices de 4.2.2 a 4.3.1
    • cuadrícula de 4.2.2 a 4.3.1
    • gtable de 0.3.1 a 0.3.3
    • hardhat de 1.2.0 a 1.3.0
    • haven de 2.5.1 a 2.5.3
    • hms: de 1.1.2 a 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 a 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • httr de 1.4.4 a 1.4.6
    • ipred de 0.9-13 a 0.9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2.23 a 20 a 2.23-21
    • knitr de 1.42 a 1.43
    • posterior de 1.3.0 a 1.3.1
    • lattice de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubridate de 1.9.1 a 1.9.2
    • markdown de 1.5 a 1.7
    • MASS de 7.3-58.2 a 7.3-60
    • Matrix de 1.5-1 a 1.5-4.1
    • métodos de 4.2.2 a 4.3.1
    • mgcv de 1,8-41 a 1,8-42
    • modelr de 0.1.10 a 0.1.11
    • nnet de 7.3-18 a 7.3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • paralelamente de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild de 1.4.0 a 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • pROC de 1.18.0 a 1.18.4
    • processx de 3.8.0 a 3.8.2
    • prodlim de 2019.11.13 a 2023.03.31
    • profvis de 0.3.7 a 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • readr de 2.1.3 a 2.1.4
    • readxl: de 1.4.2 a 1.4.3
    • recetas de 1.0.4 a 1.0.6
    • rlang de 1.0.6 a 1.1.1
    • rmarkdown de 2.20 a 2.23
    • Rserve de 1.8-12 a 1.8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0.14 a 0.15.0
    • sass de 0.4.5 a 0.4.6
    • brillante de 1.7.4 a 1.7.4.1
    • sparklyr: de 1.7.9 a 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • estadísticas de 4.2.2 a 4.3.1
    • stats4 de 4.2.2 a 4.3.1
    • supervivencia de 3,5-3 a 3,5-5
    • sys de 3.4.1 a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • testthat de 3.1.6 a 3.1.10
    • tibble de 3.1.8 a 3.2.1
    • tidyverse de 1.3.2 a 2.0.0
    • tinytex de 0,44 a 0,45
    • herramientas de 4.2.2 a 4.3.1
    • tzdb de 0.3.0 a 0.4.0
    • usethis de 2.1.6 a 2.2.2
    • utils de 4.2.2 a 4.3.1
    • vctrs de 0.5.2 a 0.6.3
    • viridisLite: de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 a 2.3.0
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink.tink de 1.7.0 a 1.9.0
    • commons-codec.commons-codec de 1.15 a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.aircompressor de 0.21 a 0.24
    • io.dropwizard.metrics.metrics-core de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-graphite de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1.21 a 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9 sombreado de 4.22 a 4.23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 a 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-client de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-common de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-server de 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2.36 a 2.40
    • org.javassist.javassist de 3.25.0-GA a 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 a 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1.33 a 2.0

Apache Spark

Databricks Runtime 14.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 13.3 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • Ahora se puede establecer la variable de entorno de clúster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar el conector Spark-snowflake v2.12.0.
  • [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Compatibilidad con funciones protobuf de Python para Spark Connect
  • [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Quitar función uuid/random/chr de PySpark
  • [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Corregir valores de metadatos para Artifacts
  • [SPARK-44822] [DBRRM-464][PYTHON][SQL] Crear UDF de Python de forma predeterminada no determinista
  • [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Refactorización de Flecha de Python UDTF
  • [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Agregar metadatos de cliente que faltan a las llamadas
  • [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: el objeto 'NoneType' no tiene ningún atributo 'message'
  • [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager para realizar un seguimiento de todas las ejecuciones
  • [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Deshabilitar la optimización de flechas de forma predeterminada para UDF de Python
  • [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Ejecute ExecuteGrpcResponseSender en ejecución repetible en un nuevo subproceso para corregir el control de flujo.
  • [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Hacer que todos los iteradores CloseableIterators
  • [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] Reintentar ExecutePlan en caso de que la solicitud inicial no llegara al servidor en el cliente de Python
  • [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] Reintentar ExecutePlan en caso de que la solicitud inicial no llegue al servidor
  • [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Los errores que se han movido a sq/api también deben usar AnalysisException
  • [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Agregar objeto Encoders
  • [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Seguimiento de la terminación de consultas de streaming cuando se agota el tiempo de espera de la sesión de cliente para Spark Connect
  • [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute en ExecutePlanResponseReattachableIterator después de obtener el error del servidor
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Quitar de la dependencia de Connect Client Catalyst
  • [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Liberar la ejecución al cerrar el iterador en el cliente de Python
  • [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] Quitar el directorio basado en sesión cuando se expulsa la caché de sesión aislada
  • [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Deje ningún iterador pendiente
  • [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Cliente de Python para volver a conectar a la ejecución existente en Spark Connect
  • [SPARK-44637] [SC-138571] Sincronización de accesos a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][CONNECT][SQL] Restablecer Row.jsonValue y amigos
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Nueva ejecución acoplable en Spark Connect
  • [SPARK-44418] [SC-136807][PYTHON][CONNECT] Actualizar protobuf de 3.19.5 a 3.20.3
  • [SPARK-44587] [SC-138315][SQL][CONNECT] Aumento del límite de recursividad del serializador protobuf
  • [SPARK-44591] [SC-138292][CONNECT][SQL] Agregar jobTags a SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][SQL] DesduplicateRelations debe conservar los metadatos de alias al crear una nueva instancia
  • [SPARK-44542] [SC-138323][CORE] Carga diligente de la clase SparkExitCode en el controlador de excepciones
  • [SPARK-44264] [SC-138143][PYTHON]E2E Prueba de velocidad profunda
  • [SPARK-43997] [SC-138347][CONNECT] Agregar compatibilidad con UDF de Java
  • [SPARK-44507] [SQL][CONNECT][14.x][14.0] Mover AnalysisException a sql/api
  • [SPARK-44453] [SC-137013][PYTHON] Uso de difflib para mostrar errores en assertDataFrameEqual
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Agregar una página de interfaz de usuario de Spark para Spark Connect
  • [SPARK-44611] [SC-138415][CONNECT] No excluya scala-xml
  • [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Traslado de la inferencia del codificador a sql/api
  • [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Corrección del problema de carga de clases cau...
  • [SPARK-44590] [SC-138296][SQL][CONNECT] Quitar el límite de registros por lotes de flechas para SqlCommandResult
  • [SPARK-43968] [SC-138115][PYTHON] Mejora de los mensajes de error para las UDF de Python con un número incorrecto de salidas
  • [SPARK-44432] [SC-138293][SS][CONNECT] Finalizar las consultas de streaming cuando se agota el tiempo de espera de una sesión en Spark Connect
  • [SPARK-44584] [SC-138295][CONNECT] Establecer client_type información para AddArtifactsRequest y ArtifactStatusesRequest en el cliente de Scala
  • [SPARK-44552] [14.0][SC-138176][SQL] Quitar private object ParseState la definición de IntervalUtils
  • [SPARK-43660] [SC-136183][CONNECT][PS] Habilitar resample con Spark Connect
  • [SPARK-44287] [SC-136223][SQL] Use PartitionEvaluator API en operadores RowToColumnarExec y ColumnarToRowExec SQL.
  • [SPARK-39634] [SC-137566][SQL] Permitir la división de archivos en combinación con la generación de índices de fila
  • [SPARK-44533] [SC-138058][PYTHON] Se ha agregado compatibilidad con archivos de acumulador, difusión y Spark en el análisis de UDTF de Python
  • [SPARK-44479] [SC-138146][PYTHON] Corregir ArrowStreamPandasUDFSerializer para aceptar dataFrame de pandas sin columna
  • [SPARK-44425] [SC-138177][CONNECT] Validar que el identificador de sesión proporcionado por el usuario es un UUID
  • [SPARK-44535] [SC-138038][CONNECT][SQL] Traslado de la API de streaming necesaria a sql/api
  • [SPARK-44264] [SC-136523][ML][PYTHON] Escribir una clase de aprendizaje distribuido de Deepspeed DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][SQL] La corrección de ResolveInlineTables no se puede controlar con la expresión RuntimeReplaceable
  • [SPARK-44060] [SC-135693][SQL] Code-gen para la combinación hash aleatoria externa del lado de compilación
  • [SPARK-44496] [SC-137682][SQL][CONNECT] Mover interfaces necesarias por SCSC a sql/api
  • [SPARK-44532] [SC-137893][CONNECT][SQL] Mover ArrowUtils a sql/api
  • [SPARK-44413] [SC-137019][PYTHON] Aclarar el error de tipo de datos arg no admitido en assertDataFrameEqual
  • [SPARK-44530] [SC-138036][CORE][CONNECT] Mover SparkBuildInfo a common/util
  • [SPARK-36612] [SC-133071][SQL] Compatibilidad con la combinación de unión externa a la izquierda o la combinación de unión externa a la derecha en una combinación hash aleatoria
  • [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils generó parámetros incorrectos para jars
  • [SPARK-44449] [SC-137818][CONNECT] Upcasting para la deserialización directa de flechas
  • [SPARK-44131] [SC-136346][SQL] Agregar call_function y dejar de usar call_udf para la API de Scala
  • [SPARK-44541] [SQL] Quitar función inútil hasRangeExprAgainstEventTimeColde UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][SQL] El filtro maxRows/maxRowsPerPartition es 0 si la condición es FalseLiteral
  • [SPARK-44540] [SC-137873][UI] Quitar la hoja de estilos sin usar y los archivos javascript de jsonFormatter
  • [SPARK-44466] [SC-137856][SQL] Excluir configuraciones a partir de SPARK_DRIVER_PREFIX y SPARK_EXECUTOR_PREFIX desde modifiedConfigs
  • [SPARK-44477] [SC-137508][SQL] Tratar TYPE_CHECK_FAILURE_WITH_HINT como subclase de error
  • [SPARK-44509] [SC-137855][PYTHON][CONNECT] Adición de la API de cancelación de trabajos establecida en el cliente Python de Spark Connect
  • [SPARK-44059] [SC-137023] Se ha agregado compatibilidad con analizadores de argumentos con nombre para funciones integradas.
  • [SPARK-38476] [SC-136448][CORE] Uso de la clase de error en org.apache.spark.storage
  • [SPARK-44486] [SC-137817][PYTHON][CONNECT] Implementación de la característica PyArrow self_destruct para toPandas
  • [SPARK-44361] [SC-137200][SQL] Usar partitionEvaluator API en MapInBatchExec
  • [SPARK-44510] [SC-137652][UI] Actualizar dataTables a 1.13.5 y quitar algunos archivos PNG no accesibles
  • [SPARK-44503] [SC-137808][SQL] Agregar gramática SQL para la cláusula PARTITION BY y ORDER BY después de los argumentos TABLE para las llamadas a TVF
  • [SPARK-38477] [SC-136319][CORE] Uso de la clase de error en org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][CONNECT] Interrupción específica de Spark Connect
  • [SPARK-44380] [SC-137415][SQL][PYTHON] Compatibilidad con UDTF de Python para analizar en Python
  • [SPARK-43923] [SC-137020][CONNECT] Publicar eventos de listenerBus durante...
  • [SPARK-44303] [SC-136108][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][UI] Corrección de la columna HeapHistogram muestra inesperadamente w/ select-all-box
  • [SPARK-44409] [SC-136975][SQL] Controlar char/varchar en Dataset.to para mantener la coherencia con otros usuarios
  • [SPARK-44334] [SC-136576][SQL][UI] Estado en la respuesta de la API REST para un DDL/DML fallido sin trabajos debe ser FAILED en lugar de COMPLETED
  • [SPARK-42309] [SC-136703][SQL] Introduce INCOMPATIBLE_DATA_TO_TABLE y sub clases.
  • [SPARK-44367] [SC-137418][SQL][UI] Mostrar el mensaje de error en la interfaz de usuario para cada consulta con errores
  • [SPARK-44474] [SC-137195][CONNECT] Volver a habilitar "Probar observar respuesta" en SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][CONNECT] El registro de inicio del servidor Connect debe mostrar el nombre de host y el puerto.
  • [SPARK-44309] [SC-136193][UI] Mostrar agregar o quitar tiempo de ejecutores en la pestaña Ejecutores
  • [SPARK-42898] [SC-137556][SQL] Marca que las conversiones de cadena/fecha no necesitan el identificador de zona horaria.
  • [SPARK-44475] [SC-137422][SQL][CONNECT] Reubicación de DataType y Analizador en sql/api
  • [SPARK-44484] [SC-137562][SS]Agregar batchDuration al método json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][SQL][PYTHON] Compatibilidad con funciones con valores de tabla no deterministas
  • [SPARK-44439] [SC-136973][CONNECT][SS]ListListeners fijos para enviar identificadores de vuelta al cliente
  • [SPARK-44341] [SC-137054][SQL][PYTHON] Definir la lógica informática a través de PartitionEvaluator API y usarla en WindowExec y WindowInPandasExec
  • [SPARK-43839] [SC-132680][SQL] Convertir _LEGACY_ERROR_TEMP_1337 en UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][CONNECT][SS]Agregar compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
  • [SPARK-44260] [SC-135618][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[1215-1245-2329] y use checkError() para comprobar la excepción en _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][SQL] SPJ: encapsula todos los parámetros relacionados con SPJ en BatchScanExec
  • [SPARK-44292] [SC-135844][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][Conectar] Deserialización de flecha directa
  • [SPARK-44324] [SC-137172][SQL][CONNECT] Mover CaseInsensitiveMap a sql/api
  • [SPARK-44395] [SC-136744][SQL] Agregar prueba de nuevo a StreamingTableSuite
  • [SPARK-44481] [SC-137401][CONNECT][PYTHON] Convertir pyspark.sql.is_remote en una API
  • [SPARK-44278] [SC-137400][CONNECT] Implemente un interceptor de servidor GRPC que limpie las propiedades locales del subproceso.
  • [SPARK-44264] [SC-137211][ML][PYTHON] Compatibilidad con el entrenamiento distribuido de funciones mediante Deepspeed
  • [SPARK-44430] [SC-136970][SQL] Agregar causa a AnalysisException cuando la opción no es válida
  • [SPARK-44264] [SC-137167][ML][PYTHON] Incorporación de FunctionPickler en TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Hacer pública la API assertSchemaEqual
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][SQL] Mover todos los casos de Drop Table a DataSource V2
  • [SPARK-43755] [SC-137171][CONNECT][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren en lugar de usar la copia en MetricGenerator
  • [SPARK-44264] [SC-137187][ML][PYTHON] Refactorización de TorchDistributor para permitir el puntero de función "run_training_on_file" personalizado
  • [SPARK-43755] [SC-136838][CONNECT] Mover la ejecución fuera de SparkExecutePlanStreamHandler y a otro subproceso
  • [SPARK-44411] [SC-137198][SQL] Usar partitionEvaluator API en ArrowEvalPythonExec y BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][SQL] Usar PartitionEvaluator API en DebugExec
  • [SPARK-43967] [SC-137057][PYTHON] Admite UDF de Python normales con valores devueltos vacíos
  • [SPARK-43915] [SC-134766][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][PYTHON][CONNECT] Compatibilidad con UDTF de Python en Spark Connect
  • [SPARK-44154] [SC-137050][SQL] Se han agregado más pruebas unitarias a BitmapExpressionUtilsSuite y se han realizado mejoras menores en las expresiones agregadas de mapa de bits.
  • [SPARK-44169] [SC-135497][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][CONNECT][SQL] Quitar StructType.toAttributes
  • [SPARK-43964] [SC-136676][SQL][PYTHON] Compatibilidad con UDF de Python optimizadas para flechas
  • [SPARK-44321] [SC-136308][CONNECT] Desacoplar ParseException de AnalysisException
  • [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Reenable test_artifact con cambios pertinentes
  • [SPARK-44145] [SC-136698][SQL] Devolución de llamada cuando esté lista para su ejecución
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Habilitación de la prueba del estimador de validador cruzado
  • [SPARK-44399] [SC-136669][PYHTON][CONNECT] Importar SparkSession en UDF de Python solo cuando useArrow es None
  • [SPARK-43631] [SC-135300][CONNECT][PS] Habilitar series.interpolate con Spark Connect
  • [SPARK-44374] [SC-136544][PYTHON][ML] Agregar código de ejemplo para ML distribuido para spark connect
  • [SPARK-44282] [SC-135948][CONNECT] Preparación del análisis de DataType para su uso en el Cliente de Scala de Spark Connect
  • [SPARK-44052] [SC-134469][CONNECT][PS] Agregue util para obtener la clase Column o DataFrame adecuada para Spark Connect.
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Implementación del estimador de validador cruzado
  • [SPARK-44290] [SC-136300][CONNECT] Archivos y archivos basados en sesión en Spark Connect
  • [SPARK-43710] [SC-134860][PS][CONNECT] Compatibilidad functions.date_part con Spark Connect
  • [SPARK-44036] [SC-134036][CONNECT][PS] Limpieza y consolidación de vales para simplificar las tareas.
  • [SPARK-44150] [SC-135790][PYTHON][CONNECT] Conversión explícita de flecha para el tipo de valor devuelto no coincidente en Arrow Python UDF
  • [SPARK-43903] [SC-134754][PYTHON][CONNECT] Mejorar la compatibilidad de la entrada ArrayType en Arrow Python UDF
  • [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Implementar evaluador de clasificación
  • [SPARK-44255] [SC-135704][SQL] Reubicación de StorageLevel en common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementar la generación de código para to_csv función (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refactorizar PythonUDTFRunner para enviar su tipo de valor devuelto por separado
  • [SPARK-43353] [SC-132734][PYTHON] Migrar los errores de sesión restantes a la clase de error
  • [SPARK-44133] [SC-134795][PYTHON] Actualizar MyPy de 0,920 a 0,982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener: Evento Serde en formato JSON
  • [SPARK-43353] Revertir "[SC-132734][ES-729763][PYTHON] Migrar los errores de sesión restantes a la clase de error"
  • [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Mover espacio de nombres de pyspark.mlv2 a pyspark.ml.connect
  • [SPARK-44220] [SC-135484][SQL] Mover StringConcat a sql/api
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Implementación del estimador de canalización para ML en spark connect
  • [SPARK-43888] [SC-132893][CORE] Reubicación del registro en common/utils
  • [SPARK-42941] Revertir "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener: Evento Serde en formato JSON"
  • [SPARK-43624] [SC-134557][PS][CONNECT] Agregar EWM a SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][PYTHON][ML] Implementación básica de ahorro y carga para ML en spark connect
  • [SPARK-43205] [SC-133371][SQL] corregir SQLQueryTestSuite
  • [SPARK-43376] Revertir "[SC-130433][SQL] Mejorar la reutilización de subconsulta con caché de tablas"
  • [SPARK-44040] [SC-134366][SQL] Corregir estadísticas de proceso cuando el nodo AggregateExec encima de QueryStageExec
  • [SPARK-43919] [SC-133374][SQL] Extraer la funcionalidad JSON fuera de fila
  • [SPARK-42618] [SC-134433][PYTHON][PS] Advertencia para los cambios de comportamiento relacionados con pandas en la próxima versión principal
  • [SPARK-43893] [SC-133381][PYTHON][CONNECT] Compatibilidad con tipos de datos no atómicos en UDF de Python optimizada para flechas
  • [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.{kurt, skew} en Spark Connect.
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python
  • [SPARK-43616] [SC-133849][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.mode en Spark Connect
  • [SPARK-43133] [SC-133728] Compatibilidad de Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Corrección (NullOps|NumOps).(eq|ne) para Spark Connect.
  • [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.{var, stddev} en Spark Connect.
  • [SPARK-43617] [SC-133893][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.product en Spark Connect
  • [SPARK-43610] [SC-133832][CONNECT][PS] Habilitar InternalFrame.attach_distributed_column en Spark Connect.
  • [SPARK-43621] [SC-133852][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat en Spark Connect
  • [SPARK-43921] [SC-133461][PROTOBUF] Generación de archivos descriptores Protobuf en tiempo de compilación
  • [SPARK-43613] [SC-133727][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.covar en Spark Connect
  • [SPARK-43376] [SC-130433][SQL] Mejora de la reutilización de subconsulta con caché de tablas
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementación de SparkSession.addArtifact(s) en el cliente de Python
  • [SPARK-43920] [SC-133611][SQL][CONNECT] Creación de un módulo sql/api
  • [SPARK-43097] [SC-133372][ML] Nuevo estimador de regresión logística de pyspark ML implementado en el distribuidor
  • [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Hacer MLv2 (ML en spark connect) admite pandas >= 2.0
  • [SPARK-43024] [SC-132716][PYTHON] Actualización de Pandas a 2.0.0
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listDatabases
  • [SPARK-39281] [SC-131422][SQL] Aceleración de la inferencia de tipos de Timestamp con formato heredado en el origen de datos JSON/CSV
  • [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API DataStreamWriter de cliente Python foreach()
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Compatibilidad con el tipo de marca de tiempo anidada
  • [SPARK-43353] [SC-132734][PYTHON] Migrar los errores de sesión restantes a la clase de error
  • [SPARK-43304] [SC-129969][CONNECT][PYTHON] Migrar NotImplementedError a PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] Interfaces base de sparkML para spark3.5: estimador/transformador/modelo/evaluador
  • [SPARK-43128] Revertir "[SC-131628][CONNECT][SS] Hacer recentProgress y lastProgress devolver StreamingQueryProgress coherencia con la API nativa de Scala"
  • [SPARK-43543] [SC-131839][PYTHON] Corrección del comportamiento de MapType anidado en UDF de Pandas
  • [SPARK-38469] [SC-131425][CORE] Uso de la clase de error en org.apache.spark.network
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] Extender INTERNAL_ERROR con categorías y agregar INTERNAL_ERROR_BROADCAST de clase de error
  • [SPARK-43265] [SC-129653] Traslado del marco de error a un módulo de utilidades comunes
  • [SPARK-43440] [SC-131229][PYTHON][CONNECT] Registro de compatibilidad con una UDF de Python optimizada para flechas
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Compatibilidad con nombres de campo duplicados en createDataFrame con pandas DataFrame
  • [SPARK-43412] [SC-130990][PYTHON][CONNECT] Introduce SQL_ARROW_BATCHED_UDF EvalType para UDF de Python optimizadas para flechas
  • [SPARK-40912] [SC-130986][CORE]Sobrecarga de excepciones en KryoDeserializationStream
  • [SPARK-39280] [SC-131206][SQL] Aceleración de la inferencia de tipo Timestamp con formato proporcionado por el usuario en el origen de datos JSON/CSV
  • [SPARK-43473] [SC-131372][PYTHON] Compatibilidad con el tipo de estructura en createDataFrame desde pandas DataFrame
  • [SPARK-43443] [SC-131024][SQL] Agregar pruebas comparativas para la inferencia de tipos de marca de tiempo cuando se usa un valor no válido
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] Agregar comprobación de las operaciones que implican varias tramas de datos
  • [SPARK-43296] [SC-130627][CONNECT][PYTHON] Migración de errores de sesión de Spark Connect a la clase de error
  • [SPARK-43324] [SC-130455][SQL] Control de comandos UPDATE para orígenes basados en delta
  • [SPARK-43347] [SC-130148][PYTHON] Eliminación de la compatibilidad con Python 3.7
  • [SPARK-43292] [SC-130525][CORE][CONNECT] Mover ExecutorClassLoader al core módulo y simplificar Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adición del cargador de datos del distribuidor de antorchas que carga datos de datos de partición de Spark
  • [SPARK-43331] [SC-130061][CONNECT] Agregar Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][PYTHON] Migración ValueError de tipos de Spark SQL a una clase de error
  • [SPARK-43261] [SC-129674][PYTHON] Migre TypeError de tipos de Spark SQL a una clase de error.
  • [SPARK-42992] [SC-129465][PYTHON] Introducir PySparkRuntimeError
  • [SPARK-16484] [SC-129975][SQL] Agregar compatibilidad con Datasketches HllSketch
  • [SPARK-43165] [SC-128823][SQL] Mover canWrite a DataTypeUtils
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] UDF de Python optimizadas para flechas en Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Agregar compatibilidad con applyInPandasWithState para spark connect
  • [SPARK-42657] [SC-128621][CONNECT] Compatibilidad para buscar y transferir archivos de clase REPL del lado cliente al servidor como artefactos
  • [SPARK-43098] [SC-77059][SQL] Corrección del error COUNT de corrección cuando la subconsulta escalar tiene una cláusula group by.
  • [SPARK-42884] [SC-126662][CONNECT] Agregar integración de REPL de Ammonite
  • [SPARK-42994] [SC-128333][ML][CONNECT] Compatibilidad del distribuidor PyTorch con el modo local
  • [SPARK-41498] [SC-125343]Revert " Propagación de metadatos a través de Union"
  • [SPARK-42993] [SC-127829][ML][CONNECT] Hacer que el distribuidor de PyTorch sea compatible con Spark Connect
  • [SPARK-42683] [LC-75] Cambiar automáticamente el nombre de las columnas de metadatos en conflicto
  • [SPARK-42874] [SC-126442][SQL] Habilitación del nuevo marco de pruebas de archivos dorados para el análisis de todos los archivos de entrada
  • [SPARK-42779] [SC-126042][SQL] Permitir escrituras V2 para indicar el tamaño de partición aleatorio de aviso
  • [SPARK-42891] [SC-126458][CONNECT][PYTHON] Implementar la API de mapas CoGrouped
  • [SPARK-42791] [SC-126134][SQL] Creación de un nuevo marco de pruebas de archivos dorados para su análisis
  • [SPARK-42615] [SC-124237][CONNECT][PYTHON] Refactorizar el RPC de AnalyzePlan y agregar session.version
  • [SPARK-41302] Revertir "[TODAS LAS PRUEBAS][SC-122423][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema
  • [SPARK-40770] Revertir "[TODAS LAS PRUEBAS][SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquemas"
  • [SPARK-42398] [SC-123500][SQL] Refinar el valor predeterminado de la interfaz DS v2
  • [SPARK-40770] [TODAS LAS PRUEBAS][SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema
  • [SPARK-40770] Revertir "[SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema"
  • [SPARK-40770] [SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema
  • [SPARK-42038][TODAS LAS PRUEBAS] Revertir "Revert "[SC-122533][SQL] SPJ: Compatibilidad con la distribución en clúster parcial""
  • [SPARK-42038] Revertir "[SC-122533][SQL] SPJ: Compatibilidad con la distribución en clúster parcial"
  • [SPARK-42038] [SC-122533][SQL] SPJ: Compatibilidad con la distribución en clúster parcial
  • [SPARK-40550] [SC-120989][SQL] DataSource V2: Control de comandos DELETE para orígenes basados en delta
  • [SPARK-40770] Revertir "[SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema"
  • [SPARK-40770] [SC-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema
  • [SPARK-41302] Revertir [SC-122423][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1185
  • [SPARK-40550] Revertir "[SC-120989][SQL] DataSource V2: Controlar comandos DELETE para orígenes basados en delta"
  • [SPARK-42123] Revertir "[SC-121453][SQL] Incluir valores predeterminados de columna en la salida DESCRIBE y SHOW CREATE TABLE"
  • [SPARK-42146] [SC-121172][CORE] Refactorizar Utils#setStringFieldpara que la compilación de maven pase cuando el módulo sql use este método
  • [SPARK-42119] Revertir "[SC-121342][SQL] Agregar funciones integradas con valores de tabla insertadas y inline_outer"

Aspectos destacados

  • Corrección de las funciones aes_decrypt y ln en Connect SPARK-45109
  • Corrección de las tuplas con nombre heredadas para que funcionen en createDataFrame SPARK-44980
  • CodeGenerator Cache ahora es específico del cargador de clases [SPARK-44795]
  • Se agregó SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
  • Hacer que las consultas de streaming funcionen con la administración de artefactos de Connect [SPARK-44794]
  • ArrowDeserializer funciona con clases generadas por REPL [SPARK-44791]
  • Se ha corregido la UDF de Python optimizada para Arrow en Spark Connect [SPARK-44876]
  • Compatibilidad con clientes de Scala y Go en Spark Connect SPARK-42554SPARK-43351
  • Compatibilidad con ML distribuido basado en PyTorch para Spark Connect SPARK-42471
  • Compatibilidad con Structured Streaming para Spark Connect en Python y Scala SPARK-42938
  • Compatibilidad de la API de Pandas con el cliente spark connect de Python SPARK-42497
  • Introducción a las UDF de Python de flecha SPARK-40307
  • Compatibilidad con las funciones de tabla definidas por el usuario de Python SPARK-43798
  • Migración de errores de PySpark a clases de error SPARK-42986
  • PySpark Test Framework SPARK-44042
  • Adición de compatibilidad con Datasketches HllSketch SPARK-16484
  • Mejora integrada de funciones de SQL SPARK-41231
  • Cláusula IDENTIFIER SPARK-43205
  • Adición de funciones SQL a Scala, Python y R API SPARK-43907
  • Adición de compatibilidad con argumentos con nombre para funciones DE SQL SPARK-43922
  • Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios SPARK-41469
  • Spark de Ml <> distribuido connect SPARK-42471
  • Distribuidor de DeepSpeed SPARK-44264
  • Implementación de puntos de comprobación del registro de cambios para el almacén de estado de RocksDB SPARK-43421
  • Introducir la propagación de marcas de agua entre los operadores SPARK-42376
  • Introducción a dropDuplicatesWithinWatermark SPARK-42931
  • Mejoras en la administración de memoria del proveedor del almacén de estado de RocksDB SPARK-43311

Spark Connect

  • Refactorización del módulo sql en sql y sql-api para generar un conjunto mínimo de dependencias que se pueden compartir entre el cliente de Spark Connect de Scala y Spark y evita extraer todas las dependencias transitivas de Spark. SPARK 44273
  • Introducción al cliente de Scala para Spark Connect SPARK-42554
  • Compatibilidad de la API de Pandas con el cliente spark connect de Python SPARK-42497
  • Compatibilidad con ML distribuido basado en PyTorch para Spark Connect SPARK-42471
  • Compatibilidad con Structured Streaming para Spark Connect en Python y Scala SPARK-42938
  • Versión inicial del cliente de Go SPARK-43351
  • Muchas mejoras de compatibilidad entre spark nativo y los clientes de Spark Connect en Python y Scala
  • Se ha mejorado la depuración y el control de solicitudes para las aplicaciones cliente (procesamiento asincrónico, reintentos, consultas de larga duración)

Spark SQL

Características

  • Añadir columna de metadatos inicio y longitud de bloque de archivo SPARK-42423
  • Compatibilidad con parámetros posicionales en Scala/Java sql() SPARK-44066
  • Añadir soporte de parámetros con nombre en el analizador sintáctico para llamadas a funciones SPARK-43922
  • Soporte SELECT DEFAULT con ORDER BY, LIMIT, OFFSET para la relación de origen INSERT SPARK-43071
  • Añadir gramática SQL para las cláusulas PARTITION BY y ORDER BY después de los argumentos TABLE para las llamadas TVF. SPARK-44503
  • Incluir valores por defecto de columna en DESCRIBE y SHOW CREATE TABLE salida SPARK-42123
  • Adición de un patrón opcional para Catalog.listCatalogs SPARK-43792
  • Adición de un patrón opcional para Catalog.listDatabases SPARK-43881
  • Devolución de llamada cuando esté lista para la ejecución de SPARK-44145
  • Compatibilidad con la instrucción Insertar por nombre SPARK-42750
  • Adición de call_function para la API de Scala SPARK-44131
  • Alias de columna derivados estables SPARK-40822
  • Compatibilidad con expresiones constantes generales como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Compatibilidad con subconsultas con correlación mediante UNION/INTERSECT/EXCEPT SPARK-36124
  • Cláusula IDENTIFIER SPARK-43205
  • ANSI MODE: Conv debe devolver un error si la conversión interna desborda SPARK-42427

Functions

  • Adición de compatibilidad con Datasketches HllSketch SPARK-16484
  • Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt() SPARK-43038
  • Compatibilidad de la regla del analizador de argumentos TABLE para TableValuedFunction SPARK-44200
  • Implementación de funciones de mapa de bits SPARK-44154
  • Adición de la función try_aes_decrypt()SPARK-42701
  • array_insert debe producir un error con 0 índice SPARK-43011
  • Adición de alias de to_varchar para to_char SPARK-43815
  • Función de orden alto: array_compact implementación de SPARK-41235
  • Añadir soporte analizador de argumentos con nombre para funciones incorporadas SPARK-44059
  • Añadir NULL para INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino SPARK-42521
  • Agrega compatibilidad con aes_encrypt IVs y AAD SPARK-43290
  • La función DECODE devuelve resultados erróneos cuando se le pasa NULL SPARK-41668
  • Compatibilidad con udf "luhn_check" SPARK-42191
  • Resolución implícita de alias de columna lateral en el Aggregate SPARK-41631
  • Soporte implícito de alias de columna lateral en consultas con Window SPARK-42217
  • Adición de alias de función 3 args DATE_ADD y DATE_DIFF SPARK-43492

Orígenes de datos

  • Compatibilidad con Char/Varchar para JDBC Catalog SPARK-42904
  • Soporte para obtener palabras clave SQL dinámicamente a través de la API JDBC y TVF SPARK-43119
  • Data source V2: MERGE command management for delta-based sources SPARK-43885
  • Fuente de datos V2: Gestión de comandos MERGE para fuentes basadas en grupos SPARK-43963
  • Fuente de datos V2: Gestión de comandos UPDATE para fuentes basadas en grupos SPARK-43975
  • Fuente de datos V2: Permitir representar actualizaciones como borrados e inserciones SPARK-43775
  • Permitir que los dialectos jdbc anulen la consulta utilizada para crear una tabla SPARK-41516
  • SPJ: compatibilidad con la distribución en clúster parcial SPARK-42038
  • DSv2 permite a CTAS/RTAS reservar la anulabilidad del esquema SPARK-43390
  • Agregar spark.sql.files.maxPartitionNum SPARK-44021
  • Control de comandos UPDATE para orígenes basados en delta SPARK-43324
  • Permitir que las escrituras V2 indiquen el tamaño de la partición aleatoria de asesoramiento SPARK-42779
  • Compatibilidad con el códec de compresión lz4raw para Parquet SPARK-43273
  • Avro: escribir uniones complejas SPARK-25050
  • Aceleración de la inferencia del tipo Timestamp con el formato proporcionado por el usuario en la fuente de datos JSON/CSV SPARK-39280
  • Avro soportará el tipo decimal personalizado respaldado por Long SPARK-43901
  • Evitar barajar en Storage-Partitioned Join cuando las claves de partición no coinciden, pero las expresiones join son compatibles. SPARK-41413
  • Cambiar binario a dataType no admitido en formato CSV SPARK-42237
  • Permitir que Avro convierta el tipo de unión a SQL con el nombre de campo estable con el tipo SPARK-43333
  • Aceleración de la inferencia de tipo Timestamp con formato heredado en fuente de datos JSON/CSV SPARK-39281

Optimización de las consultas

  • La eliminación de subexpresiones admite la expresión abreviada SPARK-42815
  • Mejorar la estimación de las estadísticas de unión si una de las partes puede mantener la unicidad SPARK-39851
  • Introducir el límite de grupo de Ventana para el filtro basado en rangos para optimizar el cálculo top-k SPARK-37099
  • Corrección del comportamiento de IN nulo (lista vacía) en las reglas de optimización SPARK-44431
  • Inferir y empujar hacia abajo el límite de la ventana a través de la ventana si partitionSpec está vacío SPARK-41171
  • Eliminar la unión externa si todas son funciones agregadas distintas SPARK-42583
  • Contraer dos ventanas adyacentes con la misma partición o orden en la subconsulta SPARK-42525
  • Reducción del límite mediante UDF de Python SPARK-42115
  • Optimización del orden de los predicados de filtrado SPARK-40045

Generación de código y ejecución de consultas

  • El filtro en tiempo de ejecución debe admitir la combinación aleatoria de varios niveles como el lado de creación del filtro SPARK-41674
  • Compatibilidad de Codegen con HiveSimpleUDF SPARK-42052
  • Compatibilidad de Codegen con HiveGenericUDF SPARK-42051
  • Compatibilidad con Codegen para la combinación de hash aleatorio externa del lado de compilación SPARK-44060
  • Implementar la generación de código para la función to_csv (StructsToCsv) SPARK-42169
  • Hacer que AQE admita InMemoryTableScanExec SPARK-42101
  • Compatibilidad con la combinación de unión externa a la izquierda o la combinación de unión externa a la derecha en una combinación hash aleatoria SPARK-36612
  • Respeto RequiresDistributionAndOrdering en CTAS/RTAS SPARK-43088
  • Depósitos de fusión en combinación aplicados en la secuencia de combinación de difusión SPARK-43107
  • Establezca correctamente un valor NULL en la clave de combinación combinado en combinación externa completa using SPARK-44251
  • Corrección en la subconsulta ListQuery nullability SPARK-43413

Otros cambios importantes

  • Establecer correctamente valores NULL para las claves de USING joins SPARK-43718
  • Corrección COUNT(*) es un error nulo en la subconsulta escalar correlacionada SPARK-43156
  • Dataframe.joinWith outer-join debe devolver un valor NULL para la fila no que no coincide SPARK-37829
  • Renombrar automáticamente las columnas de metadatos conflictivas SPARK-42683
  • Documentar las clases de error de Spark SQL en la documentación orientada al usuario SPARK-42706

PySpark

Características

  • Compatibilidad con parámetros posicionales en Python sql() SPARK-44140
  • Soporte de SQL parametrizado por sql() SPARK-41666
  • Compatibilidad con las funciones de tabla definidas por el usuario de Python SPARK-43797
  • Soporte para establecer el ejecutable de Python para UDF y APIs de funciones pandas en workers durante el tiempo de ejecución. SPARK-43574
  • Adición de DataFrame.offset a PySpark SPARK-43213
  • Implemente dir() en pyspark.sql.dataframe.DataFrame para incluir columnas SPARK-43270
  • Añadir la opción de utilizar vectores de gran anchura variable para las operaciones UDF de flecha SPARK-39979
  • Hacer que mapInPandas/mapInArrow admita la ejecución del modo de barrera SPARK-42896
  • Adición de API jobTag a PySpark SparkContext SPARK-44194
  • Compatibilidad con UDTF de Python para analizar en Python SPARK-44380
  • Exponer TimestampNTZType en pyspark.sql.types SPARK-43759
  • Compatibilidad con el tipo de marca de tiempo anidada SPARK-43545
  • Compatibilidad con UserDefinedType en createDataFrame desde pandas DataFrame y hacia Pandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Adición de la opción binaria descriptor a pyspark Protobuf API SPARK-43799
  • Aceptar tuplas genéricas como pistas de tipado de Pandas UDF SPARK-43886
  • Adición de array_prepend función SPARK-41233
  • Agregar assertDataFrameEqual util function SPARK-44061
  • Compatibilidad con UDF de Python optimizadas para flechas SPARK-43964
  • Permitir precisión personalizada para fp aprox igualdad SPARK-44217
  • Hacer público el API assertSchemaEqual SPARK-44216
  • Compatibilidad con fill_value para ps. Serie SPARK-42094
  • Compatibilidad con tipo struct en createDataFrame a partir de pandas DataFrame SPARK-43473

Otros cambios importantes

  • Se ha agregado compatibilidad con autocompletar para df[|] en pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Dejar en desuso y eliminar las API que se eliminarán en pandas 2.0 [SPARK-42593]
  • Haga de Python la primera pestaña para ejemplos de código: Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • Actualización de los ejemplos de código de documentación restantes de Spark para mostrar Python de forma predeterminada SPARK-42642
  • Usar nombres de campo desduplicados al crear Arrow RecordBatch [SPARK-41971]
  • Compatibilidad con nombres de campo duplicados en createDataFrame con dataFrame pandas [SPARK-43528]
  • Permitir parámetro columnas al crear DataFrame con Series [SPARK-42194]

Principal

  • Programar mergeFinalize cuando se reintenta push merge shuffleMapStage pero no hay tareas en ejecución SPARK-40082
  • Introducción de PartitionEvaluator para la ejecución del operador SQL SPARK-43061
  • Permitir que ShuffleDriverComponent declare si los datos aleatorios se almacenan de forma confiable SPARK-42689
  • Añadir limitación de intentos máximos en las etapas para evitar posibles reintentos infinitos. SPARK-42577
  • Compatibilidad de la configuración del nivel de registro con Spark conf estático SPARK-43782
  • Optimizar PercentileHeap SPARK-42528
  • Agregue el argumento reason a TaskScheduler.cancelTasks SPARK-42602
  • Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios SPARK-41469
  • Corrección de la falta de recuento del acumulador en el caso de la tarea de reintento con caché rdd SPARK-41497
  • Uso de RocksDB para spark.history.store.hybridStore.diskBackend de forma predeterminada SPARK-42277
  • Contenedor NonFateSharingCache para Guava Cache SPARK-43300
  • Mejora del rendimiento de MapOutputTracker.updateMapOutput SPARK-43043
  • Permitir que las aplicaciones controlen si el Servicio Shuffle externo guarda sus metadatos en la base de datos. SPARK-43179
  • Agregar SPARK_DRIVER_POD_IP variable env a pods executor SPARK-42769
  • Monta el mapa de configuración de Hadoop en el pod ejecutor SPARK-43504

Structured Streaming

  • Se ha agregado compatibilidad con el seguimiento del uso de memoria de bloques anclados para el almacén de estado de RocksDB SPARK-43120
  • Agregar mejoras de administración de memoria del proveedor del almacén de estado de RocksDB SPARK-43311
  • Introducción a dropDuplicatesWithinWatermark SPARK-42931
  • Introduce una nueva devolución de llamada onQueryIdle() a StreamingQueryListener SPARK-43183
  • Agregue la opción para omitir el coordinador de confirmaciones como parte de la API de StreamingWrite para orígenes o receptores de DSv2 spark-42968
  • Introduce una nueva devolución “de llamada onQueryIdle” to StreamingQueryListener SPARK-43183
  • Implementación de puntos de comprobación basados en el registro de cambios para el proveedor del almacén de estado de RocksDB SPARK-43421
  • Se ha agregado compatibilidad con WRITE_FLUSH_BYTES para RocksDB que se usan en operadores con estado de streaming SPARK-42792
  • Se ha agregado compatibilidad para establecer max_write_buffer_number y write_buffer_size para RocksDB que se usan en streaming SPARK-42819
  • La adquisición de bloqueos stateStore de RocksDB debe producirse después de obtener el iterador de entradaRDD SPARK-42566
  • Introducir la propagación de marcas de agua entre los operadores SPARK-42376
  • Limpieza de archivos de registro y sst huérfanos en el directorio de puntos de control de RocksDB SPARK-42353
  • Expanda QueryTerminatedEvent para contener la clase de error si existe en excepción SPARK-43482

ML

  • Compatibilidad con el entrenamiento distribuido de funciones mediante Deepspeed SPARK-44264
  • Interfaces base de sparkML para spark3.5: estimator/transformer/model/evaluador SPARK-43516
  • Make MLv2 (ML on spark connect) admite pandas >= 2.0 SPARK-43783
  • Actualización de las interfaces de transformador MLv2 SPARK-43516
  • Nuevo estimador de regresión logística de pyspark ML implementado sobre el distribuidor SPARK-43097
  • Agregue Classifier.getNumClasses de nuevo SPARK-42526
  • Escribir una clase deepspeed distributed learning DeepspeedTorchDistributor SPARK-44264
  • Implementación básica de almacenamiento y carga para ML en spark connect SPARK-43981
  • Mejora del modelo de regresión logística guardando SPARK-43097
  • Implementación del estimador de canalización para ML en Spark Connect SPARK-43982
  • Implementación del estimador de validador cruzado SPARK-43983
  • Implementación del evaluador de clasificación SPARK-44250
  • Hacer que el distribuidor de PyTorch sea compatible con Spark Connect SPARK-42993

UI

  • Agregar una página de interfaz de usuario de Spark para Spark Connect SPARK-44394
  • Compatibilidad con la columna Histograma del montón en la pestaña Ejecutores SPARK-44153
  • Mostrar el mensaje de error en la interfaz de usuario para cada consulta con errores SPARK-44367
  • SMostrar tiempo de adición o eliminación de ejecutores en la pestaña Ejecutores SPARK-44309

Compilación y otros

Eliminaciones, cambios de comportamiento y desusos

Próxima eliminación

Las siguientes características se quitarán en la próxima versión principal de Spark

  • La compatibilidad con Java 8 y Java 11 y la versión mínima compatible de Java será Java 17
  • La compatibilidad con Scala 2.12 y la versión mínima admitida de Scala será la 2.13

Guías de migración

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 criptografía 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 Biblioteca en tiempo de ejecución de GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 empaquetado 22,0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six (seis) 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2023-07-13.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 clase 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 en conflicto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de datos 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progreso 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0.45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1