Databricks Runtime 14.0 (sem suporte)

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou estas imagens em setembro de 2023.

Novos recursos e aprimoramentos

A E/S preditiva para atualizações está em disponibilidade geral

A E/S preditiva para atualizações agora está em disponibilidade geral. Confira O que é E/S preditiva?.

Os vetores de exclusão estão em disponibilidade geral

Os vetores de exclusão agora estão em disponibilidade geral. Confira O que são vetores de exclusão?

Spark 3.5.0 é GA

Apache Spark 3.5.0 já está disponível para o público geral. Confira a Versão 3.5.0 do Spark.

Versão prévia pública para funções de tabela definidas pelo usuário para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Confira O que são funções de tabela definidas pelo usuário do Python?.

Versão prévia pública para simultaneidade no nível de linha

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas, detectando alterações no nível de linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isso inclui código como %sh e Python ou código R que não usa o Spark. Consulte Qual é o diretório de trabalho atual padrão?.

Problema conhecido com o sparklyr

A versão instalada do pacote sparklyr (versão 1.8.1) não é compatível com o Databricks Runtime 14.0. Para usar sparklyr, instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superior, os clusters compartilhados agora usam o Spark Connect com o Spark Driver do Python REPL por padrão. As APIs internas do Spark não estão mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver a partir do REPL, em vez da integração REPL herdada.

Atualização da API para listar as versões disponíveis do Spark

Habilite o Photon configurando runtime_engine = PHOTON, e habilite aarch64 escolhendo um tipo de instância de gráviton. O Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API de versão do Spark retornava runtimes específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações de quebra

No Databricks Runtime 14.0 e versões superiores, clusters com modo de acesso compartilhado utilizam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso compartilhado, veja Limitações do modo de acesso de computação para o Unity Catalog.

Python em clusters com o modo de acesso compartilhado

  • sqlContext não está disponível. O Azure Databricks recomenda usar a variável spark para a instância SparkSession.
  • O Contexto do Spark (sc) não está mais disponível em notebooks ou ao utilizar o Databricks Connect em um cluster com modo de acesso compartilhado. As seguintes funções sc não estão mais disponíveis:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • O recurso Informações do Conjunto de Dados não tem mais suporte.
  • Não existe mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, as APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap e _jcols, não têm mais suporte.
  • Ao acessar os valores da configuração usando spark.conf, apenas os valores da configuração dinâmica do runtime podem ser acessados.
  • Ainda não há suporte para os comandos da análise do Delta Live Tables em clusters compartilhados.

Delta em clusters com o modo de acesso compartilhado

  • No Python, não existe mais a dependência da JVM ao consultar o Apache Spark. As APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder e DeltaOptimizeBuilder._jbuilder, não têm mais suporte.

SQL em clusters com o modo de acesso compartilhado

  • Os comandos DBCACHE e DBUNCACHE não são mais suportados.
  • Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • asttokens de 2.2.1 para 2.0.5
    • attrs de 21.4.0 para 22.1.0
    • botocore de 1.27.28 para 1.27.96
    • certifi de 2022.9.14 para 2022.12.7
    • cryptografia de 37.0.1 para 39.0.1
    • debugpy de 1.6.0 para 1.6.7
    • docstring-to-markdown de 0.12 para 0.11
    • executing de 1.2.0 para 0.8.3
    • facets-overview de 1.0.3 para 1.1.1
    • googleapis-common-protos de 1.56.4 para 1.60.0
    • grpcio de 1.48.1 para 1.48.2
    • idna de 3.3 para 3.4
    • ipykernel de 6.17.1 para 6.25.0
    • ipython de 8.10.0 para 8.14.0
    • Jinja2 de 2.11.3 para 3.1.2
    • jsonschema de 4.16.0 para 4.17.3
    • jupyter_core de 4.11.2 para 5.2.0
    • kiwisolver de 1.4.2 para 1.4.4
    • MarkupSafe de 2.0.1 para 2.1.1
    • matplotlib de 3.5.2 para 3.7.0
    • nbconvert de 6.4.4 para 6.5.4
    • nbformat de 5.5.0 para 5.7.0
    • nest-asyncio de 1.5.5 para 1.5.6
    • notebook de 6.4.12 para 6.5.2
    • numpy de 1.21.5 para 1.23.5
    • packaging de 21.3 para 22.0
    • pandas de 1.4.4 para 1.5.3
    • pathspec de 0.9.0 para 0.10.3
    • patsy de 0.5.2 para 0.5.3
    • Pillow de 9.2.0 para 9.4.0
    • pip de 22.2.2 para 22.3.1
    • protobuf de 3.19.4 para 4.24.0
    • pytoolconfig de 1.2.2 para 1.2.5
    • pytz de 2022.1 para 2022.7
    • s3transfer de 0.6.0 para 0.6.1
    • seaborn de 0.11.2 para 0.12.2
    • setuptools de 63.4.1 para 65.6.3
    • soupsieve de 2.3.1 para 2.3.2.post1
    • stack-data de 0.6.2 para 0.2.0
    • statsmodels de 0.13.2 para 0.13.5
    • terminado de 0.13.1 para 0.17.1
    • traitlets de 5.1.1 para 5.7.1
    • typing_extensions de 4.3.0 para 4.4.0
    • urllib3 de 1.26.11 para 1.26.14
    • virtualenv de 20.16.3 para 20.16.7
    • wheel de 0.37.1 para 0.38.4
  • Bibliotecas do R atualizadas:
    • arrow de 10.0.1 para 12.0.1
    • base de 4.2.2 para 4.3.1
    • blob de 1.2.3 para 1.2.4
    • broom de 1.0.3 para 1.0.5
    • bslib de 0.4.2 para 0.5.0
    • cachem de 1.0.6 para 1.0.8
    • caret de 6.0-93 para 6.0-94
    • chron de 2.3-59 para 2.3-61
    • class de 7.3-21 para 7.3-22
    • cli de 3.6.0 para 3.6.1
    • clock de 0.6.1 para 0.7.0
    • commonmark de 1.8.1 para 1.9.0
    • compiler de 4.2.2 para 4.3.1
    • cpp11 de 0.4.3 para 0.4.4
    • curl de 5.0.0 para 5.0.1
    • data.table de 1.14.6 para 1.14.8
    • datasets de 4.2.2 para 4.3.1
    • dbplyr de 2.3.0 para 2.3.3
    • digest de 0.6.31 para 0.6.33
    • downlit de 0.4.2 para 0.4.3
    • dplyr de 1.1.0 para 1.1.2
    • dtplyr de 1.2.2 para 1.3.1
    • evaluate de 0.20 para 0.21
    • fastmap de 1.1.0 para 1.1.1
    • fontawesome de 0.5.0 para 0.5.1
    • fs de 1.6.1 para 1.6.2
    • future de 1.31.0 para 1.33.0
    • future.apply de 1.10.0 para 1.11.0
    • gargle de 1.3.0 para 1.5.1
    • ggplot2 de 3.4.0 para 3.4.2
    • gh de 1.3.1 para 1.4.0
    • glmnet de 4.1-6 para 4.1-7
    • googledrive de 2.0.0 para 2.1.1
    • googlesheets4 de 1.0.1 para 1.1.1
    • graphics de 4.2.2 para 4.3.1
    • grDevices de 4.2.2 para 4.3.1
    • grid de 4.2.2 para 4.3.1
    • gtable de 0.3.1 para 0.3.3
    • hardhat de 1.2.0 para 1.3.0
    • haven de 2.5.1 para 2.5.3
    • hms de 1.1.2 para 1.1.3
    • htmltools de 0.5.4 para 0.5.5
    • htmlwidgets de 1.6.1 para 1.6.2
    • httpuv de 1.6.8 para 1.6.11
    • httr de 1.4.4 para 1.4.6
    • ipred de 0.9-13 para 0.9-14
    • jsonlite de 1.8.4 para 1.8.7
    • KernSmooth de 2.23-20 para 2.23-21
    • knitr de 1.42 para 1.43
    • later de 1.3.0 para 1.3.1
    • lattice de 0.20-45 para 0.21-8
    • lava de 1.7.1 para 1.7.2.1
    • lubridate de 1.9.1 para 1.9.2
    • markdown de 1.5 para 1.7
    • MASS de 7.3-58.2 para 7.3-60
    • Matrix de 1.5-1 para 1.5-4.1
    • methods de 4.2.2 para 4.3.1
    • mgcv de 1.8-41 para 1.8-42
    • modelr de 0.1.10 para 0.1.11
    • nnet de 7.3-18 para 7.3-19
    • openssl de 2.0.5 para 2.0.6
    • parallel de 4.2.2 para 4.3.1
    • parallelly de 1.34.0 para 1.36.0
    • pillar de 1.8.1 para 1.9.0
    • pkgbuild de 1.4.0 para 1.4.2
    • pkgload de 1.3.2 para 1.3.2.1
    • pROC de 1.18.0 para 1.18.4
    • processx de 3.8.0 para 3.8.2
    • prodlim de 2019.11.13 para 2023.03.31
    • profvis de 0.3.7 para 0.3.8
    • ps de 1.7.2 para 1.7.5
    • Rcpp de 1.0.10 para 1.0.11
    • readr de 2.1.3 para 2.1.4
    • readxl de 1.4.2 para 1.4.3
    • recipes de 1.0.4 para 1.0.6
    • rlang de 1.0.6 para 1.1.1
    • rmarkdown de 2.20 para 2.23
    • Rserve de 1.8-12 para 1.8-11
    • RSQLite de 2.2.20 para 2.3.1
    • rstudioapi de 0.14 para 0.15.0
    • sass de 0.4.5 para 0.4.6
    • shiny de 1.7.4 para 1.7.4.1
    • sparklyr de 1.7.9 para 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 para 4.3.1
    • stats de 4.2.2 para 4.3.1
    • stats4 de 4.2.2 para 4.3.1
    • survival de 3.5-3 para 3.5-5
    • sys de 3.4.1 para 3.4.2
    • tcltk de 4.2.2 para 4.3.1
    • testthat de 3.1.6 para 3.1.10
    • tibble de 3.1.8 para 3.2.1
    • tidyverse de 1.3.2 para 2.0.0
    • tinytex de 0.44 para 0.45
    • tools de 4.2.2 para 4.3.1
    • tzdb de 0.3.0 para 0.4.0
    • usethis de 2.1.6 para 2.2.2
    • utils de 4.2.2 para 4.3.1
    • vctrs de 0.5.2 para 0.6.3
    • viridisLite de 0.4.1 para 0.4.2
    • vroom de 1.6.1 para 1.6.3
    • waldo de 0.4.0 para 0.5.1
    • xfun de 0.37 para 0.39
    • xml2 de 1.3.3 para 1.3.5
    • zip de 2.2.2 para 2.3.0
  • Bibliotecas do Java atualizadas:
    • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 para 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 para 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 para 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 para 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 para 1.9.0
    • commons-codec.commons-codec de 1.15 para 1.16.0
    • commons-io.commons-io de 2.11.0 to 2.13.0
    • io.airlift.aircompressor de 0.21 para 0.24
    • io.dropwizard.metrics.metrics-core de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-graphite de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 para 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 para 4.2.19
    • io.netty.netty-all de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-transport de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final para 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 para 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 para 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final para 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 para 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 para 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 para 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 para 12.0.1
    • org.apache.avro.avro de 1.11.1 para 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 para 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 para 1.11.2
    • org.apache.commons.commons-compress de 1.21 para 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 para 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 para 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 para 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 para 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 para 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9-shaded de 4.22 para 4.23
    • org.checkerframework.checker-qual de 3.19.0 para 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 para 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.36 para 2.40
    • org.glassfish.jersey.core.jersey-client de 2.36 para 2.40
    • org.glassfish.jersey.core.jersey-common de 2.36 para 2.40
    • org.glassfish.jersey.core.jersey-server de 2.36 para 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2.36 para 2.40
    • org.javassist.javassist de 3.25.0-GA para 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 para 2.7.9
    • org.postgresql.postgresql de 42.3.8 para 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 para 0.9.45
    • org.roaringbitmap.shims de 0.9.39 para 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 para 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 para 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 para 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 para 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 para 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1.33 para 2.0

Apache Spark

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • Agora você pode definir a variável de ambiente de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar o conector Spark-snowflake v2.12.0.
  • [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Suporte a funções de protobuf do Python para Spark Connect
  • [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Remove função uuid/random/chr do PySpar
  • [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Corrige valores de metadados para Artifacts
  • [SPARK-44822] [DBRRM-464][PYTHON][SQL] Torna UDTFs do Python por padrão não determinístico
  • [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] UDTF do Python de refatoração
  • [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Adicionar metadados de cliente ausentes a chamadas
  • [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: objeto ‘NoneType’ não tem nenhum atributo 'message’
  • [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager para acompanhar todas as execuções
  • [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Desabilitar a otimização de seta por padrão para UDTFs do Python
  • [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Run ExecuteGrpcResponseSender em executar novamente no novo thread para corrigir o controle de fluxo
  • [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Tornar todos os iteradores CloseableIterators
  • [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] Tentar novamente ExecutePlan caso a solicitação inicial não tenha chegado ao servidor no cliente Python
  • [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] Tentar novamente ExecutePlan caso a solicitação inicial não tenha chegado ao servidor no cliente Python
  • [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Erros movidos para sq/api também devem usar AnalysisException
  • [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Adicionar objeto Encoders
  • [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Acompanhamento no encerramento da consulta de streaming quando a sessão do cliente está com o tempo limite para o Spark Connect
  • [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator após receber erro do servidor
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Remover dependência do catalisador do cliente Connect
  • [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Libera a execução ao fechar o iterador no cliente Python
  • [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] Remover diretório baseado em sessão quando o cache de sessão isolado for removido
  • [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Não deixar iteradores pendentes
  • [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Cliente Python para reanexar à execução existente no Spark Connect
  • [SPARK-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][CONNECT][SQL] Restabelecer Row.jsonValue e amigos
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Execução reanexável no Spark Connect
  • [SPARK-44418] [SC-136807][PYTHON][CONNECT] Atualizar protobuf de 3.19.5 para 3.20.3
  • [SPARK-44587] [SC-138315][SQL][CONNECT] Aumentar o limite de recursão do marshaller de protobuf
  • [SPARK-44591] [SC-138292][CONNECT][SQL] Adicionar jobTags ao SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][SQL] DeduplicateRelations deve reter metadados de Alias ao criar uma nova instância
  • [SPARK-44542] [SC-138323][CORE] Carregar a classe SparkExitCode no manipulador de exceção
  • [SPARK-44264] [SC-138143][PYTHON]E2E Teste para Deepspeed
  • [SPARK-43997] [SC-138347][CONNECT] Adicionar suporte para UDFs Java
  • [SPARK-44507] [SQL][CONNECT][14.x][14.0] Mover AnalysisException para SQL/API
  • [SPARK-44453] [SC-137013][PYTHON] Usar difflib para exibir erros em assertDataFrameEqual
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Adicionar uma página da interface do usuário do Spark para o Spark Connect
  • [SPARK-44611] [SC-138415][CONNECT] Não excluir scala-xml
  • [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Mover a inferência do codificador para SQL/API
  • [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Corrigir problema de carregamento de classe cau...
  • [SPARK-44590] [SC-138296][SQL][CONNECT] Remover o limite de registro em lote de seta para SqlCommandResult
  • [SPARK-43968] [SC-138115][PYTHON] Aprimorar mensagens de erro para UDTFs do Python com número incorreto de saídas
  • [SPARK-44432] [SC-138293][SS][CONNECT] Encerrar consultas de streaming quando uma sessão atingir o tempo limite no Spark Connect
  • [SPARK-44584] [SC-138295][CONNECT] Defina client_type informações para AddArtifactsRequest e ArtifactStatusesRequest na escala do cliente
  • [SPARK-44552] [14.0][SC-138176][SQL] Remover definição private object ParseState de IntervalUtils
  • [SPARK-43660] [SC-136183][CONNECT][PS] Habilitar resample com o Spark Connect
  • [SPARK-44287] [SC-136223][SQL] Use a API PartitionEvaluator nos operadores SQL RowToColumnarExec e ColumnarToRowExec.
  • [SPARK-39634] [SC-137566][SQL] Permitir divisão de arquivos em combinação com a geração de índice de linha
  • [SPARK-44533] [SC-138058][PYTHON] Adicionar suporte para arquivos acumulador, difusão e Spark na análise do Python UDTF
  • [SPARK-44479] [SC-138146][PYTHON] Corrigir ArrowStreamPandasUDFSerializer para aceitar DataFrame do pandas sem coluna
  • [SPARK-44425] [SC-138177][CONNECT] Validar se sessionId fornecido pelo usuário é um UUID
  • [SPARK-44535] [SC-138038][CONNECT][SQL] Mover a API de streaming necessária para SQL/API
  • [SPARK-44264] [SC-136523][ML][PYTHON] Escrever uma classe de aprendizado distribuído Deepspeed deepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][SQL] Corrigir ResolveInlineTables não pode lidar com a expressão RuntimeReplaceable
  • [SPARK-44060] [SC-135693][SQL] Geração de código para junção de hash aleatória externa do lado da compilação
  • [SPARK-44496] [SC-137682][SQL][CONNECT] Mover interfaces necessárias do SCSC para SQL/API
  • [SPARK-44532] [SC-137893][CONNECT][SQL] Mover ArrowUtils para SQL/API
  • [SPARK-44413] [SC-137019][PYTHON] Esclarecer o erro para o tipo de dados de argumento sem suporte em assertDataFrameEqual
  • [SPARK-44530] [SC-138036][CORE][CONNECT] Mover SparkBuildInfo para common/util
  • [SPARK-36612] [SC-133071][SQL] Suporte à compilação de junção externa esquerda à esquerda ou à direita na junção de hash aleatória
  • [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils gerou parâmetros incorretos para jars
  • [SPARK-44449] [SC-137818][CONNECT] Upcasting para desserialização direta da seta
  • [SPARK-44131] [SC-136346][SQL] Adicionar call_function e preterir call_udf para a API Scala
  • [SPARK-44541] [SQL] Remover função inútil hasRangeExprAgainstEventTimeCol de UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][SQL] MaxRows/maxRowsPerPartition do filtro será 0 se a condição for FalseLiteral
  • [SPARK-44540] [SC-137873][UI] Remover arquivos Javascript e folha de estilos não utilizados do jsonFormatter
  • [SPARK-44466] [SC-137856][SQL] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
  • [SPARK-44477] [SC-137508][SQL] Tratar TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
  • [SPARK-44509] [SC-137855][PYTHON][CONNECT] Adicionar a API de cancelamento de trabalho definida no cliente Python do Spark Connect
  • [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
  • [SPARK-38476] [SC-136448][CORE] Use a classe de erro em org.apache.spark.storage
  • [SPARK-44486] [SC-137817][PYTHON][CONNECT] Implementar o recurso PyArrow self_destruct para toPandas
  • [SPARK-44361] [SC-137200][SQL] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-44510] [SC-137652][UI] Atualizar dataTables para 1.13.5 e remover alguns arquivos png não acessados
  • [SPARK-44503] [SC-137808][SQL] Adicionar gramática SQL para a cláusula PARTITION BY e ORDER BY após argumentos TABLE para chamadas TVF
  • [SPARK-38477] [SC-136319][CORE] Use a classe de erro em org.apache.spark.storage
  • [SPARK-44299] [SC-136088][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][CONNECT] Interrupção refinada do Spark Connect
  • [SPARK-44380] [SC-137415][SQL][PYTHON] Suporte para UDTF do Python para analisar em Python
  • [SPARK-43923] [SC-137020][CONNECT] Postar eventos listenerBus duran...
  • [SPARK-44303] [SC-136108][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][UI] Correção da coluna HeapHistogram mostra inesperadamente com select-all-box
  • [SPARK-44409] [SC-136975][SQL] Manipular char/varchar em Dataset.to para manter a consistência com outras pessoas
  • [SPARK-44334] [SC-136576][SQL][UI] Status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FAILED em vez de COMPLETED
  • [SPARK-42309] [SC-136703][SQL] Introduzir e subclasse INCOMPATIBLE_DATA_TO_TABLE.
  • [SPARK-44367] [SC-137418][SQL][UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
  • [SPARK-44474] [SC-137195][CONNECT] Reabilitar "Testar observar resposta" em SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][CONNECT] O log de inicialização do Connect Server deve exibir o nome do host e a porta
  • [SPARK-44309] [SC-136193][UI] Exibir adicionar/remover tempo de executores na guia Executores
  • [SPARK-42898] [SC-137556][SQL] Marque que as conversões de cadeia de caracteres/data não precisam de ID de fuso horário
  • [SPARK-44475] [SC-137422][SQL][CONNECT] Realocar DataType e Analisador para SQL/API
  • [SPARK-44484] [SC-137562][SS]Adicionar batchDuration ao método JSON StreamingQueryProgress
  • [SPARK-43966] [SC-137559][SQL][PYTHON] Suporte a funções com valor de tabela não determinística
  • [SPARK-44439] [SC-136973][CONNECT][SS]Corrigido listListeners para enviar apenas IDs de volta ao cliente
  • [SPARK-44341] [SC-137054][SQL][PYTHON] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
  • [SPARK-43839] [SC-132680][SQL] Convert _LEGACY_ERROR_TEMP_1337 para UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][CONNECT][SS]Adicionar suporte para o ouvinte de streaming no Scala para Spark Connect
  • [SPARK-44260] [SC-135618][SQL] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] e Use checkError() para verificar a exceção em _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][SQL] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
  • [SPARK-44292] [SC-135844][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][Connect] Desserialização de seta direta
  • [SPARK-44324] [SC-137172][SQL][CONNECT] Mover CaseInsensitiveMap para SQL/API
  • [SPARK-44395] [SC-136744][SQL] Adicionar teste de volta ao StreamingTableSuite
  • [SPARK-44481] [SC-137401][CONNECT][PYTHON] Tornar pyspark.sql.is_remote uma API
  • [SPARK-44278] [SC-137400][CONNECT] Implementar um interceptador de servidor GRPC que limpa as propriedades locais do thread
  • [SPARK-44264] [SC-137211][ML][PYTHON] Suporte ao treinamento distribuído de funções usando Deepspeed
  • [SPARK-44430] [SC-136970][SQL] Adicionar causa a quando a opção AnalysisException é inválida
  • [SPARK-44264] [SC-137167][ML][PYTHON] Incorporando FunctionPickler em TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Tornar pública a API assertSchemaEqual
  • [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
  • [SPARK-43203] [SC-134528][SQL] Mover todas as maiúsculas e minúsculas da tabela para DataSource V2
  • [SPARK-43755] [SC-137171][CONNECT][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar copiar em MetricGenerator
  • [SPARK-44264] [SC-137187][ML][PYTHON] Refatorando TorchDistributor para permitir o ponteiro de função "run_training_on_file" personalizado
  • [SPARK-43755] [SC-136838][CONNECT] Mover a execução para fora do SparkExecutePlanStreamHandler e para um thread diferente
  • [SPARK-44411] [SC-137198][SQL] Use a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][SQL] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-43967] [SC-137057][PYTHON] Suporte a UDTFs regulares do Python com valores retornados vazios
  • [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][PYTHON][CONNECT] Suporte a UDTF do Python no Spark Connect
  • [SPARK-44154] [SC-137050][SQL] Adicionou mais testes de unidade ao BitmapExpressionUtilsSuite e fez pequenas melhorias nas expressões de agregação bitmap
  • [SPARK-44169] [SC-135497][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][CONNECT][SQL] Remover StructType.toAttributes
  • [SPARK-43964] [SC-136676][SQL][PYTHON] Suporte a UDTFs do Python com otimização de seta
  • [SPARK-44321] [SC-136308][CONNECT] Desacoplar ParseException de AnalysisException
  • [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Reenable test_artifact com alterações relevantes
  • [SPARK-44145] [SC-136698][SQL] Retorno de chamada quando estiver pronto para execução
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Habilitar o teste do avaliador de validador cruzado
  • [SPARK-44399] [SC-136669][PYTHON][CONNECT] Importar SparkSession no Python UDF somente quando useArrow for None
  • [SPARK-43631] [SC-135300][CONNECT][PS] Habilitar Series.interpolate com Spark Connect
  • [SPARK-44374] [SC-136544][PYTHON][ML] Adicionar código de exemplo para ML distribuído para Spark Connect
  • [SPARK-44282] [SC-135948][CONNECT] Preparar a análise de DataType para uso no cliente Spark Connect Scala
  • [SPARK-44052] [SC-134469][CONNECT][PS] Adicione util para obter a classe Column ou DataFrame adequada para o Spark Connect.
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Implementar o avaliador de validador cruzado
  • [SPARK-44290] [SC-136300][CONNECT] Arquivos e arquivos baseados em sessão no Spark Connect
  • [SPARK-43710] [SC-134860][PS][CONNECT] Suporte functions.date_part para Spark Connect
  • [SPARK-44036] [SC-134036][CONNECT][PS] Limpeza e consolidação de tíquetes para simplificar as tarefas.
  • [SPARK-44150] [SC-135790][PYTHON][CONNECT] Conversão explícita de seta para tipo de retorno incompatível no UDF do Python de Seta
  • [SPARK-43903] [SC-134754][PYTHON][CONNECT] Aprimorar o suporte de entrada ArrayType no UDF do Python de seta
  • [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Implementar o avaliador de classificação
  • [SPARK-44255] [SC-135704][SQL] Realocar StorageLevel para common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [SPARK-44133] [SC-134795][PYTHON] Atualizar o MyPy de 0,920 para 0,982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
  • [SPARK-43353] Reverter "[SC-132734][ES-729763][PYTHON] Migrar erros de sessão restantes para a classe de erro"
  • [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Mover o namespace de pyspark.mlv2 para pyspark.ml.connect
  • [SPARK-44220] [SC-135484][SQL] Mover StringConcat para SQL/API
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Implementar o avaliador de pipeline para ML no Spark Connect
  • [SPARK-43888] [SC-132893][CORE] Realocar o registro em log para common/utils
  • [SPARK-42941] Reverter "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Evento Serde no formato JSON"
  • [SPARK-43624] [SC-134557][PS][CONNECT] Adicionar EWM ao SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][PYTHON][ML] Implementação básica de salvamento/carregamento para ML no Spark Connect
  • [SPARK-43205] [SC-133371][SQL] corrigir SQLQueryTestSuite
  • [SPARK-43376] Reverter "[SC-130433][SQL] Melhorar a subconsulta de reutilização com cache de tabela"
  • [SPARK-44040] [SC-134366][SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
  • [SPARK-43919] [SC-133374][SQL] Extrair funcionalidade JSON fora da linha
  • [SPARK-42618] [SC-134433][PYTHON][PS] Aviso para as alterações de comportamento relacionadas ao pandas na próxima versão principal
  • [SPARK-43893] [SC-133381][PYTHON][CONNECT] Suporte a tipo de dados não atômico na UDF do Python com otimização de seta
  • [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
  • [SPARK-43616] [SC-133849][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.mode no Spark Connect
  • [SPARK-43133] [SC-133728] Suporte ao Cliente Scala DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correção (NullOps|NumOps).(eq|ne) para Spark Connect.
  • [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
  • [SPARK-43617] [SC-133893][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.product no Spark Connect
  • [SPARK-43610] [SC-133832][CONNECT][PS] Habilitar InternalFrame.attach_distributed_column no Spark Connect.
  • [SPARK-43621] [SC-133852][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat no Spark Connect
  • [SPARK-43921] [SC-133461][PROTOBUF] Gerar arquivos descritores protobuf no momento da compilação
  • [SPARK-43613] [SC-133727][PS][CONNECT] Habilitar pyspark.pandas.spark.functions.covar no Spark Connect
  • [SPARK-43376] [SC-130433][SQL] Melhorar a subconsulta de reutilização com cache de tabela
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
  • [SPARK-43920] [SC-133611][SQL][CONNECT] Criar módulo SQL/API
  • [SPARK-43097] [SC-133372][ML] Novo avaliador de regressão logística do Pyspark ML implementado na parte superior do distribuidor
  • [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Faz com que MLv2 (ML no spark connect) suporte pandas >= 2.0
  • [SPARK-43024] [SC-132716][PYTHON] Atualizar pandas para 2.0.0
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listDatabases
  • [SPARK-39281] [SC-131422][SQL] Acelerar a inferência de tipo de carimbo de data/hora com o formato herdado na fonte de dados JSON/CSV
  • [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Cliente Python DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Suporte ao tipo de carimbo de data/hora aninhado
  • [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [SPARK-43304] [SC-129969][CONNECT][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] Interfaces base do SparkML para Spark3.5: avaliador/transformador/modelo/avaliador
  • [SPARK-43128] Reverter "[SC-131628][CONNECT][SS] Tornar recentProgress e lastProgress retornar StreamingQueryProgress consistente com a API scala nativa"
  • [SPARK-43543] [SC-131839][PYTHON] Corrigir o comportamento de MapType aninhado no UDF do Pandas
  • [SPARK-38469] [SC-131425][CORE] Use a classe de erro em org.apache.spark.network
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] Estender INTERNAL_ERROR com categorias e adicionar classe de erro INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Mover estrutura de erro para um módulo utils comum
  • [SPARK-43440] [SC-131229][PYTHON][CONNECT] Suporte ao registro de uma UDF do Python com otimização de seta
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Suporte a nomes de campo duplicados em createDataFrame com DataFrame do Pandas
  • [SPARK-43412] [SC-130990][PYTHON][CONNECT] Introduz SQL_ARROW_BATCHED_UDF evalType para UDFs do Python com otimização de seta
  • [SPARK-40912] [SC-130986][CORE]Sobrecarga de exceções em KryoDeserializationStream
  • [SPARK-39280] [SC-131206][SQL] Acelerar a inferência de tipo de carimbo de data/hora com o formato fornecido pelo usuário na fonte de dados JSON/CSV
  • [SPARK-43473] [SC-131372][PYTHON] Suporte ao tipo de struct em createDataFrame do DataFrame do Pandas
  • [SPARK-43443] [SC-131024][SQL] Adicionar parâmetro de comparação para inferência de tipo de carimbo de data/hora ao usar valor inválido
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
  • [SPARK-43296] [SC-130627][CONNECT][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
  • [SPARK-43324] [SC-130455][SQL] Manipular comandos UPDATE para fontes baseadas em delta
  • [SPARK-43347] [SC-130148][PYTHON] Remover suporte ao Python 3.7
  • [SPARK-43292] [SC-130525][CORE][CONNECT] Mover ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor de dados que carrega dados de dados de partição do Spark
  • [SPARK-43331] [SC-130061][CONNECT] Adicionar Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][PYTHON] Migrar ValueError de tipos SQL do Spark para a classe de erro
  • [SPARK-43261] [SC-129674][PYTHON] Migrar TypeError de tipos SQL do Spark para a classe de erro.
  • [SPARK-42992] [SC-129465][PYTHON] Introduza PySparkRuntimeError
  • [SPARK-16484] [SC-129975][SQL] Adicionar suporte para Datasketches HllSketch
  • [SPARK-43165] [SC-128823][SQL] Mover canWrite para DataTypeUtils
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] UDFs do Python com otimização de seta no Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
  • [SPARK-42657] [SC-128621][CONNECT] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [SPARK-43098] [SC-77059][SQL] Corrija o bug COUNT de correção quando a subconsulta escalar tiver cláusula group by
  • [SPARK-42884] [SC-126662][CONNECT] Adicionar integração com o Ammonite REPL
  • [SPARK-42994] [SC-128333][ML][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
  • [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio da União"
  • [SPARK-42993] [SC-127829][ML][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
  • [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [SPARK-42874] [SC-126442][SQL] Habilite a nova estrutura de teste de arquivo de ouro para análise para todos os arquivos de entrada
  • [SPARK-42779] [SC-126042][SQL] Permitir gravações V2 para indicar o tamanho da partição de embaralhamento de consultoria
  • [SPARK-42891] [SC-126458][CONNECT][PYTHON] Implementar a API de Mapa co-agrupado
  • [SPARK-42791] [SC-126134][SQL] Criar uma nova estrutura de teste de arquivo ouro para análise
  • [SPARK-42615] [SC-124237][CONNECT][PYTHON] Refatorar o RPC AnalyzePlan e adicionar session.version
  • [SPARK-41302] Reverter "[TODOS OS TESTES][SC-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
  • [SPARK-40770] Reverter "[TODOS OS TESTES][SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-42398] [SC-123500][SQL] Refinar o valor padrão da coluna interface DS v2
  • [SPARK-40770] [TODOS OS TESTES][SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
  • [SPARK-40770] Reverter "[SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
  • [SPARK-42038] [TODOS OS TESTES] "Reverter "[SC-122533][SQL] SPJ: suporte à distribuição parcialmente clusterizado""
  • [SPARK-42038] Reverter "[SC-122533][SQL] SPJ: suporte à distribuição parcialmente clusterizado"
  • [SPARK-42038] [SC-122533][SQL] SPJ: suporte à distribuição parcialmente clusterizado
  • [SPARK-40550] [SC-120989][SQL] DataSource V2: manipular comandos DELETE para fontes baseadas em delta
  • [SPARK-40770] Reverter "[SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
  • [SPARK-41302] Reverter “[SC-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40550] Reverter "[SC-120989][SQL] DataSource V2: manipular comandos DELETE para fontes baseadas em delta"
  • [SPARK-42123] Reverter "[SC-121453][SQL] Incluir valores padrão de coluna na saída DESCRIBE e SHOW CREATE TABLE"
  • [SPARK-42146] [SC-121172][CORE] Refatorar Utils#setStringField para fazer o build do Maven passar quando o módulo SQL usar esse método
  • [SPARK-42119] Reverter "[SC-121342][SQL] Adicionar funções internas com valor de tabela embutidas e inline_outer"

Destaques

  • Correção das funções aes_decrypt e ln no Connect SPARK-45109
  • Correção para que as tuplas nomeadas herdadas funcionem em createDataFrame SPARK-44980
  • O CodeGenerator Cache agora é específico do carregador de classes [SPARK-44795]
  • Adição de SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
  • As consultas de streaming funcionam com o gerenciamento de artefatos do Connect [SPARK-44794]
  • O ArrowDeserializer funciona com classes geradas por REPL [SPARK-44791]
  • Correção da UDF do Python com otimização de Arrow no Spark Connect [SPARK-44876]
  • Suporte ao cliente do Scala e Go no Spark Connect SPARK-42554SPARK-43351
  • Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
  • Suporte de streaming estruturado para o Spark Connect em Python e Scala SPARK-42938
  • Suporte à API do Pandas para o cliente Python do Spark Connect SPARK-42497
  • Introduzir UDFs Arrow no Python SPARK-40307
  • Suporte a funções de tabela definidas pelo usuário do Python SPARK-43798
  • Migrar erros do PySpark para classes de erro SPARK-42986
  • Framework de teste PySpark SPARK-44042
  • Adicionar suporte para o Datasketches HllSketch SPARK-16484
  • Melhoria da função SQL interna SPARK-41231
  • Cláusula IDENTIFIER SPARK-43205
  • Adicione funções SQL em API do Scala, Python e R SPARK-43907
  • Adicionar suporte a argumentos nomeados para funções SQL SPARK-43922
  • Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
  • ML Distribuído <> no spark connect SPARK-42471
  • Distribuidor DeepSpeed SPARK-44264
  • Implementar ponto de verificação de log de mudança para armazenamento de estado do RocksDB SPARK-43421
  • Introduzir propagação de marca d'água entre os operadores SPARK-42376
  • Introduzir dropDuplicatesWithinWatermark SPARK-42931
  • Aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311

Spark Connect

  • Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente do Scala Spark Connect e do Spark e evita extrair todas as dependências transitivas do Spark. SPARK-44273
  • Apresentando o cliente do Scala para o Spark Connect SPARK-42554
  • Suporte à API do Pandas para o cliente Python do Spark Connect SPARK-42497
  • Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
  • Suporte de streaming estruturado para o Spark Connect em Python e Scala SPARK-42938
  • Versão inicial do cliente Go SPARK-43351
  • Muitas melhorias de compatibilidade entre os clientes nativos do Spark e do Spark Connect em Python e Scala
  • Melhor capacidade de depuração e manipulação de solicitações para aplicativos clientes (processamento assíncrono, novas tentativas, consultas de longa duração)

Spark SQL

Recursos

  • Adicionar início e comprimento do bloco de arquivo de coluna de metadados SPARK-42423
  • Suporte a parâmetros posicionais em sql() no Scala/Java SPARK-44066
  • Adicionar suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
  • Suporte SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para a relação de origem INSERT SPARK-43071
  • Adicionar gramática SQL para cláusulas PARTITION BY e ORDER BY após argumentos TABLE para chamadas de TVF SPARK-44503
  • Incluir valores padrão da coluna na saída DESCRIBE e SHOW CREATE TABLE SPARK-42123
  • Adicionar padrão opcional para Catalog.listCatalogs SPARK-43792
  • Adicionar padrão opcional para Catalog.listDatabases SPARK-43881
  • Retorno de chamada quando estiver pronto para execução SPARK-44145
  • Declaração Insert By Name de suporte SPARK-42750
  • Adicionar call_function para a API do Scala SPARK-44131
  • Aliases de colunas derivadas estáveis SPARK-40822
  • Suporte a expressões constantes gerais como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Suporte a subconsultas com correlação por meio de INTERSECT/EXCEPT SPARK-36124
  • Cláusula IDENTIFIER SPARK-43205
  • MODO ANSI: O conv deve retornar um erro se a conversão interna estourar SPARK-42427

Funções

  • Adicionar suporte para o Datasketches HllSketch SPARK-16484
  • Suporte ao modo CBC aes_encrypt()/aes_decrypt() SPARK-43038
  • Suporte à regra do analisador de argumentos TABLE para TableValuedFunction SPARK-44200
  • Implementar funções de bitmap SPARK-44154
  • Adicionar a função try_aes_decrypt() SPARK-42701
  • array_insert deve falhar com o índice 0 SPARK-43011
  • Adicionar alias to_varchar para to_char SPARK-43815
  • Função de alta ordem: implementação array_compact SPARK-41235
  • Adicionado suporte ao analisador de argumentos nomeados para funções internas SPARK-44059
  • Adicionar NULLs para INSERTs com listas especificadas pelo usuário com menos colunas que a tabela de destino SPARK-42521
  • Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
  • A função DECODE retorna resultados incorretos quando passada NULL SPARK-41668
  • Suporte a udf 'luhn_check' SPARK-42191
  • Suporte à resolução implícita de alias de coluna lateral na Agregação SPARK-41631
  • Suporte a alias de coluna lateral implícita em consultas com Window SPARK-42217
  • Adicionar aliases de função 3 argumentos DATE_ADD e DATE_DIFF SPARK-43492

Fontes de dados

  • Suporte Char/Varchar para Catálogo JDBC SPARK-42904
  • Suporte para obter palavras-chave do SQL dinamicamente por meio da API JDBC e de TVF SPARK-43119
  • DataSource V2: manipular comandos MERGE para fontes baseadas em delta SPARK-43885
  • DataSource V2: manipular comandos MERGE para fontes baseadas em grupo SPARK-43963
  • DataSource V2: manipular comandos UPDATE para fontes baseadas em grupo SPARK-43975
  • DataSource V2: permite representar atualizações como exclusões e inserções SPARK-43775
  • Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela SPARK-41516
  • SPJ: suporte à distribuição parcialmente clusterizado SPARK-42038
  • O DSv2 permite que o CTAS/RTAS reserve a nulidade do esquema SPARK-43390
  • Adicionar spark.sql.files.maxPartitionNum SPARK-44021
  • Manipular comandos UPDATE para fontes baseadas em delta SPARK-43324
  • Permitir que gravações V2 indiquem o tamanho da partição de embaralhamento de consultoria SPARK-42779
  • Suporte a codec de compactação lz4raw para Parquet SPARK-43273
  • Avro: escrevendo uniões complexas SPARK-25050
  • Acelerar a inferência de tipo de carimbo de data/hora com o formato fornecido pelo usuário na fonte de dados JSON/CSV SPARK-39280
  • Avro para suporte tipo decimal personalizado suportado por Long SPARK-43901
  • Evitar aleatório na junção com partição de armazenamento quando as chaves de partição não forem compatíveis, mas as expressões de junção forem compatíveis SPARK-41413
  • Alterar binário para dataType sem suporte no formato CSV SPARK-42237
  • Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo SPARK-43333
  • Acelerar a inferência de tipos de carimbo de data/hora com o formato herdado na fonte de dados JSON/CSV SPARK-39281

Otimização de consultas

  • A eliminação de subexpressão dá suporte à expressão de atalho SPARK-42815
  • Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade SPARK-39851
  • Introduzir o limite de grupo da janela para o filtro baseado em classificação para otimizar a computação top-k SPARK-37099
  • Corrigir o comportamento de IN nulo (lista vazia) nas regras de otimização SPARK-44431
  • Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio SPARK-41171
  • Remover a junção externa se todas elas forem funções de agregação distintas SPARK-42583
  • Recolher duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
  • Reduzir o limite por meio de UDFs do Python SPARK-42115
  • Otimizar a ordem dos predicados de filtragem SPARK-40045

Geração de Código e Execução de Consulta

  • O filtro de runtime deve dar suporte ao lado de junção aleatória de vários níveis como o lado de criação de filtro SPARK-41674
  • Suporte do Codegen para HiveSimpleUDF SPARK-42052
  • Compatível com Codegen para HiveGenericUDF SPARK-42051
  • Suporte do Codegen para a junção hash aleatória externa do lado da compilação SPARK-44060
  • Implementar geração de código para função to_csv (StructsToCsv) SPARK-42169
  • Fazer com que AQE suporte InMemoryTableScanExec SPARK-42101
  • Suporte à compilação esquerda da junção externa esquerda ou compilação diretita da junção externa direita na junção hash aleatória SPARK-36612
  • Respeitar RequiresDistributionAndOrdering em CTAS/RTAS SPARK-43088
  • Unir buckets em junção aplicados no lado do fluxo de junção de transmissão SPARK-43107
  • Definir anulável corretamente na chave de junção unida na junção USING externa completa SPARK-44251
  • Corrigir nulidade ListQuery da subconsulta IN SPARK-43413

Outras alterações importantes

  • Definir anulável corretamente para chaves em junções USING SPARK-43718
  • Correção de COUNT(*) é um bug nulo na subconsulta escalar correlacionada SPARK-43156
  • Junção externa Dataframe.joinWith deve retornar um valor nulo para linha sem correspondência SPARK-37829
  • Renomear automaticamente colunas de metadados conflitantes SPARK-42683
  • Documente as classes de erro do Spark SQL na documentação voltada para o usuário SPARK-42706

PySpark

Recursos

  • Suporte a parâmetros posicionais no Python sql() SPARK-44140
  • Suporte a SQL parametrizado por sql() SPARK-41666
  • Suporte a funções de tabela definidas pelo usuário do Python SPARK-43797
  • Suporte para definir executável Python para APIs de função UDF e pandas em trabalhos durante o runtime SPARK-43574
  • Adicionar DataFrame.offset ao PySpark SPARK-43213
  • Implementar dir() em pyspark.sql.dataframe.DataFrame para incluir colunas SPARK-43270
  • Adicionar opção para usar vetores de largura variável grandes para operações de seta UDF SPARK-39979
  • Fazer mapInPandas/mapInArrow dar suporte à execução do modo de barreira SPARK-42896
  • Adicionar APIs JobTag ao PySpark SparkContext SPARK-44194
  • Suporte para UDTF Python para análise no Python SPARK-44380
  • Expor TimestampNTZType em pyspark.sql.types SPARK-43759
  • Suporte ao tipo de carimbo de data/hora aninhado SPARK-43545
  • Suporte a UserDefinedType em createDataFrame do pandas DataFrame e toPandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Adicionar a opção binária de descritor à API do Pyspark Protobuf SPARK-43799
  • Aceitar tupla genérica como dicas de digitação do UDF Pandas SPARK-43886
  • Adicionar função array_prepend SPARK-41233
  • Adicionar a função util assertDataFrameEqual SPARK-44061
  • Suporte a UDTFs Python com otimização de seta SPARK-43964
  • Permitir precisão personalizada para igualdade de aproximação fp SPARK-44217
  • Tornar a API assertSchemaEqual pública SPARK-44216
  • Suporte fill_value para ps.Series SPARK-42094
  • Suporte ao tipo de struct em createDataFrame do pandas DataFrame SPARK-43473

Outras alterações importantes

  • Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Preterir e remover as APIs que serão removidas no pandas 2.0 [SPARK-42593]
  • Tornar o Python a primeira guia para exemplos de código - Guia para Spark SQL, DataFrames e Conjuntos de dados SPARK-42493
  • Atualizando os exemplos de código de documentação restantes do Spark para mostrar o Python por padrão SPARK-42642
  • Usar nomes de campo com eliminação de duplicação ao criar Arrow RecordBatch [SPARK-41971]
  • Suporte a nomes de campo duplicados em createDataFrame com pandas DataFrame [SPARK-43528]
  • Permitir parâmetro de colunas ao criar DataFrame com Series [SPARK-42194]

Núcleo

  • Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução SPARK-40082
  • Introduzir PartitionEvaluator para execução do operador SQL SPARK-43061
  • Permitir que ShuffleDriverComponent declare se os dados aleatórios são armazenados de forma confiável SPARK-42689
  • Adicionar limitação máxima de tentativas para estágios para evitar possíveis repetições infinitas SPARK-42577
  • Suporte à configuração de nível de log com configuração estática do Spark SPARK-43782
  • Otimizar PercentileHeap SPARK-42528
  • Adicionar argumento de motivo a TaskScheduler.cancelTasks SPARK-42602
  • Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
  • Corrigindo a subconta do acumulador no caso da tarefa de repetição com o cache rdd SPARK-41497
  • Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão SPARK-42277
  • Wrapper NonFateSharingCache para Guava Cache SPARK-43300
  • Melhorar o desempenho de MapOutputTracker.updateMapOutput SPARK-43043
  • Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Ordem Externo SPARK-43179
  • Adicionar variável env SPARK_DRIVER_POD_IP aos pods do executor SPARK-42769
  • Monta o mapa de configurações do hadoop no pod do executor SPARK-43504

Streaming estruturado

  • Adicionar suporte para rastrear o uso de memória de blocos fixados para o repositório de estado RocksDB SPARK-43120
  • Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311
  • Introduzir dropDuplicatesWithinWatermark SPARK-42931
  • Introduzir um novo retorno de chamada onQueryIdle() ao StreamingQueryListener SPARK-43183
  • Adicionar opção para ignorar o coordenador de commit como parte da API StreamingWrite para fontes/coletores DSv2 SPARK-42968
  • Introduzir um novo retorno de chamada “onQueryIdle” ao StreamingQueryListener SPARK-43183
  • Implementar o ponto de verificação baseado em log de mudanças para o provedor de repositório de estado RocksDB SPARK-43421
  • Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming SPARK-42792
  • Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming SPARK-42819
  • A aquisição de bloqueio do StateStore do RocksDB deve acontecer depois de obter o iterador de entrada do inputRDD SPARK-42566
  • Introduzir propagação de marca d'água entre os operadores SPARK-42376
  • Limpar arquivos de log e sst órfãos no diretório de ponto de verificação do RocksDB SPARK-42353
  • Expandir QueryTerminatedEvent para conter a classe de erro se ela existir em exceção SPARK-43482

ML

  • Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
  • Interfaces base do sparkML para spark3.5: estimator/transformer/model/evaluator SPARK-43516
  • Fazer MLv2 (ML on spark connect) suportar pandas >= 2.0 SPARK-43783
  • Atualizar interfaces do transformador MLv2 SPARK-43516
  • Novo avaliador de regressão logística do pyspark ML implementado na parte superior do distribuidor SPARK-43097
  • Adicionar Classifier.getNumClasses de volta SPARK-42526
  • Escrever uma classe de aprendizado distribuído do Deepspeed DeepspeedTorchDistributor SPARK-44264
  • Implementação básica de salvamento/carregamento para ML no Spark Connect SPARK-43981
  • Melhorar o modelo de regressão logística salvando SPARK-43097
  • Implementar o avaliador de pipeline para ML no Spark Connect SPARK-43982
  • Implementar o avaliador de validador cruzado SPARK-43983
  • Implementar o avaliador de classificação SPARK-44250
  • Tornar o distribuidor PyTorch compatível com o Spark Connect SPARK-42993

Interface do usuário

  • Adicionar uma página de interface do usuário do Spark para Spark Connect SPARK-44394
  • Suporte à coluna histograma do Heap na guia Executores SPARK-44153
  • Mostrar mensagem de erro na interface do usuário para cada consulta com falha SPARK-44367
  • Exibir adicionar/remover tempo de executores na guia Executores SPARK-44309

Build e outros

Remoções, substituições e alterações de comportamento

Remoção futura

Os recursos a seguir serão removidos na próxima versão principal do Spark

  • Suporte para Java 8 e Java 11, e a versão mínima do Java com suporte será Java 17
  • O suporte para Scala 2.12 e a versão mínima do Scala com suporte será 2.13

Guias de Migração

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 clique 8.0.4 comm 0.1.2
contourpy 1.0.5 criptografia 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
em execução 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 Biblioteca de runtime do GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 empacotando 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
solicitações 2.28.1 rope 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2023-07-13.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 sinal de interpolação 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credenciais 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 genéricos 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elemento gráfico 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1,7
MASS 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0,45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1