Databricks Runtime 14.0 (sem suporte)

  • Artigo

As seguintes notas de versão fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

A Databricks divulgou essas imagens em setembro de 2023.

Novos recursos e melhorias

E/S preditiva para atualizações é GA

A E/S preditiva para atualizações agora está disponível para o público em geral. Consulte O que é E/S preditiva?.

Os vetores de exclusão são GA

Os vetores de exclusão agora estão geralmente disponíveis. Consulte O que são vetores de exclusão?.

Spark 3.5.0 é GA

O Apache Spark 3.5.0 já está disponível para o público em geral. Consulte Spark Release 3.5.0.

Visualização pública para funções de tabela definidas pelo usuário para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Consulte O que são funções de tabela definidas pelo usuário do Python?.

Visualização pública para simultaneidade em nível de linha

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas, detetando alterações no nível da linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isso inclui código como %sh Python ou R que não usam o Spark. Consulte Qual é o diretório de trabalho atual padrão?.

Problema conhecido com o sparklyr

A versão instalada do pacote (versão 1.8.1) não é compatível com o sparklyr Databricks Runtime 14.0. Para usar sparklyro , instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superior, os clusters compartilhados agora usam o Spark Connect com o Spark Driver do Python REPL por padrão. As APIs internas do Spark não são mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver do REPL, em vez da integração REPL herdada.

Listar versões disponíveis da atualização da API do Spark

Habilite o Photon definindo runtime_engine = PHOTONe habilite aarch64 escolhendo um tipo de instância graviton. O Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API da versão do Spark retornava tempos de execução específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações interruptivas

No Databricks Runtime 14.0 e superior, os clusters com modo de acesso compartilhado usam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso compartilhado, consulte Limitações do modo de acesso de computação para o Unity Catalog.

Python em clusters com modo de acesso compartilhado

  • sqlContext não está disponível. O Azure Databricks recomenda o uso da spark variável para a SparkSession instância.
  • O Spark Context (sc) não está mais disponível em Blocos de Anotações ou ao usar o Databricks Connect em um cluster com modo de acesso compartilhado. As seguintes sc funções não estão mais disponíveis:
    • emptyRDD, , , , , textFileuiWebUrlsequenceFilebinaryRecordswholeTextFilessetJobGroupunionstopnewAPIHadoopRDDhadoopFilehadoopRDDsetSystemPropertysetLocalPropertybinaryFilesrunJobpickleFilenewAPIHadoopFileparallelizeinit_batched_serializerrangegetConf
  • O recurso Informações do Conjunto de Dados não é mais suportado.
  • Não há mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, , e _jmap_jcols não são mais suportadas.
  • Ao acessar valores de configuração usando spark.conf apenas o tempo de execução dinâmico, os valores de configuração são acessíveis.
  • Os comandos de análise Delta Live Tables ainda não são suportados em clusters compartilhados.

Delta em clusters com modo de acesso compartilhado

  • Em Python, não há mais uma dependência da JVM ao consultar o Apache Spark. APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuildere DeltaOptimizeBuilder._jbuilder não são mais suportadas.

SQL em clusters com modo de acesso compartilhado

  • DBCACHE e DBUNCACHE os comandos não são mais suportados.
  • Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • asttokens de 2.2.1 a 2.0.5
    • attrs de 21.4.0 a 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certifi de 2022.9.14 a 2022.12.7
    • Criptografia de 37.0.1 a 39.0.1
    • depuração de 1.6.0 a 1.6.7
    • docstring-to-markdown de 0,12 a 0,11
    • execução de 1.2.0 a 0.8.3
    • facetas-visão geral de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • IDNA de 3,3 a 3,4
    • ipykernel de 6.17.1 a 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 para 6.5.4
    • nbformat de 5.5.0 a 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • notebook de 6.4.12 a 6.5.2
    • numpy de 1.21.5 a 1.23.5
    • embalagem de 21,3 a 22,0
    • pandas de 1.4.4 a 1.5.3
    • PathSpec de 0.9.0 a 0.10.3
    • patsy de 0.5.2 a 0.5.3
    • Almofada de 9.2.0 a 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 a 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • setuptools de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 a 2.3.2.post1
    • dados de pilha de 0.6.2 a 0.2.0
    • statsmodels de 0.13.2 a 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • traços de 5.1.1 a 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • roda de 0.37.1 a 0.38.4
  • Bibliotecas R atualizadas:
    • seta de 10.0.1 a 12.0.1
    • base de 4.2.2 a 4.3.1
    • Blob de 1.2.3 a 1.2.4
    • Vassoura de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • Cursor de 6,0-93 a 6,0-94
    • Chron de 2.3-59 a 2.3-61
    • classe de 7.3-21 a 7.3-22
    • CLI de 3.6.0 a 3.6.1
    • relógio de 0.6.1 a 0.7.0
    • marca comum de 1.8.1 a 1.9.0
    • Compilador de 4.2.2 a 4.3.1
    • CPP11 de 0.4.3 a 0.4.4
    • curvatura de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjuntos de dados de 4.2.2 a 4.3.1
    • DBPlyr de 2.3.0 a 2.3.3
    • digest de 0.6.31 a 0.6.33
    • Downlit de 0.4.2 para 0.4.3
    • dplyr de 1.1.0 a 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • avaliar de 0,20 a 0,21
    • fastmap de 1.1.0 a 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • futuro de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gargarejo de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • GH de 1.3.1 a 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • GoogleDrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • grDevices de 4.2.2 a 4.3.1
    • grelha de 4.2.2 a 4.3.1
    • gtable de 0.3.1 a 0.3.3
    • Hardhat de 1.2.0 a 1.3.0
    • refúgio de 2.5.1 a 2.5.3
    • HMS de 1.1.2 a 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 a 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • HTTR de 1.4.4 a 1.4.6
    • ipred de 0,9-13 a 0,9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2.23-20 a 2.23-21
    • knitr de 1,42 a 1,43
    • mais tarde, de 1.3.0 para 1.3.1
    • rede de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubridato de 1.9.1 a 1.9.2
    • markdown de 1,5 para 1,7
    • MASSA de 7,3-58,2 a 7,3-60
    • Matriz de 1,5-1 a 1,5-4,1
    • Métodos de 4.2.2 a 4.3.1
    • mgcv de 1.8-41 a 1.8-42
    • Modelador de 0.1.10 a 0.1.11
    • nnet de 7,3-18 a 7,3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • paralelamente de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild de 1.4.0 a 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • pROC de 1.18.0 a 1.18.4
    • processx de 3.8.0 a 3.8.2
    • prodlim de 2019.11.13 a 2023.03.31
    • Profvis de 0.3.7 a 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • readr de 2.1.3 a 2.1.4
    • readxl de 1.4.2 a 1.4.3
    • receitas de 1.0.4 a 1.0.6
    • RLANG de 1.0.6 a 1.1.1
    • rmarkdown de 2,20 para 2,23
    • Reserve de 1.8-12 a 1.8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0.14 a 0.15.0
    • sass de 0.4.5 a 0.4.6
    • brilhante de 1.7.4 a 1.7.4.1
    • Sparklyr de 1.7.9 a 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • Estatísticas de 4.2.2 a 4.3.1
    • stats4 de 4.2.2 a 4.3.1
    • sobrevida de 3,5-3 a 3,5-5
    • sys de 3.4.1 a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • ensaio de 3.1.6 a 3.1.10
    • Tibble de 3.1.8 a 3.2.1
    • Tidyverse de 1.3.2 a 2.0.0
    • tinytex de 0,44 a 0,45
    • Ferramentas de 4.2.2 a 4.3.1
    • TZDB de 0.3.0 a 0.4.0
    • usethis de 2.1.6 a 2.2.2
    • utils de 4.2.2 a 4.3.1
    • VCTRS de 0.5.2 a 0.6.3
    • viridisLite de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • Waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 a 2.3.0
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-anotações de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 a 1.9.0
    • commons-codec.commons-codec de 1.15 a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.aircompressor de 0,21 a 0,24
    • io.dropwizard.metrics.metrics-core de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-grafite de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transporte de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1.21 a 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9-sombreado de 4,22 a 4,23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2,36 a 2,40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-client de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-comum de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-server de 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2,36 a 2,40
    • org.javassist.javassist de 3.25.0-GA a 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 a 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1,33 a 2,0

Faísca Apache

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • Agora você pode definir a variável SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 de ambiente de cluster para usar o conector Spark-snowflake v2.12.0.
  • [FAÍSCA-44877] [DBRRM-482] [SC-140437] [CONECTAR] [PYTHON] Suporte python protobuf funções para Spark Connect
  • [FAÍSCA-44882] [DBRRM-463] [SC-140430] [PYTHON] [CONECTAR] Remover função uuid/random/chr do PySpark
  • [FAÍSCA-44740] [DBRRM-462] [SC-140320] [CONECTAR] [SEGUIR] Corrigir valores de metadados para artefatos
  • [FAÍSCA-44822] [DBRRM-464] [PYTHON] [SQL] Tornar UDTFs Python por padrão não-determinísticos
  • [FAÍSCA-44836] [DBRRM-468] [SC-140228] [PYTHON] Seta Refator: Python UDTF
  • [FAÍSCA-44738] [DBRRM-462] [SC-139347] [PYTHON] [CONECTAR] Adicionar metadados de cliente ausentes a chamadas
  • [FAÍSCA-44722] [DBRRM-462] [SC-139306] [CONECTAR] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: O objeto 'NoneType' não tem nenhum atributo 'message'
  • [FAÍSCA-44625] [DBRRM-396] [SC-139535] [CONECTAR] SparkConnectExecutionManager para controlar todas as execuções
  • [FAÍSCA-44663] [SC-139020] [DBRRM-420] [PYTHON] Desativar a otimização de setas por padrão para UDTFs Python
  • [FAÍSCA-44709] [DBRRM-396] [SC-139250] [CONECTAR] Execute ExecuteGrpcResponseSender em executar reconectável em novo thread para corrigir o controle de fluxo
  • [FAÍSCA-44656] [DBRRM-396] [SC-138924] [CONECTAR] Tornar todos os iteradores CloseableIterators
  • [FAÍSCA-44671] [DBRRM-396] [SC-138929] [PYTHON] [CONECTAR] Tente novamente ExecutePlan caso a solicitação inicial não tenha chegado ao servidor no cliente Python
  • [FAÍSCA-44624] [DBRRM-396] [SC-138919] [CONECTAR] Tente novamente ExecutePlan caso a solicitação inicial não chegue ao servidor
  • [FAÍSCA-44574] [DBRRM-396] [SC-138288] [SQL] [CONECTAR] Os erros movidos para sq/api também devem usar AnalysisException
  • [FAÍSCA-44613] [DBRRM-396] [SC-138473] [CONECTAR] Adicionar objeto Encoders
  • [FAÍSCA-44626] [DBRRM-396] [SC-138828] [SS] [CONECTAR] Acompanhamento do encerramento da consulta de streaming quando a sessão do cliente atinge o tempo limite do Spark Connect
  • [FAÍSCA-44642] [DBRRM-396] [SC-138882] [CONECTAR] ReleaseExecute em ExecutePlanResponseReattachableIterator depois de receber erro do servidor
  • [FAÍSCA-41400] [DBRRM-396] [SC-138287] [CONECTAR] Remover dependência do Connect Client Catalyst
  • [FAÍSCA-44664] [DBRRM-396] [PYTHON] [CONECTAR] Solte o execute ao fechar o iterador no cliente Python
  • [FAÍSCA-44631] [DBRRM-396] [SC-138823] [CONECTAR] [CORE] [14.0.0] Remova o diretório baseado em sessão quando o cache de sessão isolado for removido
  • [FAÍSCA-42941] [DBRRM-396] [SC-138389] [SS] [CONECTAR] Python StreamingQueryListener
  • [FAÍSCA-44636] [DBRRM-396] [SC-138570] [CONECTAR] Não deixe iteradores pendurados
  • [FAÍSCA-44424] [DBRRM-396] [CONECTAR] [PYTHON] [14.0.0] Cliente Python para religar a execução existente no Spark Connect
  • [FAÍSCA-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
  • [FAÍSCA-44538] [SC-138178] [CONECTAR] [SQL] Restabelecer Row.jsonValue e amigos
  • [FAÍSCA-44421] [SC-138434] [FAÍSCA-44423] [CONECTAR] Execução reconectável no Spark Connect
  • [FAÍSCA-44418] [SC-136807] [PYTHON] [CONECTAR] Atualizar protobuf de 3.19.5 para 3.20.3
  • [FAÍSCA-44587] [SC-138315] [SQL] [CONECTAR] Aumentar o limite de recursão do protobuf marshaller
  • [FAÍSCA-44591] [SC-138292] [CONECTAR] [SQL] Adicionar jobTags a SparkListenerSQLExecutionStart
  • [FAÍSCA-44610] [SC-138368] [SQL] DeduplicateRelations deve reter metadados Alias ao criar uma nova instância
  • [FAÍSCA-44542] [SC-138323] [CORE] Carregue ansiosamente a classe SparkExitCode no manipulador de exceções
  • [FAÍSCA-44264] [SC-138143] [PYTHON] Teste E2E para Deepspeed
  • [FAÍSCA-43997] [SC-138347] [CONECTAR] Adicionar suporte para Java UDFs
  • [FAÍSCA-44507] [SQL] [CONECTAR] [14.x] [14.0] Mover AnalysisException para sql/api
  • [FAÍSCA-44453] [SC-137013] [PYTHON] Use difflib para exibir erros em assertDataFrameEqual
  • [FAÍSCA-44394] [SC-138291] [CONECTAR] [WEBUI] [14.0] Adicionar uma página de IU do Spark para o Spark Connect
  • [FAÍSCA-44611] [SC-138415] [CONECTAR] Não excluir scala-xml
  • [FAÍSCA-44531] [SC-138044] [CONECTAR] [SQL] [14.x] [14.0] Mover a inferência do codificador para sql/api
  • [FAÍSCA-43744] [SC-138289] [CONECTAR] [14.x] [14.0] Corrigir problema de carregamento de classe cau...
  • [FAÍSCA-44590] [SC-138296] [SQL] [CONECTAR] Remova o limite de registro de lote de seta para SqlCommandResult
  • [FAÍSCA-43968] [SC-138115] [PYTHON] Melhorar mensagens de erro para Python UDTFs com número errado de saídas
  • [FAÍSCA-44432] [SC-138293] [SS] [CONECTAR] Encerrar consultas de streaming quando uma sessão expira no Spark Connect
  • [FAÍSCA-44584] [SC-138295] [CONECTAR] Definir informações client_type para AddArtifactsRequest e ArtifactStatusesRequest no cliente Scala
  • [FAÍSCA-44552] [14.0] [SC-138176] [SQL] Remover private object ParseState definição de IntervalUtils
  • [FAÍSCA-43660] [SC-136183] [CONECTAR] [PS] Ativar resample com o Spark Connect
  • [FAÍSCA-44287] [SC-136223] [SQL] Use a API PartitionEvaluator nos operadores SQL RowToColumnarExec & ColumnarToRowExec.
  • [FAÍSCA-39634] [SC-137566] [SQL] Permitir a divisão de arquivos em combinação com a geração de índice de linha
  • [FAÍSCA-44533] [SC-138058] [PYTHON] Adicione suporte para arquivos acumuladores, broadcast e Spark na análise do Python UDTF
  • [FAÍSCA-44479] [SC-138146] [PYTHON] Corrigir ArrowStreamPandasUDFSerializer para aceitar pandas sem coluna DataFrame
  • [FAÍSCA-44425] [SC-138177] [CONECTAR] Valide se sessionId fornecido pelo usuário é um UUID
  • [FAÍSCA-44535] [SC-138038] [CONECTAR] [SQL] Mover a API de streaming necessária para sql/api
  • [FAÍSCA-44264] [SC-136523] [ML] [PYTHON] Escreva uma aula de aprendizagem distribuída Deepspeed DeepspeedTorchDistributor
  • [FAÍSCA-42098] [SC-138164] [SQL] Fix ResolveInlineTables não pode manipular com a expressão RuntimeReplaceable
  • [FAÍSCA-44060] [SC-135693] [SQL] Code-gen para junção de hash embaralhada externa do lado da construção
  • [FAÍSCA-44496] [SC-137682] [SQL] [CONECTAR] Mover interfaces necessárias para o SCSC para sql/api
  • [FAÍSCA-44532] [SC-137893] [CONECTAR] [SQL] Mover ArrowUtils para sql/api
  • [FAÍSCA-44413] [SC-137019] [PYTHON] Esclarecer erro para tipo de dados arg não suportado em assertDataFrameEqual
  • [FAÍSCA-44530] [SC-138036] [CORE] [CONECTAR] Mover SparkBuildInfo para common/util
  • [FAÍSCA-36612] [SC-133071] [SQL] Suporte à junção externa esquerda construir à esquerda ou à direita junção externa construir à direita na junção hash embaralhada
  • [FAÍSCA-44519] [SC-137728] [CONECTAR] SparkConnectServerUtils gerou parâmetros incorretos para jars
  • [FAÍSCA-44449] [SC-137818] [CONECTAR] Upcasting para desserialização direta de setas
  • [FAÍSCA-44131] [SC-136346] [SQL] Adicionar call_function e depreciar call_udf para a API do Scala
  • [FAÍSCA-44541] [SQL] Remova a função hasRangeExprAgainstEventTimeCol inútil de UnsupportedOperationChecker
  • [FAÍSCA-44523] [SC-137859] [SQL] MaxRows/maxRowsPerPartition do filtro é 0 se a condição for FalseLiteral
  • [FAÍSCA-44540] [SC-137873] [UI] Remover folhas de estilo e arquivos javascript não utilizados de jsonFormatter
  • [FAÍSCA-44466] [SC-137856] [SQL] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
  • [FAÍSCA-44477] [SC-137508] [SQL] Tratar TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
  • [FAÍSCA-44509] [SC-137855] [PYTHON] [CONECTAR] Adicionar API de cancelamento de trabalho definida no cliente Python do Spark Connect
  • [FAÍSCA-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
  • [FAÍSCA-38476] [SC-136448] [CORE] Usar classe de erro em org.apache.spark.storage
  • [FAÍSCA-44486] [SC-137817] [PYTHON] [CONECTAR] Implementar o recurso PyArrow self_destruct para toPandas
  • [FAÍSCA-44361] [SC-137200] [SQL] Usar a API PartitionEvaluator no MapInBatchExec
  • [FAÍSCA-44510] [SC-137652] [UI] Atualize dataTables para 1.13.5 e remova alguns arquivos png não alcançados
  • [FAÍSCA-44503] [SC-137808] [SQL] Adicionar gramática SQL para a cláusula PARTITION BY e ORDER BY após os argumentos TABLE para chamadas TVF
  • [FAÍSCA-38477] [SC-136319] [CORE] Usar classe de erro em org.apache.spark.shuffle
  • [FAÍSCA-44299] [SC-136088] [SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
  • [FAÍSCA-44422] [SC-137567] [CONECTAR] Interrupção granulada fina do Spark Connect
  • [FAÍSCA-44380] [SC-137415] [SQL] [PYTHON] Suporte para Python UDTF para analisar em Python
  • [FAÍSCA-43923] [SC-137020] [CONECTAR] Pós-ouvinteEventos durin...
  • [FAÍSCA-44303] [SC-136108] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2320-2324]
  • [FAÍSCA-44294] [SC-135885] [UI] Corrigir coluna HeapHistogram mostra inesperadamente w / select-all-box
  • [FAÍSCA-44409] [SC-136975] [SQL] Manipule char/varchar de Dataset.to para manter a consistência com os outros
  • [FAÍSCA-44334] [SC-136576] [SQL] [UI] O status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FALHADO em vez de CONCLUÍDO
  • [FAÍSCA-42309] [SC-136703] [SQL] Introduzir INCOMPATIBLE_DATA_TO_TABLE e subclasses.
  • [FAÍSCA-44367] [SC-137418] [SQL] [UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
  • [FAÍSCA-44474] [SC-137195] [CONECTAR] Reative "Test observe response" no SparkConnectServiceSuite
  • [FAÍSCA-44320] [SC-136446] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [FAÍSCA-44310] [SC-136055] [CONECTAR] O log de inicialização do Connect Server deve exibir o nome do host e a porta
  • [FAÍSCA-44309] [SC-136193] [UI] Exibir Adicionar/Remover Tempo de Executores na guia Executores
  • [FAÍSCA-42898] [SC-137556] [SQL] Marque que as versões de cadeia de caracteres/data não precisam de id de fuso horário
  • [FAÍSCA-44475] [SC-137422] [SQL] [CONECTAR] Realoque DataType e Parser para sql/api
  • [FAÍSCA-44484] [SC-137562] [SS] Adicionar batchDuration ao método json StreamingQueryProgress
  • [FAÍSCA-43966] [SC-137559] [SQL] [PYTHON] Suporte a funções não determinísticas com valor de tabela
  • [FAÍSCA-44439] [SC-136973] [CONECTAR] [SS] Lista fixaListeners para enviar apenas ids de volta ao cliente
  • [FAÍSCA-44341] [SC-137054] [SQL] [PYTHON] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
  • [FAÍSCA-43839] [SC-132680] [SQL] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [FAÍSCA-44244] [SC-135703] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2305-2309]
  • [FAÍSCA-44201] [SC-136778] [CONECTAR] [SS] Adicionar suporte para Streaming Listener no Scala for Spark Connect
  • [FAÍSCA-44260] [SC-135618] [SQL] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] & Use checkError() para verificar Exception in _CharVarchar_Suite
  • [FAÍSCA-42454] [SC-136913] [SQL] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
  • [FAÍSCA-44292] [SC-135844] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2315-2319]
  • [FAÍSCA-44396] [SC-137221] [Conectar] Desserialização de seta direta
  • [FAÍSCA-44324] [SC-137172] [SQL] [CONECTAR] Mover CaseInsensitiveMap para sql/api
  • [FAÍSCA-44395] [SC-136744] [SQL] Adicionar teste de volta ao StreamingTableSuite
  • [FAÍSCA-44481] [SC-137401] [CONECTAR] [PYTHON] Tornar o pyspark.sql.is_remote uma API
  • [FAÍSCA-44278] [SC-137400] [CONECTAR] Implementar um intercetador de servidor GRPC que limpe as propriedades locais do thread
  • [FAÍSCA-44264] [SC-137211] [ML] [PYTHON] Suporte ao treinamento distribuído de funções usando Deepspeed
  • [FAÍSCA-44430] [SC-136970] [SQL] Adicionar causa a quando a AnalysisException opção é inválida
  • [FAÍSCA-44264] [SC-137167] [ML] [PYTHON] Incorporando o FunctionPickler no TorchDistributor
  • [FAÍSCA-44216] [SC-137046] [PYTHON] Tornar a API assertSchemaEqual pública
  • [FAÍSCA-44398] [SC-136720] [CONECTAR] Scala foreachBatch API
  • [FAÍSCA-43203] [SC-134528] [SQL] Mover todas as maiúsculas e minúsculas da tabela de largar para DataSource V2
  • [FAÍSCA-43755] [SC-137171] [CONECTAR] [MENOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar copiar em MetricGenerator
  • [FAÍSCA-44264] [SC-137187] [ML] [PYTHON] Refatoração TorchDistributor para permitir ponteiro de função "run_training_on_file" personalizado
  • [FAÍSCA-43755] [SC-136838] [CONECTAR] Mover a execução de SparkExecutePlanStreamHandler para um thread diferente
  • [FAÍSCA-44411] [SC-137198] [SQL] Use a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
  • [FAÍSCA-44375] [SC-137197] [SQL] Usar a API PartitionEvaluator no DebugExec
  • [FAÍSCA-43967] [SC-137057] [PYTHON] Suporta UDTFs Python regulares com valores de retorno vazios
  • [FAÍSCA-43915] [SC-134766] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [FAÍSCA-43965] [SC-136929] [PYTHON] [CONECTAR] Suporte Python UDTF no Spark Connect
  • [FAÍSCA-44154] [SC-137050] [SQL] Adicionado mais testes de unidade para BitmapExpressionUtilsSuite e fez pequenas melhorias para Bitmap Aggregate Expressions
  • [FAÍSCA-44169] [SC-135497] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [FAÍSCA-44353] [SC-136578] [CONECTAR] [SQL] Remover StructType.toAttributes
  • [FAÍSCA-43964] [SC-136676] [SQL] [PYTHON] Suporta UDTFs Python otimizados para setas
  • [FAÍSCA-44321] [SC-136308] [CONECTAR] Desacoplar ParseException de AnalysisException
  • [FAÍSCA-44348] [SAS-1910] [SC-136644] [CORE] [CONECTAR] [PYTHON] Reativar test_artifact com alterações relevantes
  • [FAÍSCA-44145] [SC-136698] [SQL] Retorno de chamada quando estiver pronto para execução
  • [FAÍSCA-43983] [SC-136404] [PYTHON] [ML] [CONECTAR] Habilitar o teste do estimador do validador cruzado
  • [FAÍSCA-44399] [SC-136669] [PYHTON] [CONECTAR] Importe SparkSession em Python UDF somente quando useArrow for None
  • [FAÍSCA-43631] [SC-135300] [CONECTAR] [PS] Habilite o Series.interpolate com o Spark Connect
  • [FAÍSCA-44374] [SC-136544] [PYTHON] [ML] Adicionar código de exemplo para ML distribuído para conexão de faísca
  • [FAÍSCA-44282] [SC-135948] [CONECTAR] Preparar a análise DataType para uso no Spark Connect Scala Client
  • [FAÍSCA-44052] [SC-134469] [CONECTAR] [PS] Adicione util para obter a classe Column ou DataFrame adequada para o Spark Connect.
  • [FAÍSCA-43983] [SC-136404] [PYTHON] [ML] [CONECTAR] Implementar estimador de validador cruzado
  • [FAÍSCA-44290] [SC-136300] [CONECTAR] Arquivos e arquivos baseados em sessão no Spark Connect
  • [FAÍSCA-43710] [SC-134860] [PS] [CONECTAR] Suporte functions.date_part para Spark Connect
  • [FAÍSCA-44036] [SC-134036] [CONECTAR] [PS] Limpeza e consolidação de tíquetes para simplificar as tarefas.
  • [FAÍSCA-44150] [SC-135790] [PYTHON] [CONECTAR] Conversão de seta explícita para tipo de retorno incompatível na seta Python UDF
  • [FAÍSCA-43903] [SC-134754] [PYTHON] [CONECTAR] Melhorar o suporte de entrada ArrayType no Arrow Python UDF
  • [FAÍSCA-44250] [SC-135819] [ML] [PYTHON] [CONECTAR] Implementar avaliador de classificação
  • [FAÍSCA-44255] [SC-135704] [SQL] Realoque StorageLevel para common/utils
  • [FAÍSCA-42169] [SC-135735] [SQL] Implementar geração de código para to_csv função (StructsToCsv)
  • [FAÍSCA-44249] [SC-135719] [SQL] [PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [FAÍSCA-43353] [SC-132734] [PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [FAÍSCA-44133] [SC-134795] [PYTHON] Atualize o MyPy de 0.920 para 0.982
  • [FAÍSCA-42941] [SC-134707] [SS] [CONECTAR] [1/2] StreamingQueryListener - Serde de eventos em formato JSON
  • [FAÍSCA-43353] Reverter "[SC-132734][ES-729763][PYTHON] Migrar erros de sessão restantes para a classe de erro"
  • [FAÍSCA-44100] [SC-134576] [ML] [CONECTAR] [PYTHON] Mover namespace de pyspark.mlv2 para pyspark.ml.connect
  • [FAÍSCA-44220] [SC-135484] [SQL] Mover StringConcat para sql/api
  • [FAÍSCA-43992] [SC-133645] [SQL] [PYTHON] [CONECTAR] Adicionar padrão opcional para Catalog.listFunctions
  • [FAÍSCA-43982] [SC-134529] [ML] [PYTHON] [CONECTAR] Implementar o estimador de pipeline para ML na conexão de faísca
  • [FAÍSCA-43888] [SC-132893] [CORE] Realoque o registro em log para common/utils
  • [FAÍSCA-42941] Reverter "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde em formato JSON"
  • [FAÍSCA-43624] [SC-134557] [PS] [CONECTAR] Adicionar EWM ao SparkConnectPlanner.
  • [FAÍSCA-43981] [SC-134137] [PYTHON] [ML] Implementação básica de poupança/carregamento para ML na ligação de faísca
  • [FAÍSCA-43205] [SC-133371] [SQL] corrigir SQLQueryTestSuite
  • [FAÍSCA-43376] Reverter "[SC-130433][SQL] Melhorar a subconsulta de reutilização com cache de tabela"
  • [FAÍSCA-44040] [SC-134366] [SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
  • [FAÍSCA-43919] [SC-133374] [SQL] Extrair a funcionalidade JSON da linha
  • [FAÍSCA-42618] [SC-134433] [PYTHON] [PS] Aviso para as alterações de comportamento relacionadas aos pandas na próxima versão principal
  • [FAÍSCA-43893] [SC-133381] [PYTHON] [CONECTAR] Suporte a tipos de dados não atômicos em UDF Python otimizado para seta
  • [FAÍSCA-43627] [SC-134290] [FAÍSCA-43626] [PS] [CONECTAR] Habilite pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
  • [FAÍSCA-43798] [SC-133990] [SQL] [PYTHON] Suporta funções de tabela definidas pelo usuário Python
  • [FAÍSCA-43616] [SC-133849] [PS] [CONECTAR] Ativar pyspark.pandas.spark.functions.mode no Spark Connect
  • [FAÍSCA-43133] [SC-133728] Suporte a Scala Client DataStreamWriter Foreach
  • [FAÍSCA-43684] [SC-134107] [FAÍSCA-43685] [FAÍSCA-43686] [FAÍSCA-43691] [CONECTAR] [PS] Correção (NullOps|NumOps).(eq|ne) para o Spark Connect.
  • [FAÍSCA-43645] [SC-134151] [FAÍSCA-43622] [PS] [CONECTAR] Ativar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
  • [FAÍSCA-43617] [SC-133893] [PS] [CONECTAR] Ativar pyspark.pandas.spark.functions.product no Spark Connect
  • [FAÍSCA-43610] [SC-133832] [CONECTAR] [PS] Habilite InternalFrame.attach_distributed_column no Spark Connect.
  • [FAÍSCA-43621] [SC-133852] [PS] [CONECTAR] Ativar pyspark.pandas.spark.functions.repeat no Spark Connect
  • [FAÍSCA-43921] [SC-133461] [PROTOBUF] Gerar arquivos descritores Protobuf em tempo de compilação
  • [FAÍSCA-43613] [SC-133727] [PS] [CONECTAR] Ativar pyspark.pandas.spark.functions.covar no Spark Connect
  • [FAÍSCA-43376] [SC-130433] [SQL] Melhorar a subconsulta de reutilização com cache de tabela
  • [FAÍSCA-43612] [SC-132011] [CONECTAR] [PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
  • [FAÍSCA-43920] [SC-133611] [SQL] [CONECTAR] Criar módulo sql/api
  • [FAÍSCA-43097] [SC-133372] [ML] Novo estimador de regressão logística pyspark ML implementado em cima do distribuidor
  • [FAÍSCA-43783] [SC-133240] [FAÍSCA-43784] [FAÍSCA-43788] [ML] Make MLv2 (ML on spark connect) suporta pandas >= 2.0
  • [FAÍSCA-43024] [SC-132716] [PYTHON] Atualize os pandas para 2.0.0
  • [FAÍSCA-43881] [SC-133140] [SQL] [PYTHON] [CONECTAR] Adicionar padrão opcional para Catalog.listDatabases
  • [FAÍSCA-39281] [SC-131422] [SQL] Acelere a inferência do tipo Timestamp com o formato herdado na fonte de dados JSON/CSV
  • [FAÍSCA-43792] [SC-132887] [SQL] [PYTHON] [CONECTAR] Adicionar padrão opcional para Catalog.listCatalogs
  • [FAÍSCA-43132] [SC-131623] [SS] [CONECTAR] Python Client DataStreamWriter foreach() API
  • [FAÍSCA-43545] [SC-132378] [SQL] [PYTHON] Suporte ao tipo de carimbo de data/hora aninhado
  • [FAÍSCA-43353] [SC-132734] [PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [FAÍSCA-43304] [SC-129969] [CONECTAR] [PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
  • [FAÍSCA-43516] [SC-132202] [ML] [PYTHON] [CONECTAR] Interfaces de base do sparkML para spark3.5: estimador/transformador/modelo/avaliador
  • [FAÍSCA-43128] Reverter "[SC-131628][CONNECT][SS] Tornar recentProgress e lastProgress retornar StreamingQueryProgress consistente com a API Scala nativa"
  • [FAÍSCA-43543] [SC-131839] [PYTHON] Corrigir o comportamento MapType aninhado no Pandas UDF
  • [FAÍSCA-38469] [SC-131425] [CORE] Usar classe de erro em org.apache.spark.network
  • [FAÍSCA-43309] [SC-129746] [FAÍSCA-38461] [CORE] Estenda INTERNAL_ERROR com categorias e adicione classe de erro INTERNAL_ERROR_BROADCAST
  • [FAÍSCA-43265] [SC-129653] Mover a estrutura de erro para um módulo utils comum
  • [FAÍSCA-43440] [SC-131229] [PYTHON] [CONECTAR] Suporte ao registro de um UDF Python otimizado para seta
  • [FAÍSCA-43528] [SC-131531] [SQL] [PYTHON] Suporte a nomes de campos duplicados em createDataFrame com pandas DataFrame
  • [FAÍSCA-43412] [SC-130990] [PYTHON] [CONECTAR] Introduza SQL_ARROW_BATCHED_UDF o EvalType para UDFs Python otimizados para seta
  • [FAÍSCA-40912] [SC-130986] [CORE] Sobrecarga de exceções no KryoDeserializationStream
  • [FAÍSCA-39280] [SC-131206] [SQL] Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV
  • [FAÍSCA-43473] [SC-131372] [PYTHON] Suporte struct type em createDataFrame de pandas DataFrame
  • [FAÍSCA-43443] [SC-131024] [SQL] Adicionar referência para inferência de tipo de carimbo de data/hora ao usar valor inválido
  • [FAÍSCA-41532] [SC-130523] [CONECTAR] [CLIENTE] Adicionar verificação para operações que envolvem vários quadros de dados
  • [FAÍSCA-43296] [SC-130627] [CONECTAR] [PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
  • [FAÍSCA-43324] [SC-130455] [SQL] Manipular comandos UPDATE para fontes baseadas em delta
  • [FAÍSCA-43347] [SC-130148] [PYTHON] Remover suporte a Python 3.7
  • [FAÍSCA-43292] [SC-130525] [CORE] [CONECTAR] Mudar ExecutorClassLoader para o core módulo e simplificar Executor#addReplClassLoaderIfNeeded
  • [FAÍSCA-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor da tocha que carrega dados de dados de partição de faísca
  • [FAÍSCA-43331] [SC-130061] [CONECTAR] Adicionar Spark Connect SparkSession.interruptAll
  • [FAÍSCA-43306] [SC-130320] [PYTHON] Migrar ValueError de tipos Spark SQL para classe de erro
  • [FAÍSCA-43261] [SC-129674] [PYTHON] Migre TypeError de tipos Spark SQL para a classe de erro.
  • [FAÍSCA-42992] [SC-129465] [PYTHON] Introduza PySparkRuntimeError
  • [FAÍSCA-16484] [SC-129975] [SQL] Adicionar suporte para Datasketches HllSketch
  • [FAÍSCA-43165] [SC-128823] [SQL] Mover canWrite para DataTypeUtils
  • [FAÍSCA-43082] [SC-129112] [CONECTAR] [PYTHON] UDFs Python otimizadas para setas no Spark Connect
  • [FAÍSCA-43084] [SC-128654] [SS] Adicionar suporte applyInPandasWithState para conexão de faísca
  • [FAÍSCA-42657] [SC-128621] [CONECTAR] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [FAÍSCA-43098] [SC-77059] [SQL] Corrigir o bug COUNT de correção quando a subconsulta escalar tem grupo por cláusula
  • [FAÍSCA-42884] [SC-126662] [CONECTAR] Adicionar integração Ammonite REPL
  • [FAÍSCA-42994] [SC-128333] [ML] [CONECTAR] Suporte ao Distribuidor PyTorch Modo Local
  • [FAÍSCA-41498] [SC-125343] Reverter "Propagar metadados através da União"
  • [FAÍSCA-42993] [SC-127829] [ML] [CONECTAR] Tornar o PyTorch Distributor compatível com o Spark Connect
  • [FAÍSCA-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [FAÍSCA-42874] [SC-126442] [SQL] Habilite a nova estrutura de teste de arquivo dourado para análise de todos os arquivos de entrada
  • [FAÍSCA-42779] [SC-126042] [SQL] Permitir gravações V2 para indicar o tamanho da partição de shuffle consultivo
  • [FAÍSCA-42891] [SC-126458] [CONECTAR] [PYTHON] Implementar API de Mapa Coagrupado
  • [FAÍSCA-42791] [SC-126134] [SQL] Crie uma nova estrutura de teste de arquivo dourado para análise
  • [FAÍSCA-42615] [SC-124237] [CONECTAR] [PYTHON] Refatore o RPC do AnalyzePlan e adicione session.version
  • [FAÍSCA-41302] Reverter "[TODOS OS TESTES][SC-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [FAÍSCA-40770] [SC-122652] [PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema
  • [FAÍSCA-40770] Reverter "[ALL TESTS][SC-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [FAÍSCA-42398] [SC-123500] [SQL] Refinar o valor da coluna padrão DS v2 interface
  • [FAÍSCA-40770] [TODOS OS TESTES] [SC-122652] [PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema
  • [FAÍSCA-40770] Revert "[SC-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [FAÍSCA-40770] [SC-122652] [PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema
  • [FAÍSCA-42038] [TODOS OS TESTES] Reverter "Reverter "[SC-122533][SQL] SPJ: Suporte a distribuição parcialmente clusterizada""
  • [FAÍSCA-42038] Reverter "[SC-122533][SQL] SPJ: Suporte a distribuição parcialmente clusterizada"
  • [FAÍSCA-42038] [SC-122533] [SQL] SPJ: Suporta distribuição parcialmente agrupada
  • [FAÍSCA-40550] [SC-120989] [SQL] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta
  • [FAÍSCA-40770] Revert "[SC-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [FAÍSCA-40770] [SC-122652] [PYTHON] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema
  • [FAÍSCA-41302] Reverter "[SC-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [FAÍSCA-40550] Reverter "[SC-120989][SQL] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta"
  • [FAÍSCA-42123] Reverter "[SC-121453][SQL] Incluir valores padrão de coluna na saída DESCRIBE e SHOW CREATE TABLE"
  • [FAÍSCA-42146] [SC-121172] [CORE] Refatorar Utils#setStringField para fazer maven build pass quando o módulo sql usar este método
  • [FAÍSCA-42119] Reverter "[SC-121342][SQL] Adicionar funções internas com valor de tabela embutidas e inline_outer"

Destaques

Conexão de faísca

  • Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente Scala Spark Connect e o Spark e evita extrair todas as dependências transitivas do Spark. Faísca-44273
  • Apresentando o cliente Scala para Spark Connect SPARK-42554
  • Suporte da API Pandas para o Python Spark Connect Client SPARK-42497
  • Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
  • Suporte estruturado de streaming para Spark Connect em Python e Scala SPARK-42938
  • Versão inicial do cliente Go SPARK-43351
  • Muitas melhorias de compatibilidade entre o nativo do Spark e os clientes do Spark Connect em Python e Scala
  • Melhor capacidade de depuração e tratamento de solicitações para aplicativos cliente (processamento assíncrono, tentativas, consultas de longa duração)

SQL do Apache Spark

Funcionalidades

Funções

Data Sources (Origens de Dados)

Otimização de Consultas

Geração de código e execução de consultas

  • O filtro de tempo de execução deve suportar o lado de junção de shuffle de vários níveis como lado de criação de filtro SPARK-41674
  • Suporte Codegen para HiveSimpleUDF SPARK-42052
  • Suporte Codegen para HiveGenericUDF SPARK-42051
  • Suporte Codegen para hash embaralhado externo do lado da construção ingressar no SPARK-44060
  • Implementar geração de código para to_csv função (StructsToCsv) SPARK-42169
  • Tornar o suporte AQE InMemoryTableScanExec SPARK-42101
  • Suporte à construção de junção externa esquerda ou à direita na construção de junção externa à direita em hash embaralhado junte-se SPARK-36612
  • Respeito ExigeDistribuiçãoAndOrdenação em CTAS/RTAS SPARK-43088
  • Coalesce buckets na junção aplicada na transmissão do lado do fluxo SPARK-43107
  • Definir anulável corretamente na chave de junção coalesced no exterior completo USANDO join SPARK-44251
  • Corrigir a anulabilidade da subconsulta ListQuery SPARK-43413

Outras mudanças notáveis

PySpark

Funcionalidades

Outras mudanças notáveis

  • Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Depreciar ou remover as APIs que serão removidas no pandas 2.0 [SPARK-42593]
  • Faça do Python a primeira guia para exemplos de código - Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • Atualizando exemplos de código de documentação restantes do Spark para mostrar Python por padrão SPARK-42642
  • Usar nomes de campo desduplicados ao criar Arrow RecordBatch [SPARK-41971]
  • Suporte a nomes de campos duplicados em createDataFrame com pandas DataFrame [SPARK-43528]
  • Parâmetro Permitir colunas ao criar DataFrame com Série [SPARK-42194]

Principal

Transmissão em Fluxo Estruturada

ML

IU

Construir e Outros

Remoções, Alterações de Comportamento e Descontinuações

Próxima remoção

Os seguintes recursos serão removidos na próxima versão principal do Spark:

  • Suporte para Java 8 e Java 11, e a versão mínima suportada do Java será Java 17
  • Suporte para Scala 2.12, e a versão mínima suportada do Scala será 2.13

Guias de migração

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.3.1
  • Lago Delta: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Anyio 3.5.0 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.0.5 ATRs 22.1.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comm 0.1.2
contorno 1.0.5 criptografia 39.0.1 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.7 docstring-para-markdown 0,11 pontos de entrada 0.4
execução 0.8.3 facetas-visão geral 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 Fonttools 4.25.0 Biblioteca de tempo de execução do GCC 1.10.0
googleapis-comuns-protos 1.60.0 Grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadados 4.6.4
Ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
jsonschema 4.17.3 jupyter-cliente 7.3.4 jupyter-servidor 1.23.4
jupyter_core 5.2.0 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
porta-chaves 23.5.0 Kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mais-itertools 8.10.0
mypy-extensões 0.4.3 NBMédico 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 Ninho-Asyncio 1.5.6
nodeenv 1.8.0 bloco de notas 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 OAuthlib 3.2.0 embalagem 22.0
pandas 1.5.3 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Travesseiro 9.4.0 pip 22.3.1
plataformadirs 2.5.2 enredo 5.9.0 pluggy 1.0.0
Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
PSUTIL 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 setuptools 65.6.3 seis 1.16.0
sniffio 1.2.0 Soupsieve 2.3.2.post1 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels 0.13.5 tenacidade 8.1.0
terminado 0.17.1 ThreadPoolCtl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 Tomli 2.0.1 tornado 6.1
traços 5.7.1 typing_extensions 4.4.0 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 largura de wc 0.2.5 WebEncodings 0.5.1
Websocket-cliente 0.58.0 whatthepatch 1.0.2 roda 0.38.4
widgetsnbextension 3.6.1 Yapf 0.31.0 zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-07-13.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.5 BSLIB 0.5.0 cachem 1.0.8
Chamador 3.7.3 acento circunflexo 6.0-94 Cellranger 1.1.0
crono 2.3-61 classe 7.3-22 cli 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 configuração 0.3.1 conflituosos 1.2.0
CPP11 0.4.4 lápis de cor 1.5.2 credenciais 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 dplyr 1.1.2
DTPlyr 1.3.1 E1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 Fãsi 1.0.4 Farver 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 FORCATS 1.0.0
foreach 1.5.2 externa 0.8-82 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 future.apply 1.11.0
gargarejo 1.5.1 Genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globais 0.16.2 colar 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.1 grDevices 4.3.1 grelha 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
capacete 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 HTTR2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 Profvis 0.3.8 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Leitor 2.1.4 ReadXL 1.4.3 receitas 1.0.6
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de origem 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 espacial 7.3-15 splines 4.3.1
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
sobrevivência 3.5-5 sys 3.4.2 fontes do sistema 1.0.4
tcltk 4.3.1 testeatat 3.1.10 formatação de texto 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
Tidyverse 2.0.0 mudança de hora 0.2.0 timeDate 4022.108
Tinytex 0,45 ferramentas 4.3.1 TZDB 0.4.0
urlchecker 1.0.1 usethis 2.2.2 UTF8 1.2.3
utilitários 4.3.1 uuid 1.1-0 VCTRS 0.6.3
viridisLite 0.4.2 vroom 1.6.3 Waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.24
IO.Delta delta-compartilhamento-spark_2.12 0.7.1
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-meias 4.1.93.Final
io.netty netty-comum 4.1.93.Final
io.netty netty-manipulador 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty transporte de rede 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 12.0.1
org.apache.arrow seta-memória-núcleo 12.0.1
org.apache.arrow seta-memória-netty 12.0.1
org.apache.arrow vetor de seta 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapeado 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.9.0-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.0-protobuf sombreado
org.apache.orc Orc-calços 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty cais-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket API WebSocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-cliente 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-Comum 9.4.51.v20230217
org.eclipse.jetty.websocket servidor websocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1