Databricks Runtime 14.1
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.1, da plataforma Apache Spark 3.5.0.
O Databricks divulgou essas imagens em outubro de 2023.
Novos recursos e aprimoramentos
- array_insert() é baseado em 1 para índices negativos
- Pontos de verificação Delta v2 habilitados por padrão com o clustering líquido
- Remover o recurso de tabela Delta na Visualização Pública
- Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização pública)
- Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com mapeamento de colunas (Visualização pública)
- Transmissão nas exibições do Catálogo do Unity em versão prévia pública
- Conector Apache Pulsar em versão prévia pública
- Driver do Snowflake atualizado
- Variáveis de sessão SQL
- Invocação de parâmetro nomeado para UDF SQL e Python.
- Os argumentos de tabela para funções dão suporte a particionamento e ordenação.
- Funções SQL novas e aprimoradas internas
- Manipulação aprimorada de subconsultas correlacionadas
array_insert() é baseado em 1 para índices negativos
A função array_insert é baseada em 1 para índices positivos e negativos. Agora ele insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
Pontos de verificação Delta v2 habilitados por padrão com o clustering líquido
As tabelas Delta recém-criadas com o clustering líquido usam pontos de verificação v2 por padrão. Consulte Compatibilidade de tabelas com clustering líquido.
Remover o recurso de tabela Delta na Visualização Pública
Agora você pode descartar alguns recursos de tabela das tabelas Delta. O suporte atual inclui remover deletionVectors e v2Checkpoint. Consulte Remover os recursos da tabela Delta.
Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização Pública)
Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote em tabelas compartilhadas que usam vetores de exclusão. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.
Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização pública)
Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote em tabelas compartilhadas que usam mapeamento de colunas. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.
Transmissão nas exibições do Catálogo do Unity em versão prévia pública
Agora você já pode usar o Structured Streaming para realizar leituras de streaming nas exibições registradas no Catálogo do Unity. O Azure Databricks só dá suporte a leituras de streaming nas exibições definidas em tabelas Delta. Confira Transmissão nas exibições do Catálogo do Unity.
Conector Apache Pulsar em versão prévia pública
Agora você já pode usar o Streaming Estruturado para transmitir dados do Apache Pulsar no Azure Databricks. Confira Transmissão no Apache Pulsar.
Driver do Snowflake atualizado
O driver JDBC do Snowflake agora usa a versão 3.13.33.
Variáveis de Sessão SQL
Esta versão apresenta a capacidade de declarar variáveis temporárias em uma sessão, que podem ser definidas e, em seguida, referenciadas de dentro de consultas. Confira Variáveis.
Invocação de parâmetro nomeada para UDF SQL e Python.
Agora você pode usar a Invocação de parâmetro nomeado em UDF SQL e Python.
Os argumentos de tabela para funções dão suporte a particionamento e ordenação.
Agora você pode usar as cláusulas PARTITION BY e ORDER BY para controlar como os argumentos de tabela são passados para uma função durante a invocação da função.
Funções SQL internas novas e aprimoradas
As seguintes funções internas foram adicionadas:
- from_xml: analisa um XML
STRINGem umSTRUCT. - schema_of_xml: deriva um esquema de um XML
STRING. - session_user: retorna o usuário conectado.
- try_reflect: retorna
NULLem vez da exceção se um método Java falhar.
As seguintes funções internas foram aprimoradas:
- mode: suporte para um parâmetro opcional forçando um resultado determinístico.
- to_char: novo suporte para
DATE,TIMESTAMPeBINARY. - to_varchar: novo suporte para
DATE,TIMESTAMPeBINARY.
Manipulação aprimorada de subconsultas correlacionadas
A capacidade de processar correlação em subconsultas foi estendida:
- Manipule o limite e a ordem em subconsultas escalares (laterais) correlacionadas.
- Suporte a funções de janela em subconsultas escalares correlacionadas.
- Suporte a referências correlacionadas em predicados de junção para subconsultas escalares e laterais
Alteração de comportamento
Verificação de tipo estrito no leitor de Parquet do Photon
O Photon falha ao tentar ler um valor decimal de uma coluna do Parquet que não é um tipo decimal. O Photon também falha ao ler uma matriz de bytes de comprimento fixo do Parquet como uma cadeia de caracteres.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- filelock de 3.12.2 para 3.12.3
- s3transfer de 0.6.1 para 0.6.2
- Bibliotecas do Java atualizadas:
- com.uber.h3 de 3.7.0 a 3.7.3
- io.airlift.aircompressor de 0.24 para 0.25
- io.delta.delta-sharing-spark_2.12 de 0.7.1 para 0.7.5
- io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec-http de 4.1.93.Final para 4.1.96.Final
- io.netty.netty-codec-http2 de 4.1.93.Final para 4.1.96.Final
- io.netty.netty-codec-socks de 4.1.93.Final para 4.1.96.Final
- io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-handler-proxy de 4.1.93.Final para 4.1.96.Final
- io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-native-epoll de 4.1.93.Final-linux-x86_64 para 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.93.Final-osx-x86_64 para 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
- net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.33
- org.apache.orc.orc-core de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.0 a 1.9.1
Apache Spark
O Databricks Runtime 14.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.0 (sem suporte), bem como as seguintes correções de bug e melhorias adicionais feitas no Spark:
- [SPARK-45088] [DBRRM-557]Reverter "[SC-142785][PYTHON][CONNECT] Fazer o getitem funcionar com a coluna duplicada"
- [SPARK-43453] [DBRRM-557]Reverter "[SC-143135][PS] Ignorar o
namesdeMultiIndexquandoaxis=1paraconcat" - [SPARK-45225] [SC-143207] [SQL] XML: suporte à URL do arquivo XSD
- [SPARK-45156] [SC-142782] [SQL] Encapsula
inputNamepor aspas invertidas na classe de erroNON_FOLDABLE_INPUT - [SPARK-44910] [SC-143082] [SQL] Encoders.bean não dá suporte a superclasses com argumentos de tipo genérico
- [SPARK-43453] [SC-143135] [PS] Ignora o
namesdoMultiIndexquandoaxis=1paraconcat - [SPARK-44463] [SS] [CONNECT] Melhora o tratamento de erros para o trabalho do Python de streaming do Connect
- [SPARK-44960] [SC-141023] [Interface do usuário] Resumo de “unescape” e “consist” em páginas da interface do usuário
- [SPARK-44788] [SC-142980] [CONNECT] [PYTHON] [SQL] Adiciona from_xml e schema_of_xml à função pyspark, spark connect e sql
- [SPARK-44614] [SC-138460] [PYTHON] [CONNECT] [3.5] Adiciona pacotes ausentes em setup.py
- [SPARK-45151] [SC-142861] [CORE] [Interface do usuário] Suporte ao despejo de thread no nível da tarefa
- [SPARK-45056] [SC-142779] [PYTHON] [SS] [CONNECT] Testes de encerramento para streamingQueryListener e foreachBatch
- [SPARK-45084] [SC-142828] [SS] StateOperatorProgress para usar o número preciso de partições em ordem aleatória efetivas
- [SPARK-44872] [SC-142405] [CONNECT] Infra de teste de servidor e ReattachableExecuteSuite
- [SPARK-45197] [SC-142984] [CORE] Faz
StandaloneRestServeradicionarJavaModuleOptionsaos drivers - [SPARK-44404] [SC-139601][SQL] Atribui um nome à classe de erro LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297] [SQL] Suporte ao SPJ em que as chaves de junção são menores que as chaves de cluster
- [SPARK-45088] [SC-142785] [PYTHON] [CONNECT] Faz
getitemtrabalhar com colunas duplicadas - [SPARK-45128] [SC-142851] [SQL] Suporte a
CalendarIntervalTypeem Arrow - [SPARK-45130] [SC-142976] [CONNECT] [ML] [PYTHON] Evita que o Modelo de ML do Spark Connect altere o dataframe pandas de entrada
- [SPARK-45034] [SC-142959] [SQL] Suporte à função de modo determinístico
- [SPARK-45173] [SC-142931] [Interface do usuário] Remove alguns arquivos sourceMapping desnecessários na interface do usuário
- [SPARK-45162] [SC-142781] [SQL] Suporte a mapas e parâmetros de matriz construídos por meio de
call_function - [SPARK-45143] [SC-142840] [PYTHON] [CONNECT] Torna o PySpark compatível com pyArrow 13.0.0
- [SPARK-45174] [SC-142837] [CORE] Suporte a
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956] [CONNECT] [PYTHON] O cliente Python deve chamar
release_all - [SPARK-36191] [SC-142777] [SQL] Manipula o limite e a ordem em subconsultas escalares (laterais) correlacionadas
- [SPARK-45159] [SC-142829] [PYTHON] Manipula argumentos nomeados somente quando necessário
- [SPARK-45133] [SC-142512] [CONNECT] Faz com que as consultas do Spark Connect sejam CONCLUÍDAS quando a última tarefa de resultado for finalizada
- [SPARK-44801] [SC-140802] [SQL] [Interface do usuário] Captura a análise de consultas com falha no ouvinte e na interface do usuário
- [SPARK-45139] [SC-142527] [SQL] Adiciona DatabricksDialect para lidar com a conversão de tipo SQL
- [SPARK-45157] [SC-142546] [SQL] Evita verificações de
ifrepetidas em[On|Off|HeapColumnVector - [SPARK-45077] Reverter "[SC-142069][interface do usuário] Atualiza dagre-d3.js de 04.3 para 0.6.4"
- [SPARK-45145] [SC-142521] [EXEMPLO] Adiciona exemplo de JavaSparkSQLCli
- [SPARK-43295] Reverter "[SC-142254][PS] Suporte a colunas de tipo de cadeia de caracteres para
DataFrameGroupBy.sum" - [SPARK-44915] [SC-142383] [CORE] Valida a soma de verificação dos dados do PVC em ordem aleatória remontados antes da recuperação
- [SPARK-45147] [SC-142524] [CORE] Remove o uso de
System.setSecurityManager - [SPARK-45104] [SC-142206] [Interface do usuário] Atualiza
graphlib-dot.min.jspara 1.0.2 - [SPARK-44238] [SC-141606] [CORE] [SQL] Introduz um novo método
readFromcom entrada de matriz de bytes paraBloomFilter - [SPARK-45060] [SC-141742] [SQL] Corrige um erro interno de
to_char()no formatoNULL - [SPARK-43252] [SC-142381][SQL] Substitui a classe de erro
_LEGACY_ERROR_TEMP_2016por um erro interno - [SPARK-45069] [SC-142279] [SQL] A variável SQL sempre deve ser resolvida após a referência externa
- [SPARK-44911] [SC-142388] [SQL] Criar tabela Hive com coluna inválida deve retornar classe de erro
- [SPARK-42754] [SC-125567][SQL][Interface do usuário] Corrige problema de compatibilidade com versões anteriores na execução aninhada do SQL
- [SPARK-45121] [SC-142375][CONNECT][PS] Suporte a
Series.emptypara Spark Connect. - [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. deve funcionar em um vetor de coluna que tenha um dicionário
- [SPARK-45027] [SC-142248] [PYTHON] Oculta funções/variáveis internas no
pyspark.sql.functionsdo preenchimento automático - [SPARK-45073] [SC-141791] [PS] [CONNECT] Substitui
LastNotNullporLast(ignoreNulls=True) - [SPARK-44901] [SC-141676] [SQL] Backport manual: adiciona a API no método 'analyze' do Python UDTF para retornar expressões de particionamento/ordenação
- [SPARK-45076] [SC-141795] [PS] Alterna para a função interna
repeat - [SPARK-44162] [SC-141605] [CORE] Suporte ao G1GC em métricas do Spark
- [SPARK-45053] [SC-141733] [PYTHON] [MENOR] Melhoria de log na incompatibilidade de versão do Python
- [SPARK-44866] [SC-142221] [SQL] Adiciona
SnowflakeDialectpara manipular o tipo BOOLEAN corretamente - [SPARK-45064] [SC-141775] [PYTHON] [CONNECT] Adicionar o parâmetro
scaleausente emceil/ceiling - [SPARK-45059] [SC-141757][CONNECT][PYTHON] Adiciona funções
try_reflectao Scala e ao Python - [SPARK-43251] [SC-142280][SQL] Substitui a classe de erro
_LEGACY_ERROR_TEMP_2015por um erro interno - [SPARK-45052] [SC-141736] [SQL] [PYTHON] [CONNECT] Torna o nome da coluna de saída de aliases de função consistente com o SQL
- [SPARK-44239] [SC-141502] [SQL] Libera memória alocada por vetores grandes quando os vetores são redefinidos
- [SPARK-43295] [SC-142254] [PS] Suporte a colunas de tipo de cadeia de caracteres para
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062] [SS] Chama explicitamente o suporte para colunar em fontes de dados de streaming DSv2
- [SPARK-45036] [SC-141768] [SQL] SPJ: Simplifica a lógica para lidar com a distribuição parcialmente clusterizada
- [SPARK-45077] [SC-142069] [Interface do usuário] Atualiza dagre-d3.js de 0.4.3 para 0.6.4
- [SPARK-45091] [SC-142020] [PYTHON] [CONNECT] [SQL] A função
floor/round/broundaceita o tipo de colunascale - [SPARK-45090] [SC-142019] [PYTHON] [CONNECT]
DataFrame.{cube, rollup}suporte a ordinais de coluna - [SPARK-44743] [SC-141625] [SQL] Adiciona a função
try_reflect - [SPARK-45086] [SC-142052] [Interface do usuário] Exibe hexadecimal para código hash de bloqueio de thread
- [SPARK-44952] [SC-141644] [SQL] [PYTHON] Suporte a argumentos nomeados em UDFs do Pandas de agregação
- [SPARK-44987] [SC-141552][SQL] Atribui um nome à classe de erro
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730] [CONNECT] Corrige avisos de compilação relacionados a
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629] [CONNECT] Adiciona testes adicionais para o cliente Python e a execução anexável
- [SPARK-45072] [SC-141807] [CONNECT] Corrige escopos externos para classes ammonite
- [SPARK-45033] [SC-141759] [SQL] Suporte a mapas por
sql()parametrizados - [SPARK-45066] [SC-141772] [SQL] [PYTHON] [CONNECT] Faz com que a função
repeataceite o tipo de colunan - [SPARK-44860] [SC-141103] [SQL] Adiciona a função SESSION_USER
- [SPARK-45074] [SC-141796] [PYTHON] [CONNECT]
DataFrame.{sort, sortWithinPartitions}Suporte a ordinais de coluna - [SPARK-45047] [SC-141774] [PYTHON] [CONNECT]
DataFrame.groupBySuporte a ordinais - [SPARK-44863] [SC-140798] [Interface do usuário] Adiciona um botão para baixar o despejo de thread como um txt na interface do usuário do Spark
- [SPARK-45026] [SC-141604] [CONNECT]
spark.sqldeve dar suporte a tipos de dados não compatíveis com Arrow - [SPARK-44999] [SC-141145] [CORE] Refatora
ExternalSorterpara reduzir as verificações emshouldPartitionao chamargetPartition - [SPARK-42304] [SC-141501][SQL] Renomeia
_LEGACY_ERROR_TEMP_2189comoGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450] [SQL] Corrige IllegalStateException ao coagrupar dois conjuntos de dados derivados da mesma fonte
- [SPARK-45018] [SC-141516] [PYTHON] [CONNECT] Adiciona CalendarIntervalType ao cliente Python
- [SPARK-45024] [SC-141513] [PYTHON] [CONNECT] Filtra algumas configurações na Criação de Sessão
- [SPARK-45017] [SC-141508] [PYTHON] Adiciona
CalendarIntervalTypeao PySpark - [SPARK-44720] [SC-139375] [CONNECT] Faz o conjunto de dados usar Encoder em vez de AgnosticEncoder
- [SPARK-44982] [SC-141027] [CONNECT] Marca as configurações de servidor do Spark Connect como estáticas
- [SPARK-44839] [SC-140900] [SS] [CONNECT] Melhora o registro em log de erros quando o usuário tenta serializar a sessão do Spark
- [SPARK-44865] [SC-140905] [SS] Faz com que o StreamingRelationV2 dê suporte a coluna de metadados
- [SPARK-45001] [SC-141141] [PYTHON] [CONNECT] Implementa DataFrame.foreachPartition
- [SPARK-44497] [SC-141017] [WEBUI] Mostra ID de partição de tarefa na tabela Tarefa
- [SPARK-45006] [SC-141143] [Interface do usuário] Usa o mesmo formato de data de outros elementos de data da interface do usuário para o eixo x das linhas do tempo
- [SPARK-45000] [SC-141135] [PYTHON] [CONNECT] Implementa DataFrame.foreach
- [SPARK-44967] [SC-141137] [SQL] [CONNECT] A unidade deve ser considerada primeiro antes de usar Boolean para TreeNodeTag
- [SPARK-44993] [SC-141088] [CORE] Adiciona
ShuffleChecksumUtils.compareChecksumsreutilizandoShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176] [CONNECT] Adiciona Dataset.metadataColumn ao Cliente Scala
- [SPARK-44965] [SC-141098] [PYTHON] Oculta funções/variáveis internas de
pyspark.sql.functions - [SPARK-44983] [SC-141030] [SQL] Converte binário em cadeia de caracteres em
to_charpara os formatos:hex,base64eutf-8 - [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] Corrigir namedtuples herdados para funcionar em createDataFrame
- [SPARK-44985] [SC-141033] [CORE] Usa toString em vez de stacktrace para o threadDump do reaper de tarefas
- [SPARK-44984] [SC-141028] [PYTHON] [CONNECT] Remove
_get_aliasdo DataFrame - [SPARK-44975] [SC-141013] [SQL] Remove a substituição inútil de BinaryArithmetic resolvida
- [SPARK-44969] [SC-140957][SQL] Reutiliza
ArrayInsertnoArrayAppend - [SPARK-44549] [SC-140714] [SQL] Suporte a funções de janela em subconsultas escalares correlacionadas
- [SPARK-44938] [SC-140811] [SQL] Altera o valor padrão de
spark.sql.maxSinglePartitionBytespara 128m - [SPARK-44918] [SC-140816] [SQL] [PYTHON] Suporte a argumentos nomeados em UDFs escalares do Python/Pandas
- [SPARK-44966] [SC-140907] [CORE] [CONNECT] Altera o
varnunca alterado paraval - [SPARK-41471] [SC-140804] [SQL] Reduz o shuflle do Spark quando apenas um lado de uma junção estiver usando KeyGroupedPartitioning
- [SPARK-44214] [SC-140528] [CORE] Suporte à interface do usuário de Log Ao Vivo do Spark Driver
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519] [CONNECT] Adiciona ProducedRowCount a SparkListenerConnectOperationFinished
- [SPARK-42017] [SC-140765] [PYTHON] [CONNECT]
df['col_name']deve validar o nome da coluna - [SPARK-40178] [SC-140433] [SQL] [COONECT] Suporte a dicas de coalesce com facilidade para PySpark e R
- [SPARK-44840] [SC-140593] [SQL] Faz
array_insert()ser base 1 para índices negativos - [SPARK-44939] [SC-140778] [R] Suporte a Java 21 no SystemRequirements do SparkR
- [SPARK-44936] [SC-140770] [CORE] Simplifica o log quando o Spark HybridStore atinge o limite de memória
- [SPARK-44908] [SC-140712] [ML] [CONNECT] Corrige a funcionalidade param foldCol do validador cruzado
- [SPARK-44816] [SC-140717] [CONNECT] Melhora a mensagem de erro quando a classe UDF não for encontrada
- [SPARK-44909] [SC-140710] [ML] Ignora o servidor de streaming de log do carregador de dados do distribuidor inicial quando ele não estiver disponível
- [SPARK-44920] [SC-140707] [CORE] Usa await() em vez de awaitUninterruptibly() em TransportClientFactory.createClient()
- [SPARK-44905] [SC-140703] [SQL] lastRegex com estado causa NullPointerException no eval para regexp_replace
- [SPARK-43987] [SC-139594] [Embaralhar] Separa o processamento finalizeShuffleMerge para pools de thread dedicados
- [SPARK-42768] [SC-140549] [SQL] Habilita aplicação do plano em cache do AQE por padrão
- [SPARK-44741] [SC-139447] [CORE] Suporte ao MetricFilter baseado em regex no
StatsdSink - [SPARK-44751] [SC-140532] [SQL] Implementação da interface FileFormat XML
- [SPARK-44868] [SC-140438] [SQL] Converte datetime em cadeia de caracteres por
to_char/to_varchar - [SPARK-44748] [SC-140504] [SQL] Execução de consulta para a cláusula PARTITION BY em argumentos UDTF TABLE
- [SPARK-44873] [SC-140427] Suporte a alter view com colunas aninhadas no cliente Hive
- [SPARK-44876] [SC-140431][PYTHON] Corrige UDF do Python com otimização de Arrow no Spark Connect
- [SPARK-44520] [SC-137845] [SQL] Substitui o termo UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY e divulga a raiz AE
- [SPARK-42664] [SC-139769] [CONNECT] Suporte à função
bloomFilterparaDataFrameStatFunctions - [SPARK-43567] [SC-139227] [PS] Suporte a
use_na_sentinelparafactorize - [SPARK-44859] [SC-140254] [SS] Corrige o nome da propriedade incorreta na documentação de fluxo estruturado
- [SPARK-44822] [SC-140182][PYTHON][SQL] Torna UDTFs do Python por padrão não determinístico
- [SPARK-44731] [SC-139524] [PYTHON] [CONNECT] Faz o TimestampNTZ trabalhar com literais no Python Spark Connect
- [SPARK-44836] [SC-140180][PYTHON] Refatora Arrow no UDTF do Python
- [SPARK-44714] [SC-139238] Facilita a restrição da resolução de LCA em relação a consultas com cláusula having
- [SPARK-44749] [SC-139664] [SQL] [PYTHON] Suporte a argumentos nomeados no UDTF do Python
- [SPARK-44737] [SC-139512] [SQL] [Interface do usuário] Não deve exibir erros de formato json na página SQL para exceções não SparkThrowables na guia SQL
- [SPARK-44665] [SC-139307] [PYTHON] Adicionar suporte para assertDataFrameEqual do DataFrame do pandas
- [SPARK-44736] [SC-139622] [CONNECT] Adiciona Dataset.explode ao cliente Scala do Spark Connect
- [SPARK-44732] [SC-139422] [SQL] Insere internamente o suporte à fonte de dados XML
- [SPARK-44694] [SC-139213] [PYTHON] [CONNECT] Refatora sessões ativas e expõe como uma API
- [SPARK-44652] [SC-138881] Gera erro quando apenas um df for None
- [SPARK-44562] [SC-138824] [SQL] Adiciona OptimizeOneRowRelationSubquery no lote de Subconsultas
- [SPARK-44717] [SC-139319] [PYTHON] [PS] Respeita TimestampNTZ na reamostragem
- [SPARK-42849] [SC-139365] [SQL] Variáveis de sessão
- [SPARK-44236] [SC-139239] [SQL] Desabilita WholeStageCodegen quando
spark.sql.codegen.factoryModeé definido como NO_CODEGEN - [SPARK-44695] [SC-139316][PYTHON] Melhora a mensagem de erro para
DataFrame.toDF - [SPARK-44680] [SC-139234] [SQL] Melhora o erro para parâmetros em
DEFAULT - [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec dá suporte ao filtro de dados push down com subconsulta escalar
- [SPARK-44641] [SC-139216] [SQL] Resultado incorreto em determinados cenários quando o SPJ não é disparado
- [SPARK-44689] [SC-139219] [CONNECT] Torna o tratamento de exceção da função
SparkConnectPlanner#unpackScalarScalaUDFmais universal - [SPARK-41636] [SC-139061] [SQL] Garante que
selectFiltersretorne predicados em ordem determinística - [SPARK-44132] [SC-139197] [SQL] Materializa
Streamde nomes de coluna de junção para evitar falha de codegen - [SPARK-42330] [SC-138838][SQL] Atribui o nome
RULE_ID_NOT_FOUNDà classe de erro_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214] [SS] O nível de registro em log não é passado corretamente para o provedor de repositório de estado do RocksDB
- [SPARK-44658] [SC-138868] [CORE]
ShuffleStatus.getMapStatusdeve retornarNoneem vez deSome(null) - [SPARK-44603] [SC-138353] Adiciona pyspark.testing a setup.py
- [SPARK-44252] [SC-137505] [SS] Define uma nova classe de erro e aplica para o caso em que o estado de carregamento do DFS falha
- [SPARK-29497] [DBRRM-396] [SC-138477] [CONNECT] Gera erro quando a UDF não for desserializável.
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] Tenta novamente ExecutePlan caso a solicitação inicial não tenha chegado ao servidor no cliente Python
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Remover dependência do catalisador do cliente Connect
- [SPARK-44059] [SC-138833] [SQL] Adiciona mensagens de erro melhores para argumentos nomeados em SQL
- [SPARK-44620] [SC-138831] [SQL] [PS] [CONNECT] Faz
ResolvePivotreter oPlan_ID_TAG - [SPARK-43838] [SC-137413] [SQL] Corrige a subconsulta em tabela única com cláusula HAVING que não pode ser otimizada
- [SPARK-44555] [SC-138820] [SQL] Usa checkError() para verificar exceções no conjunto de comandos e atribuir alguns nomes de classes de erro
- [SPARK-44280] [SC-138821] [SQL] Adiciona convertJavaTimestampToTimestamp na API JDBCDialect
- [SPARK-44602] [SC-138337] [SQL] [CONNECT] [PS] Faz
WidenSetOperationTypesreter oPlan_ID_TAG - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] Reverter "[SC-137413][SQL] Corrige subconsulta em única ta…
- [SPARK-44538] [SC-138178][CONNECT][SQL] Restabelecer Row.jsonValue e amigos
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Execução reanexável no Spark Connect
- [SPARK-43838] [SC-137413] [SQL] Corrige a subconsulta em tabela única com cláusula HAVING que não pode ser otimizada
- [SPARK-44587] [SC-138315][SQL][CONNECT] Aumentar o limite de recursão do marshaller de protobuf
- [SPARK-44605] [SC-138338] [CORE] Refina a API do ShuffleWriteProcessor interno
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] Adiciona uma página da interface do usuário do Spark para o Spark Connect
- [SPARK-44585] [SC-138286] [MLLIB] Corrige a condição de aviso no MLLib RankingMetrics ndcgAk
- [SPARK-44198] [SC-138137] [CORE] Suporte à propagação do nível de log para os executores
- [SPARK-44454] [SC-138071] [SQL] [HIVE] Suporte a fallback de HiveShim getTablesByType
- [SPARK-44425] [SC-138135][CONNECT] Valida se sessionId fornecido pelo usuário é um UUID
- [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] Faz
ExtractWindowExpressionsreter oPLAN_ID_TAG - [SPARK-44560] [SC-138117] [PYTHON] [CONNECT] Aprimora testes e documentação para Arrow na UDF do Python
- [SPARK-44482] [SC-138067] [CONNECT] O servidor de conexão deve especificar o endereço de associação
- [SPARK-44528] [SC-138047] [CONNECT] Suporte ao uso adequado de hasattr() para o dataframe do Connect
- [SPARK-44525] [SC-138043] [SQL] Melhora a mensagem de erro quando o método Invoke não for encontrado
- [SPARK-44355] [SC-137878] [SQL] Mover o WithCTE para consultas de comando
Suporte ao driver ODBC/JDBC do Databricks
O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).
Ambiente do sistema
- Sistema operacional: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | clique | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | criptografia | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0,11 | entrypoints | 0,4 |
| em execução | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | Biblioteca de runtime do GCC | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | notebook | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | empacotando | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| solicitações | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | six | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0,1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| seta | 12.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | sinal de interpolação | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credenciais | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | conjuntos de dados | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | diagrama | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | genéricos | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| elemento gráfico | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0,10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1,7 |
| MASS | 7.3-60 | Matriz | 1.5-4.1 | memoise | 2.0.1 |
| métodos | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0,45 | tools | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coletor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1,3 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2,0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |