Share via

Databricks Runtime 13.3 LTS

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, da plataforma Apache Spark 3.4.1.

O Databricks lançou essas imagens em agosto de 2023.

Novos recursos e aprimoramentos

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Catálogo do Unity agora dão suporte ao Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de permitidos para scripts de inicialização, JARs e coordenadas Maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública

Agora você pode usar o Catálogo do Unity allowlist para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven na computação com modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Confira Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.

O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública

Agora você pode usar volumes do Catálogo do Unity para armazenar scripts de inicialização e JARs na computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Veja Onde os scripts de inicialização podem ser instalados? e bibliotecas com escopo de cluster.

Conversões seguras habilitadas por padrão nas operações do Delta Lake

As operações UPDATE e MERGE Delta já resultam em um erro quando os valores não podem ser convertidos com segurança no tipo do esquema da tabela de destino. Todas as conversões implícitas no Delta já seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Confira Conformidade com o ANSI no Databricks Runtime.

Apresentando marcas com o Catálogo do Unity

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar marcas aos objetos protegíveis. As marcas ajudam você a organizar objetos protegíveis e simplificar a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.

O Databricks Runtime retorna um erro se um arquivo é modificado entre o planejamento e a invocação da consulta

As consultas do Databricks Runtime já retornam um erro se um arquivo é atualizado entre o planejamento e a invocação da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre essas fases, o que ocasionalmente gerava resultados imprevisíveis.

Bloqueio da substituição de esquema ao usar substituições de partição dinâmica

Não é possível definir overwriteSchema como true em combinação com substituições de partição dinâmica no Delta Lake. Isso evita a possível corrupção de tabela devido à incompatibilidade de esquema. Confira Substituições de partição dinâmica.

Integração da API copyFile a dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp, foi otimizado para uma cópia mais rápida. Com esse aprimoramento, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, incluindo para volumes de catálogo do Unity e montagens do Sistema de Arquivos do Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks dá suporte a drivers ODBC e JDBC lançados nos últimos dois anos. Baixe o último driver em Baixar driver ODBC e Baixar driver JDBC.

Suporte para marcadores de parâmetros não nomeados (posicionais)

A API SparkSession.sql() já dá suporte a consultas parametrizadas por meio da sintaxe ?, além de consultas parametrizadas com a sintaxe :parm. Confira Marcadores de parâmetros.

Habilitação da rotulagem de coluna de série temporal

Agora você pode rotular colunas de série temporal ao criar restrições de chave primária.

Novas funções SQL de bitmap

O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.

Funções de criptografia aprimoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram aprimoradas com suporte para IV (vetores de inicialização) e AAD (dados adicionais autenticados).

Suporte do Catálogo do Unity para REFRESH FOREIGN

Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Catálogo do Unity usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA e REFRESH FOREIGN TABLE. Confira REFRESH FOREIGN (CATALOG, SCHEMA e TABLE).

INSERT BY NAME

Ao inserir linhas em uma tabela, você já pode permitir que o Azure Databricks mapeie colunas e campos na consulta de origem automaticamente para as colunas da tabela pelo nome. Veja INSERT INTO.

Compartilhamento de exibições materializadas com o Compartilhamento Delta

A instrução ALTER SHARE agora dá suporte a exibições materializadas.

Alterações de quebra

Alterações na conversão implícita ao armazenar linhas em uma tabela com MERGE INTO e UPDATE

O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para conversão implícita ao armazenar linhas em uma tabela. O valor padrão ANSI gera um erro ao armazenar valores que causa estouro. Anteriormente, os valores seriam armazenados como NULL por padrão.

Como no exemplo a seguir, você pode resolver estouros reescrevendo a tabela para usar um tipo mais amplo para a coluna que está causando o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • debugpy de 1.5.1 a 1.6.0
    • distlib de 0.3.6 para 0.3.7
    • fastjsonschema de 2.16.3 para 2.18.0
    • filelock de 3.12.0 para 3.12.2
  • Bibliotecas do R atualizadas:
    • SparkR de 3.4.0 a 3.4.1
  • Bibliotecas do Java atualizadas:
    • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
    • org.xerial.snappy.snappy-java de 1.1.8.4 para 1.1.10.1

Apache Spark

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Essa versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.2 (sem suporte), além das seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • Agora você pode definir a variável de ambiente de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar o conector Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Reverter “[SC-133100][SQL] Corrigir conversão do tipo de dados Avro…
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Descarregar provedor forçando assim o fechamento da instância do BD e liberando recursos no erro da tarefa de manutenção
  • [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
  • [SPARK-44485] [SC-137653][SQL] Otimizar TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Streaming ForeachBatch em Python
  • [SPARK-44446] [SC-136994][PYTHON] Adicionar verificações para casos especiais de tipo de lista esperados
  • [SPARK-44439] [SC-136973][CONNECT][SS]Corrigido listListeners para enviar apenas IDs de volta ao cliente
  • [SPARK-44216] [SC-136941] [PYTHON] Tornar pública a API assertSchemaEqual
  • [SPARK-44201] [SC-136778][CONNECT][SS]Adicionar suporte para o ouvinte de streaming no Scala para Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Reverter "[SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python"
  • [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
  • [SPARK-44476] [SC-137169][CORE][CONNECT] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
  • [SPARK-44269] [SC-135817][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] Atualizar argumentos TVF para exigir parênteses em torno do identificador após palavra-chave TABLE
  • [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Adicionar suporte para UDFRegistration ao cliente Connect Scala
  • [SPARK-44109] [SC-134755][CORE] Remover locais preferenciais duplicados de cada partição RDD
  • [SPARK-44169] [SC-135497][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
  • [SPARK-44153] [SC-134977][CORE][UI] Coluna de suporte Heap Histogram na guia Executors
  • [SPARK-44044] [SC-135695][SS] Melhorar a mensagem de erro para funções de janela com streaming
  • [SPARK-43914] [SC-135414][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Permitir precisão personalizada para igualdade de aproximação de fp
  • [SPARK-44370] [SC-136575][CONNECT] Migrar a geração remota alfa do Buf para plug-ins remotos
  • [SPARK-44410][PYTHON][CONNECT] Backport para 136930: Definir sessão ativa em create, não apenas getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Reabilitar test_artifact com alterações relevantes
  • [SPARK-44145] [SC-136698][SQL] Retorno de chamada quando estiver pronto para execução
  • [SPARK-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
  • [SPARK-43986] [SC-135623][SQL] Criar classes de erro para falhas de chamada da função HyperLogLog
  • [SPARK-44139] [SC-134967][SQL] Descartar filtros completamente enviados por push em operações MERGE baseadas em grupo
  • [SPARK-44338] [SC-136718][SQL] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
  • [SPARK-44208] [SC-135505][CORE][SQL] Atribuir nomes de classe de erro claros para alguma lógica que usa diretamente exceções
  • [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte ao tipo de dados List[Row] para o esperado
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL] Adicionou uma marcar nulo para a opção lineSep
  • [SPARK-44388] [SC-136695][CONNECT] Corrigir problema de conversão de protobuf quando a instância do UDF é atualizada
  • [SPARK-44352] [SC-136373][CONNECT] Colocar de volta sameType e amigos no DataType.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
  • [SPARK-44360] [SC-136461][SQL] Suporte à remoção de esquema em operações MERGE baseadas em delta
  • [SPARK-44138] [SC-134907][SQL] Proibir expressões, subconsultas e agregações não determinísticas em condições MERGE
  • [SPARK-43321] [SC-136678][Connect][Followup] Nomes melhores para APIs usadas em junção do cliente ScalaWith
  • [SPARK-44263] [SC-136447][CONNECT] Suporte a interceptadores personalizados
  • [SPARK-39851] [SC-123383][SQL] Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade
  • [SPARK-44390] [SC-136677][CORE][SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Atribuir nome e aprimorar mensagem de erro para erros HERDADOS frequentes.
  • [SPARK-44322] [SC-136204][CONNECT] Faça o analisador usar SqlApiConf em vez de SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Mover funções de valores padrão de StructType para ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI] Corrigir o erro de classificação da coluna de ID do executor na página do executor da interface do usuário
  • [SPARK-44282] [SC-135948][CONNECT] Preparar a análise de DataType para uso no cliente Spark Connect Scala
  • [SPARK-44349] [SC-136581][R] Adicionar funções matemáticas ao SparkR
  • [SPARK-44397] [SC-136647][PYTHON] Expor assertDataFrameEqual em pyspark.testing.utils
  • [SPARK-42981] [SC-136620][CONNECT] Adicionar serialização de seta direta
  • [SPARK-44373] [SC-136577][SQL] Encapsular comActive para a lógica de análise da API do conjunto de dados para fazer com que a configuração relacionada ao analisador funcione
  • [SPARK-44340] [SC-136574][SQL] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][CONNECT][PS] Habilitar PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
  • [SPARK-44325] [SC-136572][SQL] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-44315] [SC-136171][SQL][CONNECT] Mover DefinedByConstructorParams para SQL/API
  • [SPARK-44275] [SC-136184][CONNECT] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Move util que são usados do cliente Scala para os módulos comuns
  • [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] Preparar ScalaReflection para a mudança para SQL/API
  • [SPARK-44313] [SC-136081][SQL] Corrige a validação de expressão de coluna gerada quando há uma coluna char/varchar no esquema
  • [SPARK-43963] [SC-134145][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
  • [SPARK-44363] [SC-136433] [PYTHON] Exibe porcentagem de linhas desiguais na comparação de DataFrame
  • [SPARK-44251] [SC-136432][SQL] Definir anulável corretamente na chave de junção unida na junção USING externa completa
  • [SPARK-43948] [SC-133366][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt para Scala e Python
  • [SPARK-44351] [SC-136353][SQL] Fazer alguma simplificação sintática
  • [SPARK-44281] [SC-135963][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT] Mover origem para SQL/API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Adicionar array_agg, array_size, cardinality, count_min_sketch,mask,named_struct,json_* para Scala e Python
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Adicionar funções any e len ao Scala
  • [SPARK-44290] [SC-136300][CONNECT] Arquivos e arquivos baseados em sessão no Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] Adicionar função util assertDataFrameEqual
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
  • [SPARK-44342] [SC-136334][SQL] Substituir SQLContext por SparkSession para GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Remova a junção externa se todas elas forem funções de agregação distintas
  • [SPARK-44333] [SC-136206][CONNECT][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
  • [SPARK-44193] [SC-135886][CONNECT] Implementar interceptação de exceções GRPC para conversão
  • [SPARK-44284] [SC-136107][CONNECT] Criar um sistema de configuração simples para SQL/API
  • [SPARK-43913] [SC-133368][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Reverter "[SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo"
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] Permitir definir um agente de usuário com uma variável de ambiente
  • [SPARK-44154] [SC-136060] Implementar funções de bitmap
  • [SPARK-43885] [SC-133996][SQL] DataSource V2: manipular comandos MERGE para fontes baseadas em delta
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
  • [SPARK-43969] [SC-134556][SQL] Refatorar e Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Corrigir a qualificação de caminho inconsistente entre operações de catálogo e dados
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 1
  • [SPARK-44266] [SC-135813][SQL] Mover Util.truncatedString para SQL/API
  • [SPARK-44195] [SC-135722][R] Adicionar APIs JobTag ao SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Suporte à regra do analisador de argumento TABLE para TableValuedFunction
  • [SPARK-44254] [SC-135709][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo
  • [SPARK-43922] [SC-135612][SQL] Adicionar suporte a parâmetro nomeado no analisador para chamadas de função
  • [SPARK-44300] [SC-135882][CONNECT] Corrigir limpeza de artefato para limitar o escopo de exclusão a artefatos específicos da sessão
  • [SPARK-44293] [SC-135849][CONNECT] Corrigir URI inválido para JARs personalizados no Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Se as partes num forem 0, o servidor deverá gerar uma RuntimeException
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deve ser somente ilustrativo
  • [SPARK-44274] [SC-135814][CONNECT] Mover funções util usadas pelo ArtifactManager para usos/comuns
  • [SPARK-44194] [SC-135815][PYTHON][CORE] Adicionar APIs JobTag ao PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Anotações de tipo Python mais explícitas para GroupedData
  • [SPARK-44079] [SC-135486][SQL] Correção de ArrayIndexOutOfBoundsException ao analisar matriz como struct usando o modo PERMISSIVE com registro corrompido
  • [SPARK-44255] [SC-135809][SQL] Realocar StorageLevel para common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementar SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
  • [SPARK-41599] [SC-135616] Vazamento de memória em FileSystem.CACHE ao enviar aplicativos para um cluster seguro usando InProcessLauncher
  • [SPARK-44241] [SC-135613][Core] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruição incessantes do executor
  • [SPARK-44133] [SC-134795][13.X][PYTHON] Atualizar o MyPy de 0.920 para 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
  • [SPARK-44188] [SC-135173][CORE] Remover método inútil resetAllPartitions em ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] Alterar a compatibilidade do cliente da lista de permissões para a lista de negações
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Adicione um acesso do Spark Connect aos Dataframes de runtime por ID.
  • [SPARK-44183] [SC-135209][PYTHON] Increate PyArrow a versão mínima para 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Adicionar local preferencial na fonte Kafka v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Adicionar funções de data e hora a API do Scala, Python e Connect - parte 1
  • [SPARK-44161] [SC-135326][Conectar] Manipular entrada de linha para UDFs
  • [SPARK-44227] [SC-135520][SQL] Extrair SchemaUtils de StructField
  • [SPARK-44064] [SC-135116][CORE][SQL] Adicionar uma nova apply função a NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] e excluir algumas classes de erro não utilizados
  • [SPARK-44056] [SC-134758][SQL] Incluir nome UDF na mensagem de erro de falha de execução da UDF quando disponível
  • [SPARK-44205] [SC-135422][SQL] Extrair código Catalyst de DecimalType
  • [SPARK-44220] [SC-135484][SQL] Mover StringConcat para SQL/API
  • [SPARK-44146] [SC-135230][CONNECT] Isolar jars e arquivos de classe da Sessão do Spark Connect
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr escopo Session.active
  • [SPARK-40850] [SC-135417][SQL] Corrigir consultas interpretadas por caso de teste podem executar Codegen
  • [SPARK-44204] [SC-135253][SQL][HIVE] Adicionar registro ausenteHiveCall para getPartitionNames
  • [SPARK-44237] [SC-135485][CORE] Simplificar a lógica de pesquisa do construtor DirectByteBuffer
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] Suporte a parâmetros posicionais por sql()
  • [SPARK-44140] [SC-134893][CONNECT][PYTHON] Suporte a parâmetros posicionais em Python sql()
  • [SPARK-44164] [SC-135158][SQL] Extrair método toAttribute da classe StructField para Util
  • [SPARK-44178] [SC-135113][CONNECT][PYTHON] Suporte a parâmetros posicionais por sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
  • [SPARK-43063] [SC-128382][SQL] df.show identificador nulo deve imprimir NULL em vez de null
  • [SPARK-42539] [SC-124464][SQL][HIVE] Eliminar o carregador de classes separado ao usar a versão 'incorporada' do Hive para o cliente de metadados
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-44066] [SC-134878][CONNECT][PYTHON] Suporte a parâmetros posicionais em Scala/Javasql()
  • [SPARK-44078] [SC-134869][CONNECT][CORE] Adicionar suporte para isolamento de classe/recurso
  • [SPARK-43470] [SC-135187][CORE] Adicionar informações de versão do SISTEMA OPERACIONAL, Java e Python ao log do aplicativo
  • [SPARK-43136] [SC-135238][CONNECT][Followup] Adicionando testes para KeyAs
  • [SPARK-39740] [SC-135093][UI]: atualizar linha do tempo vis para 7.7.2 para corrigir CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-44026] [SC-135181] Permitir fornecer valor inicial para SQLMetrics
  • [SPARK-44202] [SC-135244][CORE] Adicionar APIs JobTag ao JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] Implementar DataTypeExpression para oferecer Unapply para expressão
  • [SPARK-43876] Reverter "[SC-134603][SQL] Habilitar hashmap rápido para consultas distintas"
  • [SPARK-40082] [SC-126437] Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução
  • [SPARK-43888] [SC-132893][CORE] Realocar o registro em log para common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Adicionar SessionHolder ao SparkConnectPlanner
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 2
  • [SPARK-44134] [SC-134954][CORE] Corrigir recursos de configuração (GPU/FPGA) como 0 quando eles são definidos em spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Substitua o tipo por tpe no utilitário para converter tipos Python em tipos Spark
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Adicionar APIs SparkContext para cancelamento de consulta por marca
  • [SPARK-44000] [SC-133634][SQL] Adicionar dica para desabilitar a transmissão e replicar um lado da junção
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Adicionar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala e Python
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Adicionar EWM ao SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Corrigir a mensagem de erro para o unit argumento das funções datetime add/diff
  • [SPARK-43794] [SC-132561][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][CONNECT][SS]Implemented MapGroupsWithState e FlatMapGroupsWithState APIs para Spark Connect
  • [SPARK-43529] [SQL] Suporte a expressões CREATE/REPLACE TABLE OPTIONS + limpeza de código
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] Adicionar __repr__ a GroupedData
  • [SPARK-42299] [SC-133190][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Adiciona suporte para IVs aes_encrypt e AAD
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Adicionar current funções semelhantes a Scala e Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Adicionar funções regexp_* ao Scala e Python
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] Ocultar métodos Column sem suporte do preenchimento automático
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementar funções 'levenshtein(str1, str2[, threshold])' no cliente Python
  • [SPARK-44125] [SC-134745][R] Suporte a Java 21 no SparkR
  • [SPARK-43919] [SC-133374][SQL] Extrair funcionalidade JSON fora da linha
  • [SPARK-43769] [SC-132520][CONNECT] Implementar funções 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer para imprimir algumas status
  • [SPARK-43876] [SC-134603][SQL] Habilitar hashmap rápido para consultas distintas
  • [SPARK-44024] [SC-134497][SQL] Alterar para usar map quando unzip usado apenas para extrair um único elemento
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Adicionar operações de bit à API Scala, Python e Connect
  • [SPARK-44092] [SC-134506][CORE] Adicionar Utils.isJavaVersionAtLeast21 e fazer o módulo core passar com Java 21
  • [SPARK-44018] [SC-134512][SQL] Melhorar o hashCode e toString para alguma expressão DS V2
  • [SPARK-44105] [SC-134582][SQL] LastNonNull deve ser resolvido lentamente
  • [SPARK-44081] [SC-134434] Simplificar um pouco a API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definir e usar características Unresolved[Leaf|Unary]Node.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Refatorar resolução de valor de coluna padrão
  • [SPARK-43493] [SC-132063][SQL] Adicione um argumento de distância máxima à função levenshtein()
  • [SPARK-44075] [SC-134382][CONNECT] Tornar transformStatCorr lento
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Adicione alguns, bool_or,bool_and, cada um para Scala, Python e Connect
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Adicionar funções make_* a Scala e Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Aprimorar mensagens de erro: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Adicionar funções to_* ao Scala e Python
  • [SPARK-44055] [SC-134321][CORE] Remover funções redundantes override de CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Corrigir codegen para unhex e unbase64 com failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Adicionar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduzir à API Scala, Python e Connect
  • [SPARK-43380] [SC-133100][SQL] Corrigir problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Aprimorar awaitTermination() para lidar com desconexões de cliente
  • [SPARK-43179] [SC-129070][SHUFFLE] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Ordem Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 clique 8.0.4 criptografia 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
entrypoints 0,4 em execução 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 empacotando 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 solicitações 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.1 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 sinal de interpolação 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credenciais 1.3.2 curl 5.0.0
data.table 1.14.6 conjuntos de dados 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 genéricos 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 elemento gráfico 4.2.2 grDevices 4.2.2
grade 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0,44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22%
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1