Databricks Tempo de execução 13.3 LTS

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, alimentado pelo Apache Spark 3.4.1.

A Databricks divulgou essas imagens em agosto de 2023.

Novos recursos e melhorias

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Unity Catalog agora suportam Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de permissões para scripts init, JARs e coordenadas Maven em clusters compartilhados do Unity Catalog está em Visualização Pública

Agora você pode usar o Catálogo allowlist Unity para controlar a instalação de scripts init, JARs e coordenadas Maven na computação com o modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Consulte Bibliotecas Allowlist e scripts init em computação compartilhada.

O suporte a volumes para scripts init e JARs está em Visualização Pública

Agora você pode usar os volumes do Catálogo Unity para armazenar scripts de inicialização e JARs em computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Consulte Onde os scripts init podem ser instalados? e Bibliotecas com escopo de cluster.

Conversões seguras ativadas por predefinição para operações Delta Lake

Delta UPDATE e MERGE operações agora resultam em um erro quando os valores não podem ser convertidos com segurança para o tipo no esquema da tabela de destino. Todos os elencos implícitos no Delta agora seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Consulte Conformidade ANSI em Databricks Runtime.

Apresentando tags com o Unity Catalog

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar tags aos seus objetos protegíveis. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags.

O Databricks Runtime retornará um erro se um arquivo for modificado entre o planejamento da consulta e a invocação

As consultas do Databricks Runtime agora retornam um erro se um arquivo for atualizado entre o planejamento e a chamada da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre esses estágios, o que ocasionalmente levava a resultados imprevisíveis.

Substituir esquema de bloco ao usar substituições de partição dinâmica

Não é possível definir overwriteSchema como true em combinação com substituições de partição dinâmica no Delta Lake. Isso evita possíveis danos na tabela devido à incompatibilidade de esquema. Consulte Substituições de partição dinâmica.

Integre a API copyFile em dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp agora está otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, inclusive para Volumes de Catálogo Unity e montagens do sistema de arquivos Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks suporta drivers ODBC e JDBC lançados nos últimos 2 anos. Baixe o driver mais recente em Download ODBC Driver e Download JDBC Driver.

Suporte para marcadores de parâmetros sem nome (posicionais)

A SparkSession.sql() API agora suporta consultas parametrizadas usando a ? sintaxe, além de consultas parametrizadas usando a :parm sintaxe. Consulte os marcadores de parâmetro.

Ativar rotulagem de colunas de séries cronológicas

Agora você pode rotular colunas de séries cronológicas ao criar restrições de chave primária.

Novas funções SQL bitmap

O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.

Funções de encriptação melhoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram melhoradas com suporte para vetores de inicialização (IV) e dados adicionais autenticados (AAD).

Suporte do Catálogo Unity para REFRESH FOREIGN

Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Unity Catalog usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAe REFRESH FOREIGN TABLE. Consulte ATUALIZAR ESTRANGEIRO (CATÁLOGO, ESQUEMA e TABELA).

INSERIR POR NOME

Ao inserir linhas em uma tabela, agora você pode permitir que o Azure Databricks mapeie colunas e campos na consulta de origem automaticamente para as colunas da tabela pelo nome. Consulte INSERT INTO.

Partilhe vistas materializadas com a Delta Sharing

A declaração ALTER SHARE agora apoia visões materializadas.

Alterações interruptivas

Alterações na transmissão implícita ao armazenar linhas em uma tabela com MERGE INTO e UPDATE

O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para transmissão implícita ao armazenar linhas em uma tabela. O valor ANSI padrão gera um erro ao armazenar valores que estouram. Anteriormente, os valores eram armazenados como NULL padrão.

Como no exemplo a seguir, você pode resolver estouros reescrevendo a tabela para usar um tipo mais amplo para a coluna que está causando o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • depuração de 1.5.1 a 1.6.0
    • distlib de 0.3.6 a 0.3.7
    • fastjsonschema de 2.16.3 a 2.18.0
    • filelock de 3.12.0 a 3.12.2
  • Bibliotecas R atualizadas:
    • SparkR de 3.4.0 a 3.4.1
  • Bibliotecas Java atualizadas:
    • org.apache.orc.orc-core de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuação de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Faísca Apache

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.2 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • Agora você pode definir a variável SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 de ambiente de cluster para usar o conector Spark-snowflake v2.12.0.
  • [FAÍSCA-43380] [DBRRM-383] Reverter "[SC-133100][SQL] Corrigir Avro tipo de dados conver...
  • [FAÍSCA-44504] [Backport] [13.2] [13.x] [13.3] Descarrega o provedor forçando o fechamento da instância de banco de dados e liberando recursos em caso de erro na tarefa de manutenção
  • [FAÍSCA-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
  • [FAÍSCA-44485] [SC-137653] [SQL] Otimizar TreeNode.generateTreeString
  • [FAÍSCA-42944] [SC-137164] [SS] [PYTHON] Streaming ForeachBatch em Python
  • [FAÍSCA-44446] [SC-136994] [PYTHON] Adicionar verificações para casos especiais do tipo de lista esperado
  • [FAÍSCA-44439] [SC-136973] [CONECTAR] [SS] Lista fixaListeners para enviar apenas ids de volta ao cliente
  • [FAÍSCA-44216] [SC-136941] [PYTHON] Tornar a API assertSchemaEqual pública
  • [FAÍSCA-44201] [SC-136778] [CONECTAR] [SS] Adicionar suporte para Streaming Listener no Scala for Spark Connect
  • [FAÍSCA-43915] [SC-134766] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [FAÍSCA-43798] Revert "[SC-133990][SQL][PYTHON] Suporta funções de tabela definidas pelo usuário do Python"
  • [FAÍSCA-44398] [SC-136720] [CONECTAR] Scala foreachBatch API
  • [FAÍSCA-44476] [SC-137169] [CORE] [CONECTAR] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
  • [FAÍSCA-44269] [SC-135817] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2310-2314]
  • [FAÍSCA-44395] [SC-136744] [SQL] Atualizar argumentos TVF para exigir parênteses em torno do identificador após a palavra-chave TABLE
  • [FAÍSCA-43915] [SC-134766] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [FAÍSCA-43995] [SC-136794] [FAÍSCA-43996] [CONECTAR] Adicionar suporte para UDFRegistration ao cliente Connect Scala
  • [FAÍSCA-44109] [SC-134755] [CORE] Remover locais preferenciais duplicados de cada partição RDD
  • [FAÍSCA-44169] [SC-135497] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [FAÍSCA-41487] [SC-135636] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1020
  • [FAÍSCA-44398] [SC-136720] [CONECTAR] Scala foreachBatch API
  • [FAÍSCA-44153] [SC-134977] [CORE] [UI] Coluna de suporte Heap Histogram no Executors separador
  • [FAÍSCA-44044] [SC-135695] [SS] Melhorar a mensagem de erro para funções de janela com streaming
  • [FAÍSCA-43914] [SC-135414] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2433-2437]
  • [FAÍSCA-44217] [SC-136805] [PYTHON] Permitir precisão personalizada para fp aproximadamente igualdade
  • [FAÍSCA-44370] [SC-136575] [CONECTAR] Migrar Buf geração remota alfa para plugins remotos
  • [FAÍSCA-44410] [SC-136930] [PYTHON] [CONECTAR] Definir sessão ativa em create, não apenas getOrCreate
  • [FAÍSCA-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONECTAR] [PYTHON] Reativar test_artifact com alterações relevantes
  • [FAÍSCA-44145] [SC-136698] [SQL] Retorno de chamada quando estiver pronto para execução
  • [FAÍSCA-44264] [SC-136870] [PYTHON] [ML] Classe FunctionPickler
  • [FAÍSCA-43986] [SC-135623] [SQL] Criar classes de erro para falhas de chamada de função HyperLogLog
  • [FAÍSCA-44139] [SC-134967] [SQL] Descartar filtros completamente pressionados para baixo em operações MERGE baseadas em grupo
  • [FAÍSCA-44338] [SC-136718] [SQL] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
  • [FAÍSCA-44208] [SC-135505] [CORE] [SQL] Atribua nomes de classe de erro claros para alguma lógica que usa exceções diretamente
  • [FAÍSCA-44364] [SC-136773] [PYTHON] Adicionar suporte para o tipo de dados List[Row] para o esperado
  • [FAÍSCA-44180] [SC-136792] [SQL] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
  • [FAÍSCA-43389] [SC-136772] [SQL] Adicionada uma verificação nula para a opção lineSep
  • [FAÍSCA-44388] [SC-136695] [CONECTAR] Corrigir problema de transmissão de protobuf quando a instância UDF é atualizada
  • [FAÍSCA-44352] [SC-136373] [CONECTAR] Coloque de volta sameType e amigos em DataType.
  • [FAÍSCA-43975] [SC-134265] [SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
  • [FAÍSCA-44360] [SC-136461] [SQL] Suporte à remoção de esquema em operações MERGE baseadas em delta
  • [FAÍSCA-44138] [SC-134907] [SQL] Proibir expressões não determinísticas, subconsultas e agregações em condições MERGE
  • [FAÍSCA-43321] [SC-136678] [Conectar] [Seguimento] Melhores nomes para APIs usadas no Scala Client joinWith
  • [FAÍSCA-44263] [SC-136447] [CONECTAR] Suporte a intercetadores personalizados
  • [FAÍSCA-39851] [SC-123383] [SQL] Melhore a estimativa de estatísticas de junção se um lado puder manter a exclusividade
  • [FAÍSCA-44390] [SC-136677] [CORE] [SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
  • [FAÍSCA-44004] [SC-134751] [SQL] Atribuir nome & melhorar a mensagem de erro para erros LEGACY frequentes.
  • [FAÍSCA-44322] [SC-136204] [CONECTAR] Faça o analisador usar SqlApiConf em vez de SQLConf.
  • [FAÍSCA-44271] [SC-136347] [SQL] Mover funções de valores padrão de StructType para ResolveDefaultColumns
  • [FAÍSCA-44332] [SC-136413] [CORE] [WEBUI] Corrigir o erro de classificação da coluna ID do executor na página da interface do usuário dos executores
  • [FAÍSCA-44282] [SC-135948] [CONECTAR] Preparar a análise DataType para uso no Spark Connect Scala Client
  • [FAÍSCA-44349] [SC-136581] [R] Adicionar funções matemáticas ao SparkR
  • [FAÍSCA-44397] [SC-136647] [PYTHON] Exponha assertDataFrameEqual em pyspark.testing.utils
  • [FAÍSCA-42981] [SC-136620] [CONECTAR] Adicionar serialização de seta direta
  • [FAÍSCA-44373] [SC-136577] [SQL] Wrap withActive for Dataset API com lógica de análise para fazer com que a configuração relacionada ao analisador funcione
  • [FAÍSCA-44340] [SC-136574] [SQL] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowGroupLimitExec
  • [FAÍSCA-43665] [SC-136573] [CONECTAR] [PS] Habilite o PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
  • [FAÍSCA-44325] [SC-136572] [SQL] Usar a API PartitionEvaluator em SortMergeJoinExec
  • [FAÍSCA-44315] [SC-136171] [SQL] [CONECTAR] Mover DefinedByConstructorParams para sql/api
  • [FAÍSCA-44275] [SC-136184] [CONECTAR] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
  • [FAÍSCA-44326] [SC-136208] [SQL] [CONECTAR] Mover utils que são usados do cliente Scala para os módulos comuns
  • [FAÍSCA-43321] [SC-136156] [Conectar] Conjunto de dados#Joinwith
  • [FAÍSCA-44343] [SC-136372] [CONECTAR] Preparar o ScalaReflection para a mudança para SQL/API
  • [FAÍSCA-44313] [SC-136081] [SQL] Corrigir a validação de expressão de coluna gerada quando há uma coluna char/varchar no esquema
  • [FAÍSCA-43963] [SC-134145] [SQL] DataSource V2: Manipular comandos MERGE para fontes baseadas em grupo
  • [FAÍSCA-44363] [SC-136433] [PYTHON] Exibir porcentagem de linhas desiguais na comparação de DataFrame
  • [FAÍSCA-44251] [SC-136432] [SQL] Definir anulável corretamente na chave de junção coalesced na junção externa completa USING
  • [FAÍSCA-43948] [SC-133366] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [FAÍSCA-44329] [SC-136326] [CONECTAR] [PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt ao Scala e Python
  • [FAÍSCA-44351] [SC-136353] [SQL] Faça alguma simplificação sintática
  • [FAÍSCA-44281] [SC-135963] [SQL] Erro Move QueryCompilation usado por DataType para sql/api como DataTypeErrors
  • [FAÍSCA-44283] [SC-136109] [CONECTAR] Mover a origem para SQL/API
  • [FAÍSCA-43926] [SC-135590] [CONECTAR] [PYTHON] Adicione array_agg, array_size, cardinality, count_min_sketch,mask,named_struct,json_* ao Scala e Python
  • [FAÍSCA-44327] [SC-136187] [SQL] [CONECTAR] Adicionar funções any e len ao Scala
  • [FAÍSCA-44290] [SC-136300] [CONECTAR] Arquivos e arquivos baseados em sessão no Spark Connect
  • [FAÍSCA-44061] [SC-136299] [PYTHON] Adicionar função util assertDataFrameEqual
  • [FAÍSCA-44331] [SC-136324] [CONECTAR] [PYTHON] Adicionar funções de bitmap ao Scala e Python
  • [FAÍSCA-44342] [SC-136334] [SQL] Substitua SQLContext por SparkSession para GenTPCDSData
  • [FAÍSCA-42583] [SC-124190] [SQL] Remova a junção externa se todas forem funções agregadas distintas
  • [FAÍSCA-44333] [SC-136206] [CONECTAR] [SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
  • [FAÍSCA-43824] [SC-132655] [FAÍSCA-43825] [SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
  • [FAÍSCA-43939] [SC-134602] [CONECTAR] [PYTHON] Adicionar funções try_* ao Scala e Python
  • [FAÍSCA-44193] [SC-135886] [CONECTAR] Implementar intercetação de exceções GRPC para conversão
  • [FAÍSCA-44284] [SC-136107] [CONECTAR] Crie um sistema conf simples para sql/api
  • [FAÍSCA-43913] [SC-133368] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2426-2432]
  • [FAÍSCA-44291] Reverter "[SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo"
  • [FAÍSCA-44312] [SC-136185] [CONECTAR] [PYTHON] Permitir definir um agente de usuário com uma variável de ambiente
  • [FAÍSCA-44154] [SC-136060] Implementar funções de bitmap
  • [FAÍSCA-43885] [SC-133996] [SQL] DataSource V2: Manipular comandos MERGE para fontes baseadas em delta
  • [FAÍSCA-43924] [SC-135161] [CONECTAR] [PYTHON] Adicionar funções misc ao Scala e Python
  • [FAÍSCA-43969] [SC-134556] [SQL] Refatorar & Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_1170
  • [FAÍSCA-44185] [SC-135730] [SQL] Corrigir a qualificação de caminho inconsistente entre operações de catálogo e de dados
  • [FAÍSCA-44073] [SC-134562] [SQL] [PYTHON] [CONECTAR] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
  • [FAÍSCA-43942] [SC-134527] [CONECTAR] [PYTHON] Adicionar funções de cadeia de caracteres ao Scala e Python - parte 1
  • [FAÍSCA-44266] [SC-135813] [SQL] Mover Util.truncatedString para sql/api
  • [FAÍSCA-44195] [SC-135722] [R] Adicionar APIs JobTag ao SparkR SparkContext
  • [FAÍSCA-44200] [SC-135736] [SQL] Regra do analisador de argumento TABLE de suporte para TableValuedFunction
  • [FAÍSCA-44254] [SC-135709] [SQL] Mover QueryExecutionErrors usado por DataType para sql/api como DataTypeErrors
  • [FAÍSCA-44291] [SC-135924] [FAÍSCA-43416] [CONECTAR] Corrigir esquema incorreto para consulta de intervalo
  • [FAÍSCA-43922] [SC-135612] [SQL] Adicionar suporte a parâmetros nomeados no analisador para chamadas de função
  • [FAÍSCA-44300] [SC-135882] [CONECTAR] Corrigir a limpeza de artefatos para limitar o escopo de exclusão a artefatos específicos da sessão
  • [FAÍSCA-44293] [SC-135849] [CONECTAR] Corrigir URI inválido para JARs personalizados no Spark Connect
  • [FAÍSCA-44215] [SC-135850] [BARALHAR] Se os blocos num forem 0, o servidor deverá lançar um RuntimeException
  • [FAÍSCA-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctests deve ser apenas ilustrativo
  • [FAÍSCA-44274] [SC-135814] [CONECTAR] Mover funções util usadas pelo ArtifactManager para common/utils
  • [FAÍSCA-44194] [SC-135815] [PYTHON] [CORE] Adicionar APIs JobTag ao PySpark SparkContext
  • [FAÍSCA-42828] [SC-135733] [PYTHON] [SQL] Anotações de tipo Python mais explícitas para GroupedData
  • [FAÍSCA-44079] [SC-135486] [SQL] Corrigir ArrayIndexOutOfBoundsException quando analisar matriz como struct usando o modo PERMISSIVE com registro corrompido
  • [FAÍSCA-44255] [SC-135809] [SQL] Realoque StorageLevel para common/utils
  • [FAÍSCA-42169] [SC-135795] [SQL] Implementar geração de código para to_csv função (StructsToCsv)
  • [FAÍSCA-44249] [SC-135719] [SQL] [PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [FAÍSCA-43353] [SC-132734] [PYTHON] Migrar erros de sessão restantes para a classe de erro
  • [FAÍSCA-44211] [SC-135718] [PYTHON] [CONECTAR] Implementar SparkSession.is_stopped
  • [FAÍSCA-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
  • [FAÍSCA-41599] [SC-135616] Vazamento de memória no FileSystem.CACHE ao enviar aplicativos para cluster seguro usando InProcessLauncher
  • [FAÍSCA-44241] [SC-135613] [Núcleo] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruições incessantes do executor
  • [FAÍSCA-44133] [SC-134795] [13.X] [PYTHON] Atualize o MyPy de 0.920 para 0.982
  • [FAÍSCA-42941] [SC-134707] [SS] [CONECTAR] [1/2] StreamingQueryListener - Serde de eventos em formato JSON
  • [FAÍSCA-44188] [SC-135173] [CORE] Remover método inútil resetAllPartitions em ActiveJob
  • [FAÍSCA-43757] [SC-135418] [CONECTAR] Alterar a compatibilidade do cliente da lista de permissões para a lista de negação
  • [FAÍSCA-43474] [SC-135521] [SS] [CONECTAR] Adicione um acesso de conexão de faísca a Dataframes de tempo de execução por ID.
  • [FAÍSCA-44183] [SC-135209] [PYTHON] Increate PyArrow versão mínima para 4.0.0
  • [FAÍSCA-44248] [SC-135554] [SS] [SQL] [Kafka] Adicionar localização preferida na fonte kafka v2
  • [FAÍSCA-43929] [SC-134510] [SQL] [PYTHON] [CONECTAR] Adicionar funções de data e hora ao Scala, Python e Connect API - parte 1
  • [FAÍSCA-44161] [SC-135326] [Conectar] Manipular entrada de linha para UDFs
  • [FAÍSCA-44227] [SC-135520] [SQL] Extrair SchemaUtils de StructField
  • [FAÍSCA-44064] [SC-135116] [CORE] [SQL] Adicionar uma nova apply função a NonFateSharingCache
  • [FAÍSCA-44171] [SC-135269] [SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] & excluir algumas classes de erro não utilizadas
  • [FAÍSCA-44056] [SC-134758] [SQL] Incluir nome UDF na mensagem de erro de falha de execução UDF quando disponível
  • [FAÍSCA-44205] [SC-135422] [SQL] Extrair código Catalyst de DecimalType
  • [FAÍSCA-44220] [SC-135484] [SQL] Mover StringConcat para sql/api
  • [FAÍSCA-44146] [SC-135230] [CONECTAR] Isolar jars de sessão e arquivos de classe do Spark Connect
  • [FAÍSCA-44206] [SC-135411] [SQL] DataSet.selectExpr escopo Session.ative
  • [FAÍSCA-40850] [SC-135417] [SQL] Corrigir consultas interpretadas de caso de teste podem executar Codegen
  • [FAÍSCA-44204] [SC-135253] [SQL] [VIH] Adicionar registro ausenteHiveCall para getPartitionNames
  • [FAÍSCA-44237] [SC-135485] [CORE] Simplifique a lógica de pesquisa do construtor DirectByteBuffer
  • [FAÍSCA-44189] [SC-135170] [CONECTAR] [PYTHON] Suporte a parâmetros posicionais por sql()
  • [FAÍSCA-44140] [SC-134893] [SQL] [PYTHON] Suporte a parâmetros posicionais em Python sql()
  • [FAÍSCA-44164] [SC-135158] [SQL] Método Extract toAttribute da classe StructField para Util
  • [FAÍSCA-44178] [SC-135113] [CONECTAR] Suporte a parâmetros posicionais em sql()
  • [FAÍSCA-43208] [SC-128955] [SQL] [VIH] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
  • [FAÍSCA-43063] [SC-128382] [SQL] df.show handle null deve imprimir NULL em vez de null
  • [FAÍSCA-42539] [SC-124464] [SQL] [VIH] Elimine o carregador de classes separado ao usar a versão 'integrada' do Hive para o cliente de metadados
  • [FAÍSCA-43992] [SC-133645] [SQL] [PYTHON] [CONECTAR] Adicionar padrão opcional para Catalog.listFunctions
  • [FAÍSCA-44066] [SC-134878] [SQL] Suporte a parâmetros posicionais em Scala/Java sql()
  • [FAÍSCA-44078] [SC-134869] [CONECTAR] [CORE] Adicionar suporte para o isolamento do carregador de classes/recursos
  • [FAÍSCA-43470] [SC-135187] [CORE] Adicionar informações de versão do SO, Java e Python ao log do aplicativo
  • [FAÍSCA-43136] [SC-135238] [CONECTAR] [Seguimento] Adicionando testes para KeyAs
  • [FAÍSCA-39740] [SC-135093] [UI]: Atualize a linha do tempo para 7.7.2 para corrigir CVE-2020-28487
  • [FAÍSCA-42298] [SC-133952] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2132
  • [FAÍSCA-43961] [SC-133459] [SQL] [PYTHON] [CONECTAR] Adicionar padrão opcional para Catalog.listTables
  • [FAÍSCA-44026] [SC-135181] Permitir o fornecimento de valor inicial para SQLMetrics
  • [FAÍSCA-44202] [SC-135244] [CORE] Adicionar APIs JobTag ao JavaSparkContext
  • [FAÍSCA-44030] [SC-135237] [SQL] Implementar DataTypeExpression para oferecer Unapply for expression
  • [FAÍSCA-43876] Reverter "[SC-134603][SQL] Ativar hashmap rápido para consultas distintas"
  • [FAÍSCA-40082] [SC-126437] Agendar mesclagemFinalizar quando a mesclagem por push shuffleMapStage tentar novamente, mas sem tarefas em execução
  • [FAÍSCA-43888] [SC-132893] [CORE] Realoque o registro em log para common/utils
  • [FAÍSCA-43474] [SC-134400] [SS] [CONECTAR] Adicionar SessionHolder ao SparkConnectPlanner
  • [FAÍSCA-43944] [SC-134490] [CONECTAR] [PYTHON] Adicionar funções de cadeia de caracteres ao Scala e Python - parte 2
  • [FAÍSCA-44134] [SC-134954] [CORE] Corrija os recursos de configuração (GPU/FPGA) para 0 quando eles são definidos em spark-defaults.conf
  • [FAÍSCA-44142] [SC-134947] [PYTHON] Substitua o tipo pelo tpe no utilitário para converter tipos python em tipos de faísca
  • [FAÍSCA-43952] [SC-134695] [CORE] [CONECTAR] [SQL] Adicionar APIs SparkContext para cancelamento de consultas por tag
  • [FAÍSCA-44000] [SC-133634] [SQL] Adicionar dica para desativar a transmissão e replicar um lado da junção
  • [FAÍSCA-43937] [SC-134362] [CONECTAR] [PYTHON] Adicione ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ao Scala e Python
  • [FAÍSCA-43624] [13.x] [SC-134557] [PS] [CONECTAR] Adicionar EWM ao SparkConnectPlanner.
  • [FAÍSCA-44040] [SC-134366] [SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
  • [FAÍSCA-43485] [SC-131264] [SQL] Corrija a mensagem de erro para o unit argumento das funções datetime add/diff
  • [FAÍSCA-43794] [SC-132561] [SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
  • [FAÍSCA-43511] [SC-134749] [CONECTAR] [SS] APIs MapGroupsWithState e FlatMapGroupsWithState implementadas para o Spark Connect
  • [FAÍSCA-43529] [SQL] Suporte CRIAR/SUBSTITUIR OPÇÕES DE TABELA expressões + limpeza de código
  • [FAÍSCA-44106] [SC-134750] [PYTHON] [CONECTAR] Adicionar __repr__ para GroupedData
  • [FAÍSCA-42299] [SC-133190] Atribuir nome a _LEGACY_ERROR_TEMP_2206
  • [FAÍSCA-43290] [SC-134388] [SQL] Adiciona suporte para aes_encrypt IVs e AAD
  • [FAÍSCA-43932] [SC-134138] [SQL] [PYTHON] [CONECTAR] Adicionar current funções semelhantes ao Scala e Python
  • [FAÍSCA-43934] [SC-134108] [SQL] [PYTHON] [CONECTAR] Adicionar funções regexp_* ao Scala e Python
  • [FAÍSCA-44107] [SC-134746] [CONECTAR] [PYTHON] Ocultar métodos Column não suportados do preenchimento automático
  • [FAÍSCA-42941] [SC-134707] [SS] [CONECTAR] [1/2] StreamingQueryListener - Serde de eventos em formato JSON
  • [FAÍSCA-43773] [SC-132659] [CONECTAR] [PYTHON] Implementar funções 'levenshtein(str1, str2[, threshold])' no cliente python
  • [FAÍSCA-44125] [SC-134745] [R] Suporte Java 21 no SparkR
  • [FAÍSCA-43919] [SC-133374] [SQL] Extrair a funcionalidade JSON da linha
  • [FAÍSCA-43769] [SC-132520] [CONECTAR] Implementar funções 'levenshtein(str1, str2[, threshold])'
  • [FAÍSCA-44012] [SC-134662] [SS] KafkaDataConsumer para imprimir algum status de leitura
  • [FAÍSCA-43876] [SC-134603] [SQL] Habilite o hashmap rápido para consultas distintas
  • [FAÍSCA-44024] [SC-134497] [SQL] Alterar para usar map quando unzip usado apenas para extrair um único elemento
  • [FAÍSCA-43928] [SC-134467] [SQL] [PYTHON] [CONECTAR] Adicione operações de bit ao Scala, Python e API Connect
  • [FAÍSCA-44092] [SC-134506] [CORE] Adicionar Utils.isJavaVersionAtLeast21 e fazer core o módulo passar com Java 21
  • [FAÍSCA-44018] [SC-134512] [SQL] Melhorar o hashCode e toString para algumas expressões DS V2
  • [FAÍSCA-44105] [SC-134582] [SQL] LastNonNull deve ser resolvido preguiçosamente
  • [FAÍSCA-44081] [SC-134434] Simplifique um pouco a API PartitionedFileUtil
  • [FAÍSCA-43791] [SC-132531] [SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1336
  • [FAÍSCA-44071] [SC-134435] Definir e usar Unresolved[Leaf|Unário]Traços do nó.
  • [FAÍSCA-43852] [SC-132890] [FAÍSCA-43853] [FAÍSCA-43854] [FAÍSCA-43855] [FAÍSCA-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
  • [FAÍSCA-43742] [SC-132684] [SQL] Refatorar a resolução do valor da coluna padrão
  • [FAÍSCA-43493] [SC-132063] [SQL] Adicionar um argumento de distância máxima à função levenshtein()
  • [FAÍSCA-44075] [SC-134382] [CONECTAR] Faça transformStatCorr preguiça
  • [FAÍSCA-43925] [SC-134381] [SQL] [PYTHON] [CONECTAR] Adicione alguns, bool_or,bool_and,todos ao Scala, Python e Connect
  • [FAÍSCA-43931] [SC-134158] [SQL] [PYTHON] [CONECTAR] Adicionar funções make_* ao Scala e Python
  • [FAÍSCA-43762] [SC-132602] [FAÍSCA-43763] [FAÍSCA-43764] [FAÍSCA-43765] [FAÍSCA-43766] [SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
  • [FAÍSCA-43962] [SC-133367] [SQL] Melhorar as mensagens de erro: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [FAÍSCA-43938] [SC-133887] [CONECTAR] [PYTHON] Adicionar funções to_* ao Scala e Python
  • [FAÍSCA-44055] [SC-134321] [CORE] Remova funções redundantes override de CheckpointRDD
  • [FAÍSCA-43802] [SC-132597] [SQL] Corrija codegen para unhex e unbase64 com failOnError=true
  • [FAÍSCA-43798] [SC-133990] [SQL] [PYTHON] Suporta funções de tabela definidas pelo usuário Python
  • [FAÍSCA-43941] [SC-134286] [SQL] [PYTHON] [CONECTAR] Adicione any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduza para Scala, Python e Connect API
  • [FAÍSCA-43380] [SC-133100] [SQL] Corrija problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
  • [FAÍSCA-43803] [SC-133729] [SS] [CONECTAR] Melhorar awaitTermination() para lidar com desconexões de cliente
  • [FAÍSCA-43179] [SC-129070] [BARALHAR] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Aleatório Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.2.2
  • Lago Delta: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Appdirs 1.4.4 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.2.1 ATRs 21.4.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 criptografia 37.0.1
cycler 0.11.0 Quisto 0.29.32 Databricks-SDK 0.1.6
dbus-python 1.2.18 depuração 1.6.0 decorador 5.1.1
DeUsedXML 0.7.1 Distlib 0.3.7 docstring-para-markdown 0,12
pontos de entrada 0.4 execução 1.2.0 facetas-visão geral 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 Fonttools 4.25.0
googleapis-comuns-protos 1.56.4 Grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadados 4.6.4
Ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 Joblib 1.2.0
jsonschema 4.16.0 jupyter-cliente 7.3.4 jupyter_core 4.11.2
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 porta-chaves 23.5.0
Kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-em linha 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
mais-itertools 8.10.0 mypy-extensões 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 Ninho-Asyncio 1.5.5
nodeenv 1.8.0 bloco de notas 6.4.12 numpy 1.21.5
OAuthlib 3.2.0 embalagem 21,3 pandas 1.4.4
PandocFilters 1.5.0 Parso 0.8.3 PathSpec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.2.0 pip 22.2.2 plataformadirs 2.5.2
enredo 5.9.0 pluggy 1.0.0 Prometheus-cliente 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 PSUTIL 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 Pidântico 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 Pyodbc 4.0.32 pyparsing 3.0.9
Pyright 1.1.294 pirsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 Pyzmq 23.2.0 pedidos 2.28.1
corda 1.7.0 s3transferir 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 setuptools 63.4.1 seis 1.16.0
Soupsieve 2.3.1 ssh-import-id 5.11 dados de pilha 0.6.2
statsmodels 0.13.2 tenacidade 8.1.0 terminado 0.13.1
caminho de teste 0.6.0 ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1
Tomli 2.0.1 tornado 6.1 traços 5.1.1
typing_extensions 4.3.0 Ujson 5.4.0 Upgrades autônomos 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
largura de wc 0.2.5 WebEncodings 0.5.1 whatthepatch 1.0.2
roda 0.37.1 widgetsnbextension 3.6.1 Yapf 0.31.0
zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.3 BSLIB 0.4.2 cachem 1.0.6
Chamador 3.7.3 acento circunflexo 6.0-93 Cellranger 1.1.0
crono 2.3-59 classe 7.3-21 cli 3.6.0
Clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.8.1
compilador 4.2.2 configuração 0.3.1 CPP11 0.4.3
lápis de cor 1.5.2 credenciais 1.3.2 curl 5.0.0
data.table 1.14.6 conjuntos de dados 4.2.2 DBI 1.1.3
DBPlyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 resumo 0.6.31 Iluminação reduzida 0.4.2
dplyr 1.1.0 DTPlyr 1.2.2 E1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 Fãsi 1.0.4
Farver 2.1.1 mapa rápido 1.1.0 fontawesome 0.5.0
FORCATS 1.0.0 foreach 1.5.2 externa 0.8-82
forjar 0.2.0 FS 1.6.1 Futuro 1.31.0
future.apply 1.10.0 gargarejo 1.3.0 Genéricos 0.1.3
Gert 1.9.2 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globais 0.16.2
colar 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 gráficos 4.2.2 grDevices 4.2.2
grelha 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 capacete 1.2.0 Refúgio 2.5.1
mais alto 0.10 HMS 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
IDs 1.0.1 ini 0.3.1 ipred 0.9-13
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 Knitr 1.42
etiquetagem 0.4.2 mais tarde 1.3.0 lattice 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Marcação 1.5
MASSA 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
métodos 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 paralelo 4.2.2
Paralelamente 1.34.0 pilar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 Profvis 0.3.7 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
Leitor 2.1.3 ReadXL 1.4.2 receitas 1.0.4
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.5 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4 ferramentas de origem 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 espacial 7.3-15 splines 4.2.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
sobrevivência 3.5-3 sys 3.4.1 fontes do sistema 1.0.4
tcltk 4.2.2 testeatat 3.1.6 formatação de texto 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
Tidyverse 1.3.2 mudança de hora 0.2.0 timeDate 4022.108
Tinytex 0.44 ferramentas 4.2.2 TZDB 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.3
utilitários 4.2.2 uuid 1.1-0 VCTRS 0.5.2
viridisLite 0.4.1 vroom 1.6.1 Waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.14.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics métricas-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-meias 4.1.87.Final
io.netty netty-comum 4.1.87.Final
io.netty netty-manipulador 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty transporte de rede 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 11.0.0
org.apache.arrow seta-memória-núcleo 11.0.0
org.apache.arrow seta-memória-netty 11.0.0
org.apache.arrow vetor de seta 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapeado 1.11.1
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.8.4-protobuf sombreado
org.apache.orc orc-mapreduce 1.8.4-protobuf sombreado
org.apache.orc Orc-calços 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.22
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty cais-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket API WebSocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-cliente 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-Comum 9.4.51.v20230217
org.eclipse.jetty.websocket servidor websocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core servidor de jersey 2.36
org.glassfish.jersey.inject Jersey-HK2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap calços 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1