Tempo de execução do Databricks 12.2 LTS
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.2 LTS, alimentado pelo Apache Spark 3.3.2.
A Databricks divulgou essas imagens em março de 2023.
Novos recursos e melhorias
- A evolução do esquema Delta Lake suporta a especificação de colunas de origem em instruções de mesclagem
- As cargas de trabalho de Streaming estruturado são suportadas em clusters com modo de acesso compartilhado
- Novos recursos para E/S preditiva
- Suporte implícito de aliasing de coluna lateral
- Novo recurso forEachBatch
- Opções de conexão padronizadas para federação de consultas
- Biblioteca de funções SQL estendida para gerenciamento de matrizes
- Nova função de máscara para anonimizar cadeias de caracteres
- Condições de erro comuns agora retornam SQLSTATEs
- Invoque funções geradoras na cláusula FROM
- O suporte para buffers de protocolo está geralmente disponível
- Correções de erros
A evolução do esquema Delta Lake suporta a especificação de colunas de origem em instruções de mesclagem
Agora você pode especificar colunas presentes somente na tabela de origem em ações de inserção ou atualização para instruções de mesclagem quando a evolução do esquema estiver habilitada. No Databricks Runtime 12.1 e inferior, apenas INSERT * ações ou UPDATE SET * podem ser usadas para evolução do esquema com mesclagem. Consulte Evolução automática do esquema para mesclagem Delta Lake.
As cargas de trabalho de Streaming estruturado são suportadas em clusters com modo de acesso compartilhado
Agora você pode usar o Streaming estruturado para interagir com o Unity Catalog em clusters compartilhados. Aplicam-se algumas limitações. Consulte Qual funcionalidade de streaming estruturado é compatível com o Unity Catalog?.
Novos recursos para E/S preditiva
O suporte de fótons para o coletor Foreachbatch já está disponível. As cargas de trabalho que são transmitidas de uma origem e mescladas em tabelas delta ou gravadas em vários coletores agora podem se beneficiar do coletor Foreachbatch fotonizado.
Suporte implícito de aliasing de coluna lateral
O Azure Databricks agora dá suporte ao aliasing de coluna lateral implícito por padrão. Agora você pode reutilizar uma expressão especificada anteriormente na mesma SELECT lista. Por exemplo, dado SELECT 1 AS a, , a + 1 AS bo a in a + 1 pode ser resolvido como o definido anteriormente 1 AS a. Verifique Resolução de nomes para obter mais detalhes na ordem de resolução.
Para desativar esse recurso, você pode definir spark.sql.lateralColumnAlias.enableImplicitResolution como false.
Novo recurso forEachBatch
O Photon agora é suportado ao usar foreachBatch para gravar em um coletor de dados.
Opções de conexão padronizadas para federação de consultas
Agora você pode usar um conjunto unificado de opções (host, porta, banco de dados, usuário, senha) para se conectar a fontes de dados suportadas na Federação de Consultas. Port é opcional e usa o número de porta padrão para cada fonte de dados, a menos que especificado.
Biblioteca de funções SQL estendida para gerenciamento de matrizes
Agora você pode remover todos os elementos NULL de uma matriz usando array_compact. Para acrescentar elementos a uma matriz, use array_append.
Nova função de máscara para anonimizar cadeias de caracteres
Invoque a função mask para anonimizar valores de cadeia de caracteres confidenciais.
Condições de erro comuns agora retornam SQLSTATEs
A maioria das condições de erro que o Databricks Runtime agora inclui valores SQLSTATE documentados que podem ser usados para testar erros de forma compatível com o padrão SQL.
Invoque funções geradoras na cláusula FROM
Agora você pode invocar funções de gerador com valor de tabela, como explodir na cláusula regular FROM de uma consulta. Isso alinha a invocação da função geradora com outras funções de tabela internas e definidas pelo usuário.
O suporte para buffers de protocolo está geralmente disponível
Você pode usar as from_protobuf funções e para trocar dados entre os tipos binário e to_protobuf struct. Consulte Buffers de protocolo de leitura e gravação.
Correções de erros
- Consistência aprimorada para o comportamento de confirmação Delta para transações vazias relacionadas a
update,deleteemergecomandos. NoWriteSerializablenível de isolamento, os comandos que não resultam em alterações agora criam uma confirmação vazia. Em umSerializablenível de isolamento, essas transações vazias agora não criam uma confirmação.
Alterações de comportamento
Alterações de comportamento com o novo recurso de alias de coluna lateral
O novo recurso de alias de coluna lateral introduz alterações de comportamento para os seguintes casos durante a resolução de nomes:
- O alias de coluna lateral agora tem precedência sobre referências correlacionadas com o mesmo nome. Por exemplo, para esta consulta
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), o in the innerc1 AS c2foi resolvido para a referênciat.c1correlacionada, mas agora muda para oc1alias1 AS c1da coluna lateral. A consulta agora retornaNULL. - O alias da coluna lateral agora tem precedência sobre os parâmetros de função com o mesmo nome. Por exemplo, para a função, , o
xno corpo da função foi resolvido para o parâmetro de função x,CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xmas muda para o aliasx + 1da coluna lateral no corpo da função. A consulta,SELECT * FROM func(1)agora retorna2, 2. - Para desativar o recurso de alias de coluna lateral, defina
spark.sql.lateralColumnAlias.enableImplicitResolutioncomofalse. Para obter mais informações, consulte Resolução de nomes.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- filelock de 3.8.2 a 3.9.0
- joblib de 1.1.0 a 1.1.1
- platformdirs de 2.6.0 a 2.6.2
- whatthepatch de 1.0.3 a 1.0.4
- Bibliotecas R atualizadas:
- classe de 7.3-20 a 7.3-21
- CodeTools de 0.2-18 a 0.2-19
- MASSA de 7,3-58 a 7,3-58,2
- NLME de 3.1-160 a 3.1-162
- Reserve de 1.8-11 a 1.8-12
- SparkR de 3.3.1 a 3.3.2
Mudanças de comportamento
- Os usuários agora precisam ter
SELECTprivilégios emMODIFYqualquer arquivo ao criar um esquema com um local definido.
Faísca Apache
O Databricks Runtime 12.2 inclui o Apache Spark 3.3.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.1 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-42416] [SC-123205] [SC-122851] [SQL] As operações de conjunto de datas não devem resolver o plano lógico analisado novamente
- [FAÍSCA-41848] Reverter "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Corrigindo tarefa agendada em excesso com TaskResourceProfile"
- [FAÍSCA-42162] [SC-122711] [ES-556261] Introduza a expressão MultiCommutativeOp como uma otimização de memória para canonicalizar grandes árvores de expressões comutativas
- [FAÍSCA-42406] [SC-122998] [PROTOBUF] [Escolha a dedo] Corrigir a configuração de profundidade recursiva para funções Protobuf
- [FAÍSCA-42002] [SC-122476] [CONECTAR] [PYTHON] Implementar DataFrameWriterV2
- [FAÍSCA-41716] [SC-122545] [CONECTAR] Renomear _catalog_to_pandas para _execute_and_fetch no catálogo
- [FAÍSCA-41490] [SC-121774] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2441
- [FAÍSCA-41600] [SC-122538] [FAÍSCA-41623] [FAÍSCA-41612] [CONECTAR] Implementar Catalog.cacheTable, isCached e uncache
- [FAÍSCA-42191] [SC-121990] [SQL] Suporte udf 'luhn_check'
- [FAÍSCA-42253] [SC-121976] [PYTHON] Adicionar teste para detetar classe de erro duplicada
- [FAÍSCA-42268] [SC-122251] [CONECTAR] [PYTHON] Adicionar UserDefinedType em protos
- [FAÍSCA-42231] [SC-121841] [SQL] Transforme-se
MISSING_STATIC_PARTITION_COLUMNeminternalError - [FAÍSCA-42136] [SC-122554] Cálculo de particionamento de saída Refactor BroadcastHashJoinExec
- [FAÍSCA-42158] [SC-121610] [SQL] Integre-se
_LEGACY_ERROR_TEMP_1003emFIELD_NOT_FOUND - [FAÍSCA-42192] [12.x] [SC-121820] [PYTHON] Migre o TypeError de pyspark/sql/dataframe.py para PySparkTypeError
- [FAÍSCA-35240] Reverter "[SC-118242][SS] Use CheckpointFileManager ...
- [FAÍSCA-41488] [SC-121858] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1176 (e 1177)
- [FAÍSCA-42232] [SC-122267] [SQL] Renomear classe de erro:
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [FAÍSCA-42346] [SC-122480] [SQL] Reescrever agregações distintas após a mesclagem de subconsulta
- [FAÍSCA-42306] [SC-122539] [SQL] Integre-se
_LEGACY_ERROR_TEMP_1317emUNRESOLVED_COLUMN.WITH_SUGGESTION - [FAÍSCA-42234] [SC-122354] [SQL] Renomear classe de erro:
UNSUPPORTED_FEATURE.REPEATED_PIVOT - [FAÍSCA-42343] [SC-122437] [CORE] Ignorar
IOExceptionsehandleBlockRemovalFailureSparkContext for interrompido - [FAÍSCA-41295] [SC-122442] [FAÍSCA-41296] [SQL] Renomear as classes de erro
- [FAÍSCA-42320] [SC-122478] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2188
- [FAÍSCA-42255] [SC-122483] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2430
- [FAÍSCA-42156] [SC-121851] [CONECTAR] SparkConnectClient suporta RetryPolicies agora
- [FAÍSCA-38728] [SC-116723] [SQL] Teste a classe de erro: FAILED_RENAME_PATH
- [FAÍSCA-40005] [12.X] Exemplos independentes no PySpark
- [FAÍSCA-39347] [SC-122457] [SS] Correção de bug para cálculo de janela de tempo quando o evento hora < 0
- [FAÍSCA-42336] [SC-122458] [CORE] Use
getOrElse()em vez decontains()em ResourceAllocator - [FAÍSCA-42125] [SC-121827] [CONECTAR] [PYTHON] Pandas UDF no Spark Connect
- [FAÍSCA-42217] [SC-122263] [SQL] Suporte alias de coluna lateral implícito em consultas com o Window
- [FAÍSCA-35240] [SC-118242] [SS] Use o CheckpointFileManager para manipulação de arquivos de ponto de verificação
- [FAÍSCA-42294] [SC-122337] [SQL] Incluir valores padrão de coluna na saída DESCRIBE para tabelas V2
- [FAÍSCA-41979] Reverter "Reverter "[12.x][SC-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro.""
- [FAÍSCA-42286] [SC-122336] [SQL] Fallback para o caminho de código codegen anterior para expr complexo com CAST
- [FAÍSCA-42275] [SC-122249] [CONECTAR] [PYTHON] Evite usar lista interna, ditar em digitação estática
- [FAÍSCA-41985] [SC-122172] [SQL] Centralize mais regras de resolução de colunas
- [FAÍSCA-42126] [SC-122330] [PYTHON] [CONECTAR] Aceitar tipo de retorno em cadeias de caracteres DDL para UDFs Python Scalar no Spark Connect
- [FAÍSCA-42197] [SC-122328] [SC-121514] [CONECTAR] Reutiliza a inicialização da JVM e grupos de configuração separados para definir no modo local remoto
- [FAÍSCA-41575] [SC-120118] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2054
- [FAÍSCA-41985] Reverter "[SC-122172][SQL] Centralizar mais regras de resolução de coluna"
- [FAÍSCA-42123] [SC-122234] [SC-121453] [SQL] Incluir valores padrão de coluna na saída DESCRIBE e SHOW CREATE TABLE
- [FAÍSCA-41985] [SC-122172] [SQL] Centralize mais regras de resolução de colunas
- [FAÍSCA-42284] [SC-122233] [CONECTAR] Certifique-se de que o assembly do servidor de conexão seja criado antes de executar testes de cliente - SBT
- [FAÍSCA-42239] [SC-121790] [SQL] Integrar
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [FAÍSCA-42278] [SC-122170] [SQL] O pushdown DS V2 suporta dialetos JDBC compilados
SortOrderpor si mesmos - [FAÍSCA-42259] [SC-122168] [SQL] ResolveGroupingAnalytics deve cuidar do Python UDAF
- [FAÍSCA-41979] Reverter "[12.x][SC-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro."
- [FAÍSCA-42224] [12.x] [SC-121708] [CONECTAR] Migrar TypeError para a estrutura de erros para funções do Spark Connect
- [FAÍSCA-41712] [12.x] [SC-121189] [PYTHON] [CONECTAR] Migre os erros do Spark Connect para a estrutura de erros do PySpark.
- [FAÍSCA-42119] [SC-121913] [SC-121342] [SQL] Adicione funções internas com valor de tabela embutidas e inline_outer
- [FAÍSCA-41489] [SC-121713] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2415
- [FAÍSCA-42082] [12.x] [SC-121163] [FAÍSCA-41598] [PYTHON] [CONECTAR] Introduza PySparkValueError e PySparkTypeError
- [FAÍSCA-42081] [SC-121723] [SQL] Melhorar a validação da alteração do plano
- [FAÍSCA-42225] [12.x] [SC-121714] [CONECTAR] Adicione SparkConnectIllegalArgumentException para manipular o erro Spark Connect com precisão.
- [FAÍSCA-42044] [12.x] [SC-121280] [SQL] Corrigir mensagem de erro incorreta para
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [FAÍSCA-42194] [12.x] [SC-121712] [PS] Permitir colunas parâmetro ao criar DataFrame com Series.
- [FAÍSCA-42078] [12.x] [SC-120761] [PYTHON] Migrar erros lançados pela JVM para PySparkException.
- [FAÍSCA-42133] [12.x] [SC-121250] Adicionar métodos básicos de API de conjunto de dados ao SparkConnect Scala Client
- [FAÍSCA-41979] [12.x] [SC-121190] [SQL] Adicione pontos ausentes para mensagens de erro em classes de erro.
- [FAÍSCA-42124] [12.x] [SC-121420] [PYTHON] [CONECTAR] Scalar Inline Python UDF no Spark Connect
- [FAÍSCA-42051] [SC-121994] [SQL] Suporte Codegen para HiveGenericUDF
- [FAÍSCA-42257] [SC-121948] [CORE] Remover classificador externo variável não utilizado
- [FAÍSCA-41735] [SC-121771] [SQL] Use MINIMAL em vez de STANDARD para SparkListenerSQLExecutionEnd
- [FAÍSCA-42236] [SC-121882] [SQL] Refinar
NULLABLE_ARRAY_OR_MAP_ELEMENT - [FAÍSCA-42233] [SC-121775] [SQL] Melhorar a mensagem de erro para
PIVOT_AFTER_GROUP_BY - [FAÍSCA-42229] [SC-121856] [CORE] Migrar
SparkCoreErrorspara classes de erro - [FAÍSCA-42163] [SC-121839] [SQL] Corrigir remoção de esquema para índice de matriz não dobrável ou chave de mapa
- [FAÍSCA-40711] [SC-119990] [SQL] Adicionar métricas de tamanho de derramamento para janela
- [FAÍSCA-42023] [SC-121847] [FAÍSCA-42024] [CONECTAR] [PYTHON] Fazer
createDataFramecoerção de apoioAtomicType -> StringType - [FAÍSCA-42202] [SC-121837] [Conectar] [Teste] Melhorar a lógica de parada do servidor de teste E2E
- [FAÍSCA-41167] [SC-117425] [SQL] Melhore o desempenho multi-like criando um predicado de árvore de expressão equilibrado
- [FAÍSCA-41931] [SC-121618] [SQL] Melhor mensagem de erro para definição de tipo complexo incompleto
- [FAÍSCA-36124] [SC-121339] [SC-110446] [SQL] Suporte a subconsultas com correlação através de UNION
- [FAÍSCA-42090] [SC-121290] [3.3] Introduza a contagem de tentativas sasl em RetryingBlockTransferor
- [FAÍSCA-42157] [SC-121264] [CORE]
spark.scheduler.mode=FAIRdeve fornecer agendador FAIR - [FAÍSCA-41572] [SC-120772] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2149
- [FAÍSCA-41983] [SC-121224] [SQL] Renomear & melhorar mensagem de erro para
NULL_COMPARISON_RESULT - [FAÍSCA-41976] [SC-121024] [SQL] Melhorar a mensagem de erro para
INDEX_NOT_FOUND - [FAÍSCA-41994] [SC-121210] [SC-120573] Atribuir SQLSTATE (1/2)
- [FAÍSCA-41415] [SC-121117] [3.3] Tentativas de solicitação SASL
- [FAÍSCA-38591] [SC-121018] [SQL] Adicionar flatMapSortedGroups e cogroupSorted
- [FAÍSCA-41975] [SC-120767] [SQL] Melhorar a mensagem de erro para
INDEX_ALREADY_EXISTS - [FAÍSCA-42056] [SC-121158] [SQL] [PROTOBUF] Adicionar opções ausentes para funções Protobuf
- [FAÍSCA-41984] [SC-120769] [SQL] Renomear & melhorar mensagem de erro para
RESET_PERMISSION_TO_ORIGINAL - [FAÍSCA-41948] [SC-121196] [SQL] Corrigir NPE para classes de erro: CANNOT_PARSE_JSON_FIELD
- [FAÍSCA-41772] [SC-121176] [CONECTAR] [PYTHON] Corrigir nome de coluna incorreto no
withFielddoctest do - [FAÍSCA-41283] [SC-121175] [CONECTAR] [PYTHON] Adicionar
array_appendao Connect - [FAÍSCA-41960] [SC-120773] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1056
- [FAÍSCA-42134] [SC-121116] [SQL] Corrija getPartitionFiltersAndDataFilters() para manipular filtros sem atributos referenciados
- [FAÍSCA-42096] [SC-121012] [CONECTAR] Alguma limpeza de código para
connecto módulo - [FAÍSCA-42099] [SC-121114] [FAÍSCA-41845] [CONECTAR] [PYTHON] Corrigir
count(*)ecount(col(*)) - [FAÍSCA-42045] [SC-120958] [SC-120450] [SQL] Modo ANSI SQL: Round/Bround deve retornar um erro no estouro de número inteiro
- [FAÍSCA-42043] [SC-120968] [CONECTAR] Resultado do cliente Scala com testes E2E
- [FAÍSCA-41884] [SC-121022] [CONECTAR] Apoie a tupla ingênua como uma linha aninhada
- [FAÍSCA-42112] [SC-121011] [SQL] [SS] Adicionar verificação nula antes
ContinuousWriteRDD#computede fechar a funçãodataWriter - [FAÍSCA-42077] [SC-120553] [CONECTAR] [PYTHON] Literal deve lançar TypeError para DataType não suportado
- [FAÍSCA-42108] [SC-120898] [SQL] Faça com que o Analyzer se transforme
Count(*)emCount(1) - [FAÍSCA-41666] [SC-120928] [SC-119009] [PYTHON] Suporte parametrizado SQL por
sql() - [FAÍSCA-40599] [SC-120930] [SQL] Relaxe o tipo de regra multiTransform para permitir que as alternativas sejam qualquer tipo de Seq
- [FAÍSCA-41574] [SC-120771] [SQL] Atualizar
_LEGACY_ERROR_TEMP_2009comoINTERNAL_ERROR. - [FAÍSCA-41579] [SC-120770] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1249
- [FAÍSCA-41974] [SC-120766] [SQL] Transforme-se
INCORRECT_END_OFFSETemINTERNAL_ERROR - [FAÍSCA-41530] [SC-120916] [SC-118513] [CORE] Renomeie MedianHeap para PercentileMap e suporte percentil
- [FAÍSCA-41757] [SC-120608] [FAÍSCA-41901] [CONECTAR] Corrigir representação de cadeia de caracteres para a classe Column
- [FAÍSCA-42084] [SC-120775] [SQL] Evite vazar a restrição de acesso qualificado somente
- [FAÍSCA-41973] [SC-120765] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1311
- [FAÍSCA-42039] [SC-120655] [SQL] SPJ: Remover opção em KeyGroupedPartitioning#partitionValuesOpt
- [FAÍSCA-42079] [SC-120712] [CONECTAR] [PYTHON] Renomear mensagens proto para
toDFewithColumnsRenamed - [FAÍSCA-42089] [SC-120605] [CONECTAR] [PYTHON] Corrigir problemas de nome de variável em funções aninhadas do lambda
- [FAÍSCA-41982] [SC-120604] [SQL] As partições do tipo string não devem ser tratadas como tipos numéricos
- [FAÍSCA-40599] [SC-120620] [SQL] Adicionar métodos multiTransform ao TreeNode para gerar alternativas
- [FAÍSCA-42085] [SC-120556] [CONECTAR] [PYTHON] Criar
from_arrow_schematipos aninhados de suporte - [FAÍSCA-42057] [SC-120507] [SQL] [PROTOBUF] Corrija como a exceção é tratada no relatório de erros.
- [FAÍSCA-41586] [12.x] [TODOS OS TESTES] [SC-120544] [PYTHON] Introdução
pyspark.errorse classes de erro para PySpark. - [FAÍSCA-41903] [SC-120543] [CONECTAR] [PYTHON]
Literaldeve suportar ndarray 1-dim - [FAÍSCA-42021] [SC-120584] [CONECTAR] [PYTHON] Fazer
createDataFramesuportearray.array - [FAÍSCA-41896] [SC-120506] [SQL] A filtragem por índice de linha devolve resultados vazios
- [FAÍSCA-41162] [SC-119742] [SQL] Corrigir anti e semi-join para auto-junção com agregações
- [FAÍSCA-41961] [SC-120501] [SQL] Suporta funções com valor de tabela com LATERAL
- [FAÍSCA-41752] [SC-120550] [SQL] [UI] Agrupar execuções aninhadas sob a execução raiz
- [FAÍSCA-42047] [SC-120586] [FAÍSCA-41900] [CONECTAR] [PYTHON] [12.X] Literal deve suportar tipos de dados Numpy
- [FAÍSCA-42028] [SC-120344] [CONECTAR] [PYTHON] Truncar nanossegundos timestampsl
- [FAÍSCA-42011] [SC-120534] [CONECTAR] [PYTHON] Implemente DataFrameReader.csv
- [FAÍSCA-41990] [SC-120532] [SQL] Use
FieldReference.columnem vez de na conversão de filtro V1applypara V2 - [FAÍSCA-39217] [SC-120446] [SQL] Faz com que o DPP apoie o lado da poda tem União
- [FAÍSCA-42076] [SC-120551] [CONECTAR] [PYTHON] Fator de conversão
arrow -> rowsde dados para fora paraconversion.py - [FAÍSCA-42074] [SC-120540] [SQL] Habilitar
KryoSerializerTPCDSQueryBenchmarkpara impor o registro de classe SQL - [FAÍSCA-42012] [SC-120517] [CONECTAR] [PYTHON] Implementar DataFrameReader.orc
- [FAÍSCA-41832] [SC-120513] [CONECTAR] [PYTHON] Corrigir
DataFrame.unionByName, adicionar allow_missing_columns - [FAÍSCA-38651] [SC-120514] [SQL] Adicionar
spark.sql.legacy.allowEmptySchemaWrite - [FAÍSCA-41991] [SC-120406] [SQL]
CheckOverflowInTableInsertdeve aceitar ExpressionProxy como filho - [FAÍSCA-41232] [SC-120073] [SQL] [PYTHON] Adicionando array_append função
- [FAÍSCA-42041] [SC-120512] [FAÍSCA-42013] [CONECTAR] [PYTHON] DataFrameReader deve suportar lista de caminhos
- [FAÍSCA-42071] [SC-120533] [CORE] Registre-se
scala.math.Ordering$Reverseno KyroSerializer - [FAÍSCA-41986] [SC-120429] [SQL] Introduza o shuffle no SinglePartition
- [FAÍSCA-42016] [SC-120428] [CONECTAR] [PYTHON] Habilitar testes relacionados à coluna aninhada
- [FAÍSCA-42042] [SC-120427] [CONECTAR] [PYTHON]
DataFrameReaderdeve suportar o esquema StructType - [FAÍSCA-42031] [SC-120389] [CORE] [SQL] Métodos de limpeza que não precisam de
removesubstituição - [FAÍSCA-41746] [SC-120463] [FAÍSCA-41838] [FAÍSCA-41837] [FAÍSCA-41835] [FAÍSCA-41836] [FAÍSCA-41847] [CONECTAR] [PYTHON] Criar
createDataFrame(rows/lists/tuples/dicts)tipos aninhados de suporte - [FAÍSCA-41437] [SC-117601] [SQL] [TODOS OS TESTES] Não otimize a consulta de entrada duas vezes para fallback de gravação v1
- [FAÍSCA-41840] [SC-119719] [CONECTAR] [PYTHON] Adicionar o alias ausente
groupby - [FAÍSCA-41846] [SC-119717] [CONECTAR] [PYTHON] Ativar doctests para funções de janela
- [FAÍSCA-41914] [SC-120094] [SQL] FileFormatWriter materializa o plano AQE antes de acessar outputOrdering
- [FAÍSCA-41805] [SC-119992] [SQL] Reutilizar expressões em WindowSpecDefinition
- [FAÍSCA-41977] [SC-120269] [FAÍSCA-41978] [CONECTAR] SparkSession.range para tomar float como argumentos
- [FAÍSCA-42029] [SC-120336] [CONECTAR] Adicione regras de sombreamento de goiaba para
connect-commonevitar falha de inicialização - [FAÍSCA-41989] [SC-120334] [PYTHON] Evite quebrar a configuração de registro de pyspark.pandas
- [FAÍSCA-42003] [SC-120331] [SQL] Reduzir código duplicado em ResolveGroupByAll
- [FAÍSCA-41635] [SC-120313] [SQL] Corrigir grupo por todos os relatórios de erros
- [FAÍSCA-41047] [SC-120291] [SQL] Melhorar documentos para rodada
- [FAÍSCA-41822] [SC-120122] [CONECTAR] Configurar conexão gRPC para cliente Scala/JVM
- [FAÍSCA-41879] [SC-120264] [CONECTAR] [PYTHON] Criar
DataFrame.collecttipos aninhados de suporte - [FAÍSCA-41887] [SC-120268] [CONECTAR] [PYTHON] Tornar
DataFrame.hinta lista de aceitação do parâmetro digitado - [FAÍSCA-41964] [SC-120210] [CONECTAR] [PYTHON] Adicionar a lista de funções de E/S não suportadas
- [FAÍSCA-41595] [SC-120097] [SQL] Função geradora de suporte explode/explode_outer na cláusula FROM
- [FAÍSCA-41957] [SC-120121] [CONECTAR] [PYTHON] Habilite o doctest para
DataFrame.hint - [FAÍSCA-41886] [SC-120141] [CONECTAR] [PYTHON]
DataFrame.intersectA saída doctest tem uma ordem diferente - [FAÍSCA-41442] [SC-117795] [SQL] [TODOS OS TESTES] Atualize o valor SQLMetric somente se estiver mesclando com uma métrica válida
- [FAÍSCA-41944] [SC-120046] [CONECTAR] Passar configurações quando o modo remoto local está ativado
- [FAÍSCA-41708] [SC-119838] [SQL] Puxe as informações v1write para
WriteFiles - [FAÍSCA-41780] [SC-120000] [SQL] Deve jogar INVALID_PARAMETER_VALUE. PATTERN quando os parâmetros
regexpsão inválidos - [FAÍSCA-41889] [SC-119975] [SQL] Anexe a causa raiz às classes de erro invalidPatternError & refactor INVALID_PARAMETER_VALUE
- [FAÍSCA-41860] [SC-120028] [SQL] Crie classes de caso do AvroScanBuilder e do JsonScanBuilder
- [FAÍSCA-41945] [SC-120010] [CONECTAR] [PYTHON] Python: conecte dados de coluna perdidos do cliente com pyarrow. Table.to_pylist
- [FAÍSCA-41690] [SC-119102] [SC-119087] [SQL] [CONECTAR] Codificadores agnósticos
- [FAÍSCA-41354] [SC-119995] [CONECTAR] [PYTHON] Implementar RepartitionByExpression
- [FAÍSCA-41581] [SC-119997] [SQL] Atualizar
_LEGACY_ERROR_TEMP_1230comoINTERNAL_ERROR - [FAÍSCA-41928] [SC-119972] [CONECTAR] [PYTHON] Adicione a lista não suportada para
functions - [FAÍSCA-41933] [SC-119980] [CONECTAR] Fornecer o modo local que inicia automaticamente o servidor
- [FAÍSCA-41899] [SC-119971] [CONECTAR] [PYTHON] createDataFrame' deve respeitar o esquema DDL fornecido pelo usuário
- [FAÍSCA-41936] [SC-119978] [CONECTAR] [PYTHON] Fazer
withMetadatareutilizar owithColumnsproto - [FAÍSCA-41898] [SC-119931] [CONECTAR] [PYTHON] Window.rowsBetween, Window.rangeEntre parâmetros typechecking parity with pyspark
- [FAÍSCA-41939] [SC-119977] [CONECTAR] [PYTHON] Adicionar a lista não suportada para
catalogfunções - [FAÍSCA-41924] [SC-119946] [CONECTAR] [PYTHON] Fazer com que o StructType suporte metadados e implemente
DataFrame.withMetadata - [FAÍSCA-41934] [SC-119967] [CONECTAR] [PYTHON] Adicione a lista de funções não suportadas para
session - [FAÍSCA-41875] [SC-119969] [CONECTAR] [PYTHON] Adicionar casos de teste para
Dataset.to() - [FAÍSCA-41824] [SC-119970] [CONECTAR] [PYTHON] Ingore o doctest para explicar de conectar
- [FAÍSCA-41880] [SC-119959] [CONECTAR] [PYTHON] Fazer com que a função
from_jsonaceite esquema não literal - [FAÍSCA-41927] [SC-119952] [CONECTAR] [PYTHON] Adicione a lista não suportada para
GroupedData - [FAÍSCA-41929] [SC-119949] [CONECTAR] [PYTHON] Adicionar função
array_compact - [FAÍSCA-41827] [SC-119841] [CONECTAR] [PYTHON] Fazer
GroupBylista de colunas de aceitação - [FAÍSCA-41925] [SC-119905] [SQL] Ativar
spark.sql.orc.enableNestedColumnVectorizedReaderpor padrão - [FAÍSCA-41831] [SC-119853] [CONECTAR] [PYTHON] Fazer
DataFrame.selectlista de colunas de aceitação - [FAÍSCA-41455] [SC-119858] [CONECTAR] [PYTHON] Fazer
DataFrame.collectdescartar as informações de fuso horário - [FAÍSCA-41923] [SC-119861] [CONECTAR] [PYTHON] Adicionar
DataFrame.writeToà lista sem suporte - [FAÍSCA-41912] [SC-119837] [SQL] A subconsulta não deve validar a CTE
- [FAÍSCA-41828] [SC-119832] [CONECTAR] [PYTHON] [12.X] Tornar
createDataFrameo suporte de quadro de dados vazio - [FAÍSCA-41905] [SC-119848] [CONECTAR] Nome de suporte como strings na fatia
- [FAÍSCA-41869] [SC-119845] [CONECTAR] Rejeitar cadeia de caracteres única no dropDuplicates
- [FAÍSCA-41830] [SC-119840] [CONECTAR] [PYTHON] Faça
DataFrame.sampleaceitar os mesmos parâmetros que o PySpark - [FAÍSCA-41849] [SC-119835] [CONECTAR] Implementar DataFrameReader.text
- [FAÍSCA-41861] [SC-119834] [SQL] Faça com que build() do v2 ScanBuilder retorne a verificação digitada
- [FAÍSCA-41825] [SC-119710] [CONECTAR] [PYTHON] Ativar doctests relacionados a
DataFrame.show - [FAÍSCA-41855] [SC-119804] [SC-119410] [FAÍSCA-41814] [FAÍSCA-41851] [FAÍSCA-41852] [CONECTAR] [PYTHON] [12.X] Faça
createDataFrameo identificador None/NaN corretamente - [FAÍSCA-41833] [SC-119685] [FAÍSCA-41881] [FAÍSCA-41815] [CONECTAR] [PYTHON] Faça
DataFrame.collectcom que o identificador None/NaN/Array/Binary porperly - [FAÍSCA-39318] [SC-119713] [SQL] Remover arquivos dourados tpch-plan-stability WithStats
- [FAÍSCA-41791] [SC-119745] Adicionar novos tipos de coluna de metadados de origem de arquivo
- [FAÍSCA-41790] [SC-119729] [SQL] Definir o formato do leitor e do gravador TRANSFORM corretamente
- [FAÍSCA-41829] [SC-119725] [CONECTAR] [PYTHON] Adicione o parâmetro de ordenação ausente em
SortesortWithinPartitions - [FAÍSCA-41576] [SC-119718] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2051
- [FAÍSCA-41821] [SC-119716] [CONECTAR] [PYTHON] Corrigir teste de doc para DataFrame.describe
- [FAÍSCA-41871] [SC-119714] [CONECTAR] O parâmetro de dica DataFrame pode ser str, float ou int
- [FAÍSCA-41720] [SC-119076] [SQL] Renomeie UnresolvedFunc para UnresolvedFunctionName
- [FAÍSCA-41573] [SC-119567] [SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2136
- [FAÍSCA-41862] [SC-119492] [SQL] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
- [FAÍSCA-41582] [SC-119482] [SC-118701] [CORE] [SQL] Reutilizar
INVALID_TYPED_LITERALem vez de_LEGACY_ERROR_TEMP_0022
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 12.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Escala: 2.12.15
- Píton: 3.9.5
- R: 4.2.2
- Lago Delta: 2.2.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Argônio2-CFFI | 21.3.0 | argon2-cffi-ligações | 21.2.0 | AstTokens | 2.0.5 |
| ATRs | 21.4.0 | Backcall | 0.2.0 | backports.pontos de entrada-selecionáveis | 1.2.0 |
| sopa bonita4 | 4.11.1 | preto | 22.3.0 | lixívia | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | Normalizador de Charset | 2.0.4 |
| clicar | 8.0.4 | criptografia | 3.4.8 | cycler | 0.11.0 |
| Quisto | 0.29.28 | dbus-python | 1.2.16 | depuração | 1.5.1 |
| decorador | 5.1.1 | DeUsedXML | 0.7.1 | Distlib | 0.3.6 |
| docstring-para-markdown | 0,11 | pontos de entrada | 0.4 | execução | 0.8.3 |
| facetas-visão geral | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| Fonttools | 4.25.0 | idna | 3.3 | Ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| Joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-cliente | 6.1.12 |
| jupyter_core | 4.11.2 | Jupyterlab-Pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-em linha | 0.1.2 | Mccabe | 0.7.0 | Mistune | 0.8.4 |
| mypy-extensões | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | Ninho-Asyncio | 1.5.5 | nodeenv | 1.7.0 |
| bloco de notas | 6.4.8 | numpy | 1.21.5 | embalagem | 21,3 |
| pandas | 1.4.2 | PandocFilters | 1.5.0 | Parso | 0.8.3 |
| PathSpec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Travesseiro | 9.0.1 | pip | 21.2.4 |
| plataformadirs | 2.6.2 | enredo | 5.6.0 | pluggy | 1.0.0 |
| Prometheus-cliente | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| PSUTIL | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| puro-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| Pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| Pyodbc | 4.0.32 | pyparsing | 3.0.4 | Pyright | 1.1.283 |
| pirsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-servidor | 1.6.0 | pytz | 2021.3 | Pyzmq | 22.3.0 |
| pedidos | 2.27.1 | pedidos-unixsocket | 0.2.0 | corda | 0.22.0 |
| s3transferir | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Enviar2Lixo | 1.8.0 | setuptools | 61.2.0 |
| seis | 1.16.0 | Soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| dados de pilha | 0.2.0 | statsmodels | 0.13.2 | tenacidade | 8.0.1 |
| terminado | 0.13.1 | caminho de teste | 0.5.0 | ThreadPoolCtl | 2.2.0 |
| tokenize-rt | 4.2.1 | Tomli | 1.2.2 | tornado | 6.1 |
| traços | 5.1.1 | typing_extensions | 4.1.1 | Ujson | 5.1.0 |
| Upgrades autônomos | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| largura de wc | 0.2.5 | WebEncodings | 0.5.1 | whatthepatch | 1.0.4 |
| roda | 0.37.0 | widgetsnbextension | 3.6.1 | Yapf | 0.31.0 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| seta | 10.0.0 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| arranque | 1.3-28 | brew | 1.0-8 | Brio | 1.1.3 |
| vassoura | 1.0.1 | BSLIB | 0.4.1 | cachem | 1.0.6 |
| Chamador | 3.7.3 | acento circunflexo | 6.0-93 | Cellranger | 1.1.0 |
| crono | 2.3-58 | classe | 7.3-21 | cli | 3.4.1 |
| Clipr | 0.8.0 | relógio | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | espaço em cores | 2.0-3 | marca comum | 1.8.1 |
| compilador | 4.2.2 | configuração | 0.3.1 | CPP11 | 0.4.3 |
| lápis de cor | 1.5.2 | credenciais | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | conjuntos de dados | 4.2.2 | DBI | 1.1.3 |
| DBPlyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | resumo | 0.6.30 | Iluminação reduzida | 0.4.2 |
| dplyr | 1.0.10 | DTPlyr | 1.2.2 | E1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0,18 | Fãsi | 1.0.3 |
| Farver | 2.1.1 | mapa rápido | 1.1.0 | fontawesome | 0.4.0 |
| FORCATS | 0.5.2 | foreach | 1.5.2 | externa | 0.8-82 |
| forjar | 0.2.0 | FS | 1.5.2 | Futuro | 1.29.0 |
| future.apply | 1.10.0 | gargarejo | 1.2.1 | Genéricos | 0.1.3 |
| Gert | 1.9.1 | ggplot2 | 3.4.0 | GH | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | Globais | 0.16.1 |
| colar | 1.6.2 | GoogleDrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | gráficos | 4.2.2 | grDevices | 4.2.2 |
| grelha | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | capacete | 1.2.0 | Refúgio | 2.5.1 |
| mais alto | 0,9 | HMS | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| IDs | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| Isoband | 0.2.6 | iteradores | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | Knitr | 1.40 |
| etiquetagem | 0.4.2 | mais tarde | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | ciclo de vida | 1.0.3 | ouvirv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | Marcação | 1.3 |
| MASSA | 7.3-58.2 | Matriz | 1.5-1 | memoise | 2.0.1 |
| métodos | 4.2.2 | mgcv | 1.8-41 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | paralelo | 4.2.2 |
| Paralelamente | 1.32.1 | pilar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | Profvis | 0.3.7 | Progresso | 1.2.2 |
| progressor | 0.11.0 | promessas | 1.2.0.1 | proto | 1.0.0 |
| procuração | 0.4-27 | PS | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | RAGG | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| Leitor | 2.1.3 | ReadXL | 1.4.1 | receitas | 1.0.3 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.4.2 |
| Reprex | 2.0.2 | remodelar2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversões | 2.1.2 |
| Rvest | 1.0.3 | Sass | 0.4.2 | escalas | 1.2.1 |
| seletor | 0.4-2 | sessioninfo | 1.2.2 | forma | 1.4.6 |
| brilhante | 1.7.3 | ferramentas de origem | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | espacial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | QUADRADO | 2021.1 | estatísticas | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| sobrevivência | 3.4-0 | sys | 3.4.1 | fontes do sistema | 1.0.4 |
| tcltk | 4.2.2 | testeatat | 3.1.5 | formatação de texto | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| Tidyverse | 1.3.2 | mudança de hora | 0.1.1 | timeDate | 4021.106 |
| Tinytex | 0.42 | ferramentas | 4.2.2 | TZDB | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | UTF8 | 1.2.2 |
| utilitários | 4.2.2 | uuid | 1.1-0 | VCTRS | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | Waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.13.4 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1,15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | ARPACK | 2.2.1 |
| dev.ludovic.netlib | Blas | 2.2.1 |
| dev.ludovic.netlib | Lapack | | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.21 |
| IO.Delta | delta-compartilhamento-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-comum | 4.1.74.Final |
| io.netty | netty-manipulador | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | transporte de rede | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-nativo-unix-comum | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.servlet | jacarta.servlet-api | 4.0.3 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | JNA | 5.8.0 |
| net.razorvine | picles | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 7.0.0 |
| org.apache.arrow | seta-memória-núcleo | 7.0.0 |
| org.apache.arrow | seta-memória-netty | 7.0.0 |
| org.apache.arrow | vetor de seta | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapeado | 1.11.0 |
| org.apache.commons | colecções-commons4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-texto | 1.10.0 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | curador-framework | 2.13.0 |
| org.apache.curator | curador-receitas | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-DATABRICKS |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-cliente | 2.3.9 |
| org.apache.hive | colmeia-lamp-comum | 2.3.9 |
| org.apache.hive | Colmeia-Serde | 2.3.9 |
| org.apache.hive | colmeias-calços | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.9 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.9 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | hera | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | Orc-calços | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-formato-estruturas | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4.20 |
| org.apache.yetus | anotações de audiência | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-juta | 3.6.2 |
| org.checkerframework | verificador-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | cais-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | API WebSocket | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | Websocket-cliente | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | Websocket-Comum | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | servidor websocket | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | Websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | servidor de jersey | 2.36 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotações | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M11 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M11 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M11 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | LZ4-Java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | MLFLOW-Faísca | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | calços | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.14 |
| org.scala-lang | Escala-library_2.12 | 2.12.14 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.14 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | gatos-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0.17.0 |
| org.typelevel | torre-platform_2.12 | 0.17.0 |
| org.typelevel | torre-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |