Tempo de execução do Databricks 14.3 LTS

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.3 LTS, alimentado pelo Apache Spark 3.5.0.

A Databricks divulgou essas imagens em fevereiro de 2024.

Novos recursos e melhorias

Suporte para otimizações de vetores MERGE de exclusão sem Photon

O Photon não é mais necessário para MERGE operações que aproveitem otimizações de vetores de exclusão. Consulte O que são vetores de exclusão?.

APIs de catálogo do Spark agora totalmente suportadas no modo de acesso compartilhado

Agora você pode usar todas as funções na spark.catalog API em Python e Scala na computação configurada com o modo de acesso compartilhado.

Delta UniForm agora está disponível para o público em geral

O UniForm agora está disponível para o público em geral e usa o recurso de IcebergCompatV2 tabela. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Consulte Usar UniForm para ler tabelas delta com clientes Iceberg.

Nova função SQL EXECUTE IMMEDIATE

Agora você pode usar a sintaxe EXECUTE IMMEDIATE para dar suporte a consultas parametrizadas em SQL. Consulte EXECUTAR IMEDIATO.

Recalcular estatísticas de pulo de dados para tabelas Delta

Agora você pode recalcular as estatísticas armazenadas no log Delta depois de alterar as colunas usadas para pular dados. Consulte Especificar colunas de estatísticas delta.

Informações de estado de consulta para consultas de streaming com monitoração de estado

Agora você pode consultar dados e metadados de estado do Streaming Estruturado. Consulte Ler informações de estado do Streaming estruturado.

Usar o Microsoft Entra ID (anteriormente Azure Ative Directory) para autenticação Kafka em clusters compartilhados

Agora você pode autenticar serviços de Hubs de Eventos via OAuth com o Microsoft Entra ID na computação configurada com o modo de acesso compartilhado. Consulte Autenticação da entidade de serviço com o Microsoft Entra ID (anteriormente Azure Ative Directory) e Hubs de Eventos do Azure.

Suporte adicionado para remoção de arquivos e partições para melhorar o desempenho da consulta

Para acelerar algumas consultas que dependem da igualdade tolerante nula em condições JOIN, agora apoiamos DynamicFilePruning e DynamicPartitionPruning para o EqualNullSafe operador em JOINs.

Declarar variáveis temporárias em uma sessão SQL

Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que pode ser definida e, em seguida, referida a partir de consultas. Consulte Variáveis.

Atualizações do Thriftserver para remover recursos não utilizados

O código Thriftserver foi atualizado para remover o código para recursos obsoletos. Devido a essas alterações, as seguintes configurações não são mais suportadas:

  • Os JARs auxiliares do Hive, configurados usando a hive.aux.jars.path propriedade, não são mais suportados para hive-thriftserver conexões.
  • O arquivo de inicialização global do Hive (.hiverc), cujo local é configurado usando a hive.server2.global.init.file.location propriedade ou a HIVE_CONF_DIR variável de ambiente, não é mais suportado para hive-thriftserver conexões.

Use arquivos truststore e keystore em volumes do Unity Catalog

Agora você pode usar arquivos truststore e keystore nos volumes do Unity Catalog para autenticar em um Registro de Esquema Confluent para dados de buffer de protocolo ou avro. Consulte a documentação para buffers de avro ou protocolo.

Suporte ao formato de arquivo XML nativo (Visualização pública)

O suporte ao formato de arquivo XML nativo agora está em Visualização Pública. O suporte ao formato de arquivo XML permite a ingestão, consulta e análise de dados XML para processamento em lote ou streaming. Ele pode inferir e evoluir automaticamente esquemas e tipos de dados, suporta expressões SQL como from_xml, e pode gerar documentos XML. Ele não requer frascos externos e funciona perfeitamente com Auto Loader, read_files, COPY INTOe Delta Live Tables. Consulte Ler e gravar arquivos XML.

Suporte para armazenamento Cloudflare R2 (visualização pública)

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 suporta todos os dados Databricks e ativos de IA compatíveis com AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Acesso Spark e dbutils ao suporte a arquivos de espaço de trabalho em clusters do Unity Catalog de acesso compartilhado

O acesso Spark e dbutils de leitura e gravação a arquivos de espaço de trabalho agora é suportado em clusters do Unity Catalog no modo de acesso compartilhado. Consulte Trabalhar com arquivos de espaço de trabalho.

Suporte a scripts de inicialização e biblioteca de cluster em clusters do Unity Catalog de acesso compartilhado

A instalação de scripts init com escopo de cluster e bibliotecas Python e JAR em clusters do Unity Catalog no modo de acesso compartilhado, incluindo a instalação usando políticas de cluster, agora está disponível ao público em geral. O Databricks recomenda a instalação de scripts init e bibliotecas a partir de volumes do Unity Catalog.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • fastjsonschema de 2.19.0 a 2.19.1
    • filelock de 3.12.4 a 3.13.1
    • googleapis-common-protos de 1.61.0 a 1.62.0
    • embalagem de 22,0 a 23,2
  • Bibliotecas R atualizadas:
    • estrangeiro de 0,8-82 a 0,8-85
    • nlme de 3.1-162 a 3.1-163
    • parte de 4.1.19 a 4.1.21
  • Bibliotecas Java atualizadas:
    • com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
    • org.apache.orc.orc-core de 1.9.1-shaded-protobuf para 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf para 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.1 a 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0

Faísca Apache

O Databricks Runtime 14.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.2, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-46541] [SC-153546] [SQL] [CONECTAR] Corrigir a referência de coluna ambígua na auto-junção
  • [FAÍSCA-45433] Reverter "[SC-145163][SQL] Corrigir inferência de esquema CSV/JSON...
  • [FAÍSCA-46723] [14.3] [SASP-2792] [SC-153425] [CONECTAR] [SCALA] Tornar addArtifact retryable
  • [FAÍSCA-46660] [SC-153391] [CONECTAR] ReattachExecute solicita atualizações de vivacidade de SessionHolder
  • [FAÍSCA-46670] [SC-153273] [PYTHON] [SQL] Torne o DataSourceManager autoclonável separando fontes de dados Python estáticas e de tempo de execução
  • [FAÍSCA-46720] [SC-153410] [SQL] [PYTHON] Refatore a fonte de dados Python para alinhá-la com outras fontes de dados internas do DSv2
  • [FAÍSCA-46684] [SC-153275] [PYTHON] [CONECTAR] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente
  • [FAÍSCA-46667] [SC-153271] [SC-153263] [SQL] XML: Erro de lançamento em várias fontes de dados XML
  • [FAÍSCA-46382] [SC-151881] [SQL] XML: Default ignoreSurroundingSpaces para true
  • [FAÍSCA-46382] [SC-153178] [SQL] XML: Atualizar documento para ignoreSurroundingSpaces
  • [FAÍSCA-45292] Reverter "[SC-151609][SQL][HIVE] Remover goiaba de classes compartilhadas de IsolatedClientLoader"
  • [FAÍSCA-45292] [SC-151609] [SQL] [VIH] Remover goiaba de classes compartilhadas de IsolatedClientLoader
  • [FAÍSCA-46311] [SC-150137] [CORE] Registre o estado final dos drivers durante Master.removeDriver
  • [FAÍSCA-46413] [SC-151052] [PYTHON] Validar returnType de seta Python UDF
  • [FAÍSCA-46633] [WARMFIX] [SC-153092] [SQL] Corrija o leitor Avro para lidar com blocos de comprimento zero
  • [FAÍSCA-46537] [SC-151286] [SQL] Converter NPE e declarações de comandos para erros internos
  • [FAÍSCA-46179] [SC-151678] [SQL] Adicione CrossDbmsQueryTestSuites, que executa outros DBMS em arquivos dourados com outros DBMS, começando com Postgres
  • [FAÍSCA-44001] [SC-151413] [PROTOBUF] Adicionar opção para permitir o desembrulhar protobuf tipos de invólucro bem conhecidos
  • [FAÍSCA-40876] [SC-151786] [SQL] Ampliação da promoção de tipo para decimais com maior escala em leitores de Parquet
  • [FAÍSCA-46605] [SC-151769] [CONECTAR] Fazer lit/typedLit função no suporte do módulo connect s.c.immutable.ArraySeq
  • [FAÍSCA-46634] [SC-153005] A validação literal [SQL] não deve ser detalhada em campos nulos
  • [FAÍSCA-37039] [SC-153094] [PS] Correção Series.astype para funcionar corretamente com valor ausente
  • [FAÍSCA-46312] [SC-150163] [CORE] Utilização lower_camel_case em seringas store_types.proto
  • [FAÍSCA-46630] [SC-153084] [SQL] XML: Validar o nome do elemento XML na gravação
  • [FAÍSCA-46627] [SC-152981] [SS] [UI] Corrigir conteúdo de dica de ferramenta da linha do tempo na interface do usuário de streaming
  • [FAÍSCA-46248] [SC-151774] [SQL] XML: Suporte para as opções ignoreCorruptFiles e ignoreMissingFiles
  • [FAÍSCA-46386] [SC-150766] [PYTHON] Melhorar as asserções de observação (pyspark.sql.observação)
  • [FAÍSCA-46581] [SC-151789] [CORE] Comentário de atualização sobre isZero no AccumulatorV2
  • [FAÍSCA-46601] [SC-151785] [CORE] Corrigir erro de log em handleStatusMessage
  • [FAÍSCA-46568] [SC-151685] [PYTHON] Torne as opções de fonte de dados Python um dicionário que não diferencia maiúsculas de minúsculas
  • [FAÍSCA-46611] [SC-151783] [CORE] Remova ThreadLocal substituindo SimpleDateFormat por DateTimeFormatter
  • [FAÍSCA-46604] [SC-151768] [SQL] Fazer Literal.apply suporte s.c.immuable.ArraySeq
  • [FAÍSCA-46324] [SC-150223] [SQL] [PYTHON] Corrija o nome de saída de pyspark.sql.functions.user e session_user
  • [FAÍSCA-46621] [SC-151794] [PYTHON] Endereço null de Exception.getMessage na exceção capturada pelo Py4J
  • [FAÍSCA-46598] [SC-151767] [SQL] OrcColumnarBatchReader deve respeitar o modo de memória ao criar vetores de coluna para a coluna ausente
  • [FAÍSCA-46613] [SC-151778] [SQL] [PYTHON] Exceção de log completo quando falha ao pesquisar fontes de dados Python
  • [FAÍSCA-46559] [SC-151364] [MLLIB] Envolva o export nome do pacote com backticks
  • [FAÍSCA-46522] [SC-151784] [PYTHON] Bloquear o registro da fonte de dados Python com conflitos de nome
  • [FAÍSCA-45580] [SC-149956] [SQL] Manipular caso em que uma subconsulta aninhada se torna uma associação de existência
  • [FAÍSCA-46609] [SC-151714] [SQL] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode
  • [FAÍSCA-46535] [SC-151288] [SQL] Corrigir NPE ao descrever uma coluna estendida sem estatísticas col
  • [FAÍSCA-46599] [SC-147661] [SC-151770] [SQL] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade
  • [FAÍSCA-40876] [SC-151129] [SQL] Ampliação das promoções de tipo em leitores de Parquet
  • [FAÍSCA-46179] [SC-151069] [SQL] Extraia código para funções reutilizáveis no SQLQueryTestSuite
  • [FAÍSCA-46586] [SC-151679] [SQL] Suporte s.c.immutable.ArraySeq como customCollectionCls em MapObjects
  • [FAÍSCA-46585] [SC-151622] [CORE] Construído metricPeaks diretamente como um immutable.ArraySeq em vez de uso mutable.ArraySeq.toSeq em Executor
  • [FAÍSCA-46488] [SC-151173] [SQL] Ignorando corteTodas as chamadas durante a análise de carimbo de data/hora
  • [FAÍSCA-46231] [SC-149724] [PYTHON] Migrar todos os & TypeError restantes NotImplementedError para a estrutura de erro do PySpark
  • [FAÍSCA-46348] [SC-150281] [CORE] Suporte spark.deploy.recoveryTimeout
  • [FAÍSCA-46313] [SC-150164] [CORE] Duração da recuperação do log Spark HA
  • [FAÍSCA-46358] [SC-150307] [CONECTAR] Simplifique a verificação da condição no ResponseValidator#verifyResponse
  • [FAÍSCA-46380] [SC-151078] [SQL] Substitua a hora/data atual antes de avaliar expressões de tabela embutidas.
  • [FAÍSCA-46563] [SC-151441] [SQL] Ver simpleString não seguir conf spark.sql.debug.maxToStringFields
  • [FAÍSCA-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] Reduza a profundidade da pilha substituindo (string|array).size por (string|array).length
  • [FAÍSCA-46539] [SC-151469] [SQL] SELECT * EXCETO(todos os campos de uma estrutura) resulta em uma falha de asserção
  • [FAÍSCA-46565] [SC-151414] [PYTHON] Refinar classes de erro e mensagens de erro para fontes de dados Python
  • [FAÍSCA-46576] [SC-151614] [SQL] Melhorar mensagens de erro para o modo de salvamento de fonte de dados não suportado
  • [FAÍSCA-46540] [SC-151355] [PYTHON] Respeite os nomes das colunas quando a fonte de dados Python ler saídas de função chamadas objetos Row
  • [FAÍSCA-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite vaza SessionState do hive
  • [FAÍSCA-44556] [SC-151562] [SQL] Reutilizar OrcTail ao ativar vectorizedReader
  • [FAÍSCA-46587] [SC-151618] [SQL] XML: Corrigir conversão de inteiro grande XSD
  • [FAÍSCA-46382] [SC-151297] [SQL] XML: Capturar valores intercalados entre elementos
  • [FAÍSCA-46567] [SC-151447] [CORE] Remover ThreadLocal para ReadAheadInputStream
  • [FAÍSCA-45917] [SC-151269] [PYTHON] [SQL] Registro automático de fonte de dados Python na inicialização
  • [FAÍSCA-28386] [SC-151014] [SQL] Não é possível resolver colunas ORDER BY com GROUP BY e HAVING
  • [FAÍSCA-46524] [SC-151446] [SQL] Melhorar mensagens de erro para modo de salvamento inválido
  • [FAÍSCA-46294] [SC-150672] [SQL] Limpar semântica de init vs valor zero
  • [FAÍSCA-46301] [SC-150100] [CORE] Suporte spark.worker.(initial|max)RegistrationRetries
  • [FAÍSCA-46542] [SC-151324] [SQL] Remova a verificação de c>=0ExternalCatalogUtils#needsEscaping como é sempre verdade
  • [FAÍSCA-46553] [SC-151360] [PS] FutureWarning para interpolate com objeto dtype
  • [FAÍSCA-45914] [SC-151312] [PYTHON] Suporte confirmar e anular API para gravação de fonte de dados Python
  • [FAÍSCA-46543] [SC-151350] [PYTHON] [CONECTAR] Fazer json_tuple lançar PySparkValueError para campos vazios
  • [FAÍSCA-46520] [SC-151227] [PYTHON] Modo de substituição de suporte para gravação de fonte de dados Python
  • [FAÍSCA-46502] [SC-151235] [SQL] Suporta tipos de carimbo de data/hora em UnwrapCastInBinaryComparison
  • [FAÍSCA-46532] [SC-151279] [CONECTAR] Passar parâmetros de mensagem em metadados de ErrorInfo
  • [FAÍSCA-46397] Reverter "[SC-151311][PYTHON][CONNECT] Função sha2 deve ser aumentada PySparkValueError para inválido numBits"
  • [FAÍSCA-46170] [SC-149472] [SQL] Suporte injetar regras de estratégia de pós-planejador de consulta adaptável em SparkSessionExtensions
  • [FAÍSCA-46444] [SC-151195] [SQL] V2SessionCatalog#createTable não deve carregar a tabela
  • [FAÍSCA-46397] [SC-151311] [PYTHON] [CONECTAR] Função sha2 deve ser aumentada PySparkValueError para inválido numBits
  • [FAÍSCA-46145] [SC-149471] [SQL] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada
  • [FAÍSCA-46272] [SC-151012] [SQL] Suporte CTAS usando fontes DSv2
  • [FAÍSCA-46480] [SC-151127] [CORE] [SQL] Corrigir NPE quando a tarefa de cache de tabela tenta
  • [FAÍSCA-46100] [SC-149051] [CORE] [PYTHON] Reduza a profundidade da pilha substituindo (string|array).size por (string|array).length
  • [FAÍSCA-45795] [SC-150764] [SQL] DS V2 suporta o modo push down
  • [FAÍSCA-46485] [SC-151133] [SQL] V1Write não deve adicionar Sort quando não é necessário
  • [FAÍSCA-46468] [SC-151121] [SQL] Manipular bug COUNT para subconsultas EXISTS com Aggregate sem agrupar chaves
  • [FAÍSCA-46246] [SC-150927] [SQL] EXECUTE SUPORTE SQL IMEDIATO
  • [FAÍSCA-46498] [SC-151199] [CORE] Remover shuffleServiceEnabled de o.a.spark.util.Utils#getConfiguredLocalDirs
  • [FAÍSCA-46440] [SC-150807] [SQL] Defina as configurações de rebase para o CORRECTED modo por padrão
  • [FAÍSCA-45525] [SC-151120] [SQL] [PYTHON] Suporte para gravação de fonte de dados Python usando DSv2
  • [FAÍSCA-46505] [SC-151187] [CONECTAR] Torne o limite de bytes configurável em ProtoUtils.abbreviate
  • [FAÍSCA-46447] [SC-151025] [SQL] Remova as configurações herdadas de data/hora rebaseando configurações SQL
  • [FAÍSCA-46443] [SC-151123] [SQL] A precisão decimal e a escala devem ser decididas pelo dialeto H2.
  • [FAÍSCA-46384] [SC-150694] [FAÍSCA-46404] [SS] [UI] Corrigir gráfico de pilha de duração da operação na página de streaming estruturado
  • [FAÍSCA-46207] [SC-151068] [SQL] Suporte MergeInto em DataFrameWriterV2
  • [FAÍSCA-46452] [SC-151018] [SQL] Adicionar uma nova API no DataWriter para escrever um iterador de registros
  • [FAÍSCA-46273] [SC-150313] [SQL] Suporte INSERT INTO/OVERWRITE usando fontes DSv2
  • [FAÍSCA-46344] [SC-150267] [CORE] Avisar corretamente quando um driver existe com êxito, mas o mestre está desconectado
  • [FAÍSCA-46284] [SC-149944] [PYTHON] [CONECTAR] Adicionar session_user função ao Python
  • [FAÍSCA-46043] [SC-149786] [SQL] Suporte a criar tabela usando fontes DSv2
  • [FAÍSCA-46323] [SC-150191] [PYTHON] Corrija o nome de saída de pyspark.sql.functions.now
  • [FAÍSCA-46465] [SC-151059] [PYTHON] [CONECTAR] Adicionar Column.isNaN no PySpark
  • [FAÍSCA-46456] [SC-151050] [CORE] Adicionar spark.ui.jettyStopTimeout para definir o tempo limite de parada do servidor Jetty para desbloquear o desligamento do SparkContext
  • [FAÍSCA-43427] [SC-150356] [PROTOBUF] spark protobuf: permitir upcasting de tipos inteiros não assinados
  • [FAÍSCA-46399] [SC-151013] [14.x] [Núcleo] Adicionar status de saída ao evento Application End para uso do Spark Listener
  • [FAÍSCA-46423] [SC-150752] [PYTHON] [SQL] Crie a instância Python Data Source em DataSource.lookupDataSourceV2
  • [FAÍSCA-46424] [SC-150765] [PYTHON] [SQL] Suporte a métricas Python em Python Data Source
  • [FAÍSCA-46330] [SC-151015] Carregamento de blocos de interface do usuário do Spark por um longo tempo quando o HybridStore foi ativado
  • [FAÍSCA-46378] [SC-150397] [SQL] Ainda remover Classificar depois de converter Agregação em Projeto
  • [FAÍSCA-45506] [SC-146959] [CONECTAR] Adicionar suporte a URI de hera ao SparkConnect addArtifact
  • [FAÍSCA-45814] [SC-147871] [CONECTAR] [SQL] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória
  • [FAÍSCA-46427] [SC-150759] [PYTHON] [SQL] Altere a descrição da fonte de dados Python para ser bonita na explicação
  • [FAÍSCA-45597] [SC-150730] [PYTHON] [SQL] Suporte à criação de tabela usando uma fonte de dados Python em SQL (DSv2 exec)
  • [FAÍSCA-46402] [SC-150700] [PYTHON] Adicionar suporte a getMessageParameters e getQueryContext
  • [FAÍSCA-46453] [SC-150897] [CONECTAR] Lançar exceção a partir de internalError() dentro SessionHolder
  • [FAÍSCA-45758] [SC-147454] [SQL] Introduzir um mapeador para codecs de compactação hadoop
  • [FAÍSCA-46213] [PYTHON] Introduzir PySparkImportError para o quadro de erros
  • [FAÍSCA-46230] [SC-149960] [PYTHON] Erro Migrar RetriesExceeded para o PySpark
  • [FAÍSCA-45035] [SC-145887] [SQL] Fix ignoreCorruptFiles/ignoreMissingFiles com várias linhas CSV / JSON relatará erro
  • [FAÍSCA-46289] [SC-150846] [SQL] Suporte a ordenação de UDTs no modo interpretado
  • [FAÍSCA-46229] [SC-150798] [PYTHON] [CONECTAR] Adicionar applyInArrow a groupBy e cogroup no Spark Connect
  • [FAÍSCA-46420] [SC-150847] [SQL] Remover transporte não utilizado no SparkSQLCLIDriver
  • [FAÍSCA-46226] [PYTHON] Migrar todo o restante RuntimeError para a estrutura de erro do PySpark
  • [FAÍSCA-45796] [SC-150613] [SQL] Suporte MODE() DENTRO DO GRUPO (ORDER BY col)
  • [FAÍSCA-40559] [SC-149686] [PYTHON] [14.X] Adicionar applyInArrow a groupBy e cogroup
  • [FAÍSCA-46069] [SC-149672] [SQL] Suporte desembrulhar o tipo de carimbo de data/hora para o tipo de data
  • [FAÍSCA-46406] [SC-150770] [SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1023
  • [FAÍSCA-46431] [SC-150782] [SS] Converter IllegalStateException em internalError iteradores de sessão
  • [FAÍSCA-45807] [SC-150751] [SQL] Melhorar a API ViewCatalog
  • [FAÍSCA-46009] [SC-149771] [SQL] [CONECTAR] Mesclar a regra de análise de PercentileCont e PercentileDisc em functionCall
  • [FAÍSCA-46403] [SC-150756] [SQL] Decodificar binário de parquet com o método getBytesUnsafe
  • [FAÍSCA-46389] [SC-150779] [CORE] Feche manualmente a RocksDB/LevelDB instância quando checkVersion lançar exceção
  • [FAÍSCA-46360] [SC-150376] [PYTHON] Melhorar a depuração de mensagens de erro com a nova getMessage API
  • [FAÍSCA-46233] [SC-149766] [PYTHON] Migrar todo o restante AttributeError para a estrutura de erro do PySpark
  • [FAÍSCA-46394] [SC-150599] [SQL] Corrigir problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true
  • [FAÍSCA-45964] [SC-148484] [SQL] Remova o acessador sql privado no pacote XML e JSON no pacote catalyst
  • [FAÍSCA-45856] [SC-148691] Mova o ArtifactManager do Spark Connect para o SparkSession (sql/core)
  • [FAÍSCA-46409] [SC-150714] [CONECTAR] Corrigir script de inicialização spark-connect-scala-client
  • [FAÍSCA-46416] [SC-150699] [CORE] Adicionar @tailrec a HadoopFSUtils#shouldFilterOutPath
  • [FAÍSCA-46115] [SC-149154] [SQL] Restringir conjuntos de caracteres em encode()
  • [FAÍSCA-46253] [SC-150416] [PYTHON] Planejar a leitura da fonte de dados Python usando MapInArrow
  • [FAÍSCA-46339] [SC-150266] [SS] Diretório com nome de número de lote não deve ser tratado como log de metadados
  • [FAÍSCA-46353] [SC-150396] [CORE] Refatorar para melhorar RegisterWorker a cobertura do teste de unidade
  • [FAÍSCA-45826] [SC-149061] [SQL] Adicionar uma configuração SQL para rastreamentos de pilha no contexto de consulta DataFrame
  • [FAÍSCA-45649] [SC-150300] [SQL] Unifique a estrutura de preparação para OffsetWindowFunctionFrame
  • [FAÍSCA-46346] [SC-150282] [CORE] Corrigir mestre para atualizar um trabalhador de UNKNOWN para ALIVE na RegisterWorker msg
  • [FAÍSCA-46388] [SC-150496] [SQL] O HiveAnalysis perde a proteção padrão de query.resolved
  • [FAÍSCA-46401] [SC-150609] [CORE] Use !isEmpty() em RoaringBitmap vez de getCardinality() > 0 em RemoteBlockPushResolver
  • [FAÍSCA-46393] [SC-150603] [SQL] Classificar exceções no catálogo de tabelas JDBC
  • [FAÍSCA-45798] [SC-150513] [CONECTAR] Acompanhamento: adicionar serverSessionId a SessionHolderInfo
  • [FAÍSCA-46153] [SC-146564] [SC-150508] [SQL] XML: Adicionar suporte a TimestampNTZType
  • [FAÍSCA-46075] [SC-150393] [CONECTAR] Melhorias no SparkConnectSessionManager
  • [FAÍSCA-46357] [SC-150596] Substitua o uso incorreto da documentação do setConf pelo conf.set
  • [FAÍSCA-46202] [SC-150420] [CONECTAR] Expor novas APIs do ArtifactManager para oferecer suporte a diretórios de destino personalizados
  • [FAÍSCA-45824] [SC-147648] [SQL] Impor a classe de erro em ParseException
  • [FAÍSCA-45845] [SC-148163] [SS] [UI] Adicionar número de linhas de estado removidas à interface do usuário de streaming
  • [FAÍSCA-46316] [SC-150181] [CORE] Ativar buf-lint-action no core módulo
  • [FAÍSCA-45816] [SC-147656] [SQL] Retornar NULL quando transbordar durante a transmissão do carimbo de data/hora para inteiros
  • [FAÍSCA-46333] [SC-150263] [SQL] Substituir IllegalStateException por SparkException.internalError no catalisador
  • [FAÍSCA-45762] [SC-148486] [CORE] Suporte a gerenciadores de shuffle definidos em jars de usuário alterando a ordem de inicialização
  • [FAÍSCA-46239] [SC-149752] [CORE] Ocultar Jetty informações
  • [FAÍSCA-45886] [SC-148089] [SQL] Rastreamento de pilha completa de saída no callSite contexto do DataFrame
  • [FAÍSCA-46290] [SC-150059] [PYTHON] Altere saveMode para um sinalizador booleano para DataSourceWriter
  • [FAÍSCA-45899] [SC-148097] [CONECTAR] Definir errorClass em errorInfoToThrowable
  • [FAÍSCA-45841] [SC-147657] [SQL] Expor rastreamento de pilha por DataFrameQueryContext
  • [FAÍSCA-45843] [SC-147721] [CORE] Suporte killall em API de envio REST
  • [FAÍSCA-46234] [SC-149711] [PYTHON] Introdução PySparkKeyError para a estrutura de erro do PySpark
  • [FAÍSCA-45606] [SC-147655] [SQL] Restrições de liberação no filtro de tempo de execução multicamadas
  • [FAÍSCA-45725] [SC-147006] [SQL] Remover o filtro de tempo de execução da subconsulta IN não padrão
  • [FAÍSCA-45694] [SC-147314] [FAÍSCA-45695] [SQL] Limpe o uso View.force preterido da API e ScalaNumberProxy.signum
  • [FAÍSCA-45805] [SC-147488] [SQL] Tornar withOrigin mais genérico
  • [FAÍSCA-46292] [SC-150086] [CORE] [UI] Mostrar um resumo dos trabalhadores na MasterPage
  • [FAÍSCA-45685] [SC-146881] [CORE] [SQL] Utilizar LazyList em vez de Stream
  • [FAÍSCA-45888] [SC-149945] [SS] Aplicar estrutura de classe de erro à fonte de dados de estado (metadados)
  • [FAÍSCA-46261] [SC-150111] [CONECTAR] DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa
  • [FAÍSCA-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [UI] Limpeza SeqOps.view e ArrayOps.view conversões
  • [FAÍSCA-46029] [SC-149255] [SQL] Fuja da cotação simples, _ e % para DS V2 pushdown
  • [FAÍSCA-46275] [SC-150189] Protobuf: Retorna null no modo permissivo quando a desserialização falha.
  • [FAÍSCA-46320] [SC-150187] [CORE] Suporte spark.master.rest.host
  • [FAÍSCA-46092] [SC-149658] [SQL] Não empurre para baixo os filtros de grupo de linhas do Parquet que transbordam
  • [FAÍSCA-46300] [SC-150097] [PYTHON] [CONECTAR] Corresponder correspondência de comportamento secundário na Coluna com cobertura total do teste
  • [FAÍSCA-46298] [SC-150092] [PYTHON] [CONECTAR] Corresponder aviso de descontinuação, caso de teste e erro de Catalog.createExternalTable
  • [FAÍSCA-45689] [SC-146898] [FAÍSCA-45690] [FAÍSCA-45691] [CORE] [SQL] Limpe o uso preterido da API relacionado e o StringContext/StringOps/RightProjection/LeftProjection/Either uso do tipo de BufferedIterator/CanBuildFrom/Traversable
  • [FAÍSCA-33393] [SC-148407] [SQL] Suporte SHOW TABLE EXTENDED na v2
  • [FAÍSCA-45737] [SC-147011] [SQL] Remover desnecessário .toArray[InternalRow] em SparkPlan#executeTake
  • [FAÍSCA-46249] [SC-149797] [SS] Exigir bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano
  • [FAÍSCA-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed deve respeitar a ordem do ditado
  • [FAÍSCA-46274] [SC-150043] [SQL] Fix Range operador computeStats() para verificar a validade longa antes de converter
  • [FAÍSCA-46040] [SC-149767] [SQL] [Python] Atualize a API UDTF para 'analisar' colunas de particionamento/ordenação para suportar expressões gerais
  • [FAÍSCA-46287] [SC-149949] [PYTHON] [CONECTAR] DataFrame.isEmpty deve trabalhar com todos os tipos de dados
  • [FAÍSCA-45678] [SC-146825] [CORE] Cover BufferReleasingInputStream.available/reset em tryOrFetchFailedException
  • [FAÍSCA-45667] [SC-146716] [CORE] [SQL] [CONECTAR] Limpe o uso preterido da API relacionado ao IterableOnceExtensionMethods.
  • [FAÍSCA-43980] [SC-148992] [SQL] introduzindo select * except a sintaxe
  • [FAÍSCA-46269] [SC-149816] [PS] Habilite mais testes de função de compatibilidade NumPy
  • [FAÍSCA-45807] [SC-149851] [SQL] Adicionar createOrReplaceView(..) / replaceView(..) a ViewCatalog
  • [FAÍSCA-45742] [SC-147212] [CORE] [CONECTAR] [MLLIB] [PYTHON] Introduza uma função implícita para o Scala Array encapsular no immutable.ArraySeq.
  • [FAÍSCA-46205] [SC-149655] [CORE] Melhore o PersistenceEngine desempenho com KryoSerializer
  • [FAÍSCA-45746] [SC-149359] [Python] Retornar mensagens de erro específicas se o método UDTF 'analyze' ou 'eval' aceitar ou retornar valores errados
  • [FAÍSCA-46186] [SC-149707] [CONECTAR] Corrigir a transição de estado ilegal quando ExecuteThreadRunner foi interrompido antes de iniciar
  • [FAÍSCA-46262] [SC-149803] [PS] Habilite o teste para np.left_shift o objeto Pandas-on-Spark.
  • [FAÍSCA-45093] [SC-149679] [CONECTAR] [PYTHON] Suporte adequado a manipulação de erros e conversão para AddArtifactHandler
  • [FAÍSCA-46188] [SC-149571] [Doc] [3.5] Corrigir o CSS das tabelas geradas pelo Spark doc
  • [FAÍSCA-45940] [SC-149549] [PYTHON] Adicionar InputPartition à interface DataSourceReader
  • [FAÍSCA-43393] [SC-148301] [SQL] Erro de estouro de expressão de sequência de endereços.
  • [FAÍSCA-46144] [SC-149466] [SQL] Falha INSERT INTO ... Instrução REPLACE se a condição contiver subconsulta
  • [FAÍSCA-46118] [SC-149096] [SQL] [SS] [CONECTAR] Use SparkSession.sessionState.conf em vez de SQLContext.conf e marque SQLContext.conf como preterido
  • [FAÍSCA-45760] [SC-147550] [SQL] Adicionar com expressão para evitar a duplicação de expressões
  • [FAÍSCA-43228] [SC-149670] [SQL] As chaves Join também correspondem a PartitioningCollection em CoalesceBucketsInJoin
  • [FAÍSCA-46223] [SC-149691] [PS] Teste SparkPandasNotImplementedError com a limpeza do código não utilizado
  • [FAÍSCA-46119] [SC-149205] [SQL] Método de substituição toString para UnresolvedAlias
  • [FAÍSCA-46206] [SC-149674] [PS] Usar uma exceção de escopo mais restrito para o processador SQL
  • [FAÍSCA-46191] [SC-149565] [CORE] Melhorar FileSystemPersistenceEngine.persist a mensagem de erro no caso do arquivo existente
  • [FAÍSCA-46036] [SC-149356] [SQL] Removendo a classe de erro da função raise_error
  • [FAÍSCA-46055] [SC-149254] [SQL] Reescrever implementação de APIs de banco de dados de catálogo
  • [FAÍSCA-46152] [SC-149454] [SQL] XML: Adicionar suporte a DecimalType na inferência de esquema XML
  • [FAÍSCA-45943] [SC-149452] [SQL] Mover DetermineTableStats para regras de resolução
  • [FAÍSCA-45887] [SC-148994] [SQL] Alinhar a implementação codegen e não-codegen de Encode
  • [FAÍSCA-45022] [SC-147158] [SQL] Fornecer contexto para erros de API do conjunto de dados
  • [FAÍSCA-45469] [SC-145135] [CORE] [SQL] [CONECTAR] [PYTHON] Substitua toIterator por iterator for IterableOnce
  • [FAÍSCA-46141] [SC-149357] [SQL] Altere o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO
  • [FAÍSCA-45663] [SC-146617] [CORE] [MLLIB] Substitua IterableOnceOps#aggregate por IterableOnceOps#foldLeft
  • [FAÍSCA-45660] [SC-146493] [SQL] Reutilizar objetos literais na regra ComputeCurrentTime
  • [FAÍSCA-45803] [SC-147489] [CORE] Remova a seringa que já não é utilizada RpcAbortException
  • [FAÍSCA-46148] [SC-149350] [PS] Teste de correção pyspark.pandas.mlflow.load_model (Python 3.12)
  • [FAÍSCA-46110] [SC-149090] [PYTHON] Use classes de erro em módulos de catálogo, conf, connect, observação, pandas
  • [FAÍSCA-45827] [SC-149203] [SQL] Correções de variantes com codegen e leitor vetorizado desativados
  • [FAÍSCA-46080] Reverter "[SC-149012][PYTHON] Upgrade Cloudpickle para 3.0.0"
  • [FAÍSCA-45460] [SC-144852] [SQL] Substitua scala.collection.convert.ImplicitConversions para scala.jdk.CollectionConverters
  • [FAÍSCA-46073] [SC-149019] [SQL] Remova a resolução especial de UnresolvedNamespace para determinados comandos
  • [FAÍSCA-45600] [SC-148976] [PYTHON] Tornar o nível da sessão de registro da fonte de dados Python
  • [FAÍSCA-46074] [SC-149063] [CONECTAR] [SCALA] Detalhes insuficientes na mensagem de erro sobre falha UDF
  • [FAÍSCA-46114] [SC-149076] [PYTHON] Adicionar PySparkIndexError para a estrutura de erro
  • [FAÍSCA-46120] [SC-149083] [CONECTAR] [PYTHON] Remover função auxiliar DataFrame.withPlan
  • [FAÍSCA-45927] [SC-148660] [PYTHON] Tratamento de caminho de atualização para fonte de dados Python
  • [FAÍSCA-46062] [14.x] [SC-148991] [SQL] Sincronizar o sinalizador isStreaming entre a definição e a referência CTE
  • [FAÍSCA-45698] [SC-146736] [CORE] [SQL] [SS] Limpe o uso preterido da API relacionado a Buffer
  • [FAÍSCA-46064] [SC-148984] [SQL] [SS] Mova EliminateEventTimeWatermark para o analisador e altere para ter efeito apenas no filho resolvido
  • [FAÍSCA-45922] [SC-149038] [CONECTAR] [CLIENTE] Refatoração de pequenas tentativas (acompanhamento de várias políticas)
  • [FAÍSCA-45851] [SC-148419] [CONECTAR] [SCALA] Suporte a várias políticas no cliente scala
  • [FAÍSCA-45974] [SC-149062] [SQL] Adicionar julgamento não vazio scan.filterAttributes para RowLevelOperationRuntimeGroupFiltering
  • [FAÍSCA-46085] [SC-149049] [CONECTAR] Dataset.groupingSets no cliente Scala Spark Connect
  • [FAÍSCA-45136] [SC-146607] [CONECTAR] Melhore o ClosureCleaner com suporte de amonite
  • [FAÍSCA-46084] [SC-149020] [PS] Refatore a operação de fundição do tipo de dados para o tipo categórico.
  • [FAÍSCA-46083] [SC-149018] [PYTHON] Tornar SparkNoSuchElementException como uma API de erro canônico
  • [FAÍSCA-46048] [SC-148982] [PYTHON] [CONECTAR] Suporte DataFrame.groupingSets no Python Spark Connect
  • [FAÍSCA-46080] [SC-149012] [PYTHON] Atualize o Cloudpickle para 3.0.0
  • [FAÍSCA-46082] [SC-149015] [PYTHON] [CONECTAR] Corrigir a representação de cadeia de caracteres protobuf para a API do Pandas Functions com o Spark Connect
  • [FAÍSCA-46065] [SC-148985] [PS] Refatorar (DataFrame|Series).factorize() para usar create_map.
  • [FAÍSCA-46070] [SC-148993] [SQL] Compilar padrão regex em SparkDateTimeUtils.getZoneId fora do hot loop
  • [FAÍSCA-46063] [SC-148981] [PYTHON] [CONECTAR] Melhorar mensagens de erro relacionadas a tipos de argumento em cute, rollup, groupby e pivot
  • [FAÍSCA-44442] [SC-144120] [MESOS] Remover suporte Mesos
  • [FAÍSCA-45555] [SC-147620] [PYTHON] Inclui um objeto depurável para asserção com falha
  • [FAÍSCA-46048] [SC-148871] [PYTHON] [SQL] Suporte DataFrame.groupingSets no PySpark
  • [FAÍSCA-45768] [SC-147304] [SQL] [PYTHON] Tornar o faulthandler uma configuração de tempo de execução para execução de Python em SQL
  • [FAÍSCA-45996] [SC-148586] [PYTHON] [CONECTAR] Mostrar mensagens de requisito de dependência adequadas para o Spark Connect
  • [FAÍSCA-45681] [SC-146893] [UI] Clone uma versão js de UIUtils.errorMessageCell para renderização de erro consistente na interface do usuário
  • [FAÍSCA-45767] [SC-147225] [CORE] Excluir TimeStampedHashMap e sua UT
  • [FAÍSCA-45696] [SC-148864] [CORE] O método de correção tryCompleteWith no traço Promise foi preterido
  • [FAÍSCA-45503] [SC-146338] [SS] Adicionar Conf para definir a compactação RocksDB
  • [FAÍSCA-45338] [SC-143934] [CORE] [SQL] Substitua scala.collection.JavaConverters para scala.jdk.CollectionConverters
  • [FAÍSCA-44973] [SC-148804] [SQL] Corrigir ArrayIndexOutOfBoundsException em conv()
  • [FAÍSCA-45912] [SC-144982] [SC-148467] [SQL] Aprimoramento da API XSDToSchema: Mudança para a API HDFS para acessibilidade de armazenamento em nuvem
  • [FAÍSCA-45819] [SC-147570] [CORE] Suporte clear em API de envio REST
  • [FAÍSCA-45552] [14.x] [SC-146874] [PS] Introduza parâmetros flexíveis para assertDataFrameEqual
  • [FAÍSCA-45815] [SC-147877] [SQL] [Streaming] [14.x] [ESCOLHA SELETIVA] Fornecer uma interface para outras fontes de streaming para adicionar _metadata colunas
  • [FAÍSCA-45929] [SC-148692] [SQL] Suporte a agrupamentoDefine operação na api de dataframe
  • [FAÍSCA-46012] [SC-148693] [CORE] EventLogFileReader não deve ler logs contínuos se o arquivo de status do aplicativo estiver ausente
  • [FAÍSCA-45965] [SC-148575] [SQL] Mover expressões de particionamento DSv2 para functions.particionamento
  • [FAÍSCA-45971] [SC-148541] [CORE] [SQL] Corrija o nome do pacote de SparkCollectionUtils para org.apache.spark.util
  • [FAÍSCA-45688] [SC-147356] [FAÍSCA-45693] [CORE] Limpe o uso preterido da API relacionado ao MapOps & Fix method += in trait Growable is deprecated
  • [FAÍSCA-45962] [SC-144645] [SC-148497] [SQL] Remover treatEmptyValuesAsNulls e usar nullValue a opção em vez disso em XML
  • [FAÍSCA-45988] [SC-148580] [FAÍSCA-45989] [PYTHON] Corrigir typehints para lidar com list GenericAlias em Python 3.11+
  • [FAÍSCA-45999] [SC-148595] [PS] Utilização dedicada PandasProduct em cumprod
  • [FAÍSCA-45986] [SC-148583] [ML] [PYTHON] Correção pyspark.ml.torch.tests.test_distributor em Python 3.11
  • [FAÍSCA-45994] [SC-148581] [PYTHON] Alterar description-file para description_file
  • [FAÍSCA-45575] [SC-146713] [SQL] Opções de viagem no tempo de suporte para df read API
  • [FAÍSCA-45747] [SC-148404] [SS] Usar informações de chave de prefixo em metadados de estado para manipular o estado de leitura para agregação de janela de sessão
  • [FAÍSCA-45898] [SC-148213] [SQL] Reescrever APIs de tabela de catálogo para usar o plano lógico não resolvido
  • [FAÍSCA-45828] [SC-147663] [SQL] Remover método preterido em dsl
  • [FAÍSCA-45990] [SC-148576] [FAÍSCA-45987] [PYTHON] [CONECTAR] Atualize protobuf para 4.25.1 para suportar Python 3.11
  • [FAÍSCA-45911] [SC-148226] [CORE] Tornar TLS1.3 o padrão para RPC SSL
  • [FAÍSCA-45955] [SC-148429] [UI] Fechar suporte para Flamegraph e detalhes de despejo de thread
  • [FAÍSCA-45936] [SC-148392] [PS] Otimizar Index.symmetric_difference
  • [FAÍSCA-45389] [SC-144834] [SQL] [3.5] Regra de correspondência MetaException correta na obtenção de metadados de partição
  • [FAÍSCA-45655] [SC-148085] [SQL] [SS] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics
  • [FAÍSCA-45946] [SC-148448] [SS] Corrigir o uso de gravação FileUtils preterida para passar charset padrão no RocksDBSuite
  • [FAÍSCA-45511] [SC-148285] [SS] Fonte de dados de estado - Reader
  • [FAÍSCA-45918] [SC-148293] [PS] Otimizar MultiIndex.symmetric_difference
  • [FAÍSCA-45813] [SC-148288] [CONECTAR] [PYTHON] Retornar as métricas observadas dos comandos
  • [FAÍSCA-45867] [SC-147916] [CORE] Suporte spark.worker.idPattern
  • [FAÍSCA-45945] [SC-148418] [CONECTAR] Adicionar uma função auxiliar para parser
  • [FAÍSCA-45930] [SC-148399] [SQL] Suporte UDFs não determinísticos em MapInPandas/MapInArrow
  • [FAÍSCA-45810] [SC-148356] [Python] Crie a API UDTF do Python para parar de consumir linhas da tabela de entrada
  • [FAÍSCA-45731] [SC-147929] [SQL] Atualize também as estatísticas de partição com ANALYZE TABLE o comando
  • [FAÍSCA-45868] [SC-148355] [CONECTAR] Certifique-se de spark.table usar o mesmo analisador com faísca de baunilha
  • [FAÍSCA-45882] [SC-148161] [SQL] O particionamento de propagação BroadcastHashJoinExec deve respeitar CoalescedHashPartitioning
  • [FAÍSCA-45710] [SC-147428] [SQL] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [FAÍSCA-45915] [SC-148306] [SQL] Tratar decimal(x, 0) da mesma forma que IntegralType em PromoteStrings
  • [FAÍSCA-45786] [SC-147552] [SQL] Corrigir resultados imprecisos de multiplicação e divisão decimais
  • [FAÍSCA-45871] [SC-148084] [CONECTAR] Conversão de coleção de otimizações relacionadas nos .toBufferconnect módulos
  • [FAÍSCA-45822] [SC-147546] [CONECTAR] SparkConnectSessionManager pode procurar um sparkcontext interrompido
  • [FAÍSCA-45913] [SC-148289] [PYTHON] Torne os atributos internos privados de erros do PySpark.
  • [FAÍSCA-45827] [SC-148201] [SQL] Adicione o tipo de dados Variant no Spark.
  • [FAÍSCA-44886] [SC-147876] [SQL] Introduzir a cláusula CLUSTER BY para CRIAR/SUBSTITUIR TABELA
  • [FAÍSCA-45756] [SC-147959] [CORE] Suporte spark.master.useAppNameAsAppId.enabled
  • [FAÍSCA-45798] [SC-147956] [CONECTAR] Afirmar ID de sessão do lado do servidor
  • [FAÍSCA-45896] [SC-148091] [SQL] Construa ValidateExternalType com o tipo esperado correto
  • [FAÍSCA-45902] [SC-148123] [SQL] Remova a função resolvePartitionColumns não utilizada de DataSource
  • [FAÍSCA-45909] [SC-148137] [SQL] Remova NumericType o molde se ele puder ser transmitido com segurança IsNotNull
  • [FAÍSCA-42821] [SC-147715] [SQL] Remover parâmetros não utilizados em métodos splitFiles
  • [FAÍSCA-45875] [SC-148088] [CORE] Remover MissingStageTableRowData do core módulo
  • [FAÍSCA-45783] [SC-148120] [PYTHON] [CONECTAR] Melhorar as mensagens de erro quando o modo Spark Connect está ativado, mas o URL remoto não está definido
  • [FAÍSCA-45804] [SC-147529] [UI] Adicione a configuração spark.ui.threadDump.flamegraphEnabled para ativar/desativar o gráfico de chama
  • [FAÍSCA-45664] [SC-146878] [SQL] Introduzir um mapeador para codecs de compressão orc
  • [FAÍSCA-45481] [SC-146715] [SQL] Introduzir um mapeador para codecs de compressão de parquet
  • [FAÍSCA-45752] [SC-148005] [SQL] Simplifique o código para verificar relações CTE não referenciadas
  • [FAÍSCA-44752] [SC-146262] [SQL] XML: Atualizar o Spark Docs
  • [FAÍSCA-45752] [SC-147869] [SQL] CTE não referenciado deve ser verificado por CheckAnalysis0
  • [FAÍSCA-45842] [SC-147853] [SQL] APIs de função de catálogo refatorar para usar o analisador
  • [FAÍSCA-45639] [SC-147676] [SQL] [PYTHON] Suporte ao carregamento de fontes de dados Python no DataFrameReader
  • [FAÍSCA-45592] [SC-146977] [SQL] Problema de correção no AQE com InMemoryTableScanExec
  • [FAÍSCA-45794] [SC-147646] [SS] Introduzir a fonte de metadados de estado para consultar as informações de metadados de estado de streaming
  • [FAÍSCA-45739] [SC-147059] [PYTHON] Catch IOException em vez de EOFException sozinho para faulthandler
  • [FAÍSCA-45677] [SC-146700] Melhor registro de erros para a API de observação
  • [FAÍSCA-45544] [SC-146873] [CORE] Integre o suporte SSL ao TransportContext
  • [FAÍSCA-45654] [SC-147152] [PYTHON] Adicionar API de gravação da fonte de dados Python
  • [FAÍSCA-45771] [SC-147270] [CORE] Ativar spark.eventLog.rolling.enabled por padrão
  • [FAÍSCA-45713] [SC-146986] [PYTHON] Suporte ao registro de fontes de dados Python
  • [FAÍSCA-45656] [SC-146488] [SQL] Corrigir observação quando observações nomeadas com o mesmo nome em conjuntos de dados diferentes
  • [FAÍSCA-45808] [SC-147571] [CONECTAR] [PYTHON] Melhor tratamento de erros para exceções SQL
  • [FAÍSCA-45774] [SC-147353] [CORE] [UI] Apoio spark.master.ui.historyServerUrl em ApplicationPage
  • [FAÍSCA-45776] [SC-147327] [CORE] Remova a verificação nula defensiva para MapOutputTrackerMaster#unregisterShuffle adicionada no SPARK-39553
  • [FAÍSCA-45780] [SC-147410] [CONECTAR] Propagar todos os threadlocals do cliente Spark Connect em InheritableThread
  • [FAÍSCA-45785] [SC-147419] [CORE] Suporte spark.deploy.appNumberModulo para girar o número do aplicativo
  • [FAÍSCA-45793] [SC-147456] [CORE] Melhore os codecs de compressão integrados
  • [FAÍSCA-45757] [SC-147282] [ML] Evitar o recálculo da NNZ no Binarizer
  • [FAÍSCA-45209] [SC-146490] [CORE] [UI] Suporte de gráfico de chama para página de despejo de thread do executor
  • [FAÍSCA-45777] [SC-147319] [CORE] Apoio spark.test.appId em LocalSchedulerBackend
  • [FAÍSCA-45523] [SC-146331] [PYTHON] Refatore a verificação nula para ter atalhos
  • [FAÍSCA-45711] [SC-146854] [SQL] Introduzir um mapeador para codecs de compressão avro
  • [FAÍSCA-45523] [SC-146077] [Python] Retornar mensagem de erro útil se UDTF retornar Nenhum para qualquer coluna não anulável
  • [FAÍSCA-45614] [SC-146729] [SQL] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
  • [FAÍSCA-45755] [SC-147164] [SQL] Melhorar Dataset.isEmpty() aplicando limite global 1
  • [FAÍSCA-45569] [SC-145915] [SQL] Atribuir nome à _LEGACY_ERROR_TEMP_2153 de erro
  • [FAÍSCA-45749] [SC-147153] [CORE] [WEBUI] Correção Spark History Server para classificar Duration a coluna corretamente
  • [FAÍSCA-45754] [SC-147169] [CORE] Suporte spark.deploy.appIdPattern
  • [FAÍSCA-45707] [SC-146880] [SQL] Simplifique DataFrameStatFunctions.countMinSketch com CountMinSketchAgg
  • [FAÍSCA-45753] [SC-147167] [CORE] Suporte spark.deploy.driverIdPattern
  • [FAÍSCA-45763] [SC-147177] [CORE] [UI] Melhorar MasterPage para mostrar Resource a coluna apenas quando ela existir
  • [FAÍSCA-45112] [SC-143259] [SQL] Usar a resolução baseada em UnresolvedFunction em funções de conjunto de dados SQL

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 14.3. Isso é comentado no lançamento inicial.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.3.1
  • Lago Delta: 3.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Anyio 3.5.0 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.0.5 ATRs 22.1.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comm 0.1.2
contorno 1.0.5 criptografia 39.0.1 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.7 docstring-para-markdown 0,11 pontos de entrada 0.4
execução 0.8.3 facetas-visão geral 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 Fonttools 4.25.0 googleapis-comuns-protos 1.62.0
Grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadados 4.6.4 Ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 Joblib 1.2.0 jsonschema 4.17.3
jupyter-cliente 7.3.4 jupyter-servidor 1.23.4 jupyter_core 5.2.0
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 porta-chaves 23.5.0
Kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-em linha 0.1.6 Mccabe 0.7.0
Mistune 0.8.4 mais-itertools 8.10.0 mypy-extensões 0.4.3
NBMédico 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 Ninho-Asyncio 1.5.6 nodeenv 1.8.0
bloco de notas 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
OAuthlib 3.2.0 embalagem 23.2 pandas 1.5.3
PandocFilters 1.5.0 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip 22.3.1 plataformadirs 2.5.2
enredo 5.9.0 pluggy 1.0.0 Prometheus-cliente 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 PSUTIL 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 setuptools 65.6.3
seis 1.16.0 sniffio 1.2.0 Soupsieve 2.3.2.post1
ssh-import-id 5.11 dados de pilha 0.2.0 statsmodels 0.13.5
tenacidade 8.1.0 terminado 0.17.1 ThreadPoolCtl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 Tomli 2.0.1
tornado 6.1 traços 5.7.1 typing_extensions 4.4.0
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 largura de wc 0.2.5
WebEncodings 0.5.1 Websocket-cliente 0.58.0 whatthepatch 1.0.2
roda 0.38.4 widgetsnbextension 3.6.1 Yapf 0.33.0
zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.5 BSLIB 0.5.0 cachem 1.0.8
Chamador 3.7.3 acento circunflexo 6.0-94 Cellranger 1.1.0
crono 2.3-61 classe 7.3-22 cli 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 configuração 0.3.1 conflituosos 1.2.0
CPP11 0.4.4 lápis de cor 1.5.2 credenciais 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 dplyr 1.1.2
DTPlyr 1.3.1 E1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 Fãsi 1.0.4 Farver 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 FORCATS 1.0.0
foreach 1.5.2 externa 0.8-85 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 future.apply 1.11.0
gargarejo 1.5.1 Genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globais 0.16.2 colar 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.1 grDevices 4.3.1 grelha 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
capacete 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 HTTR2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 Profvis 0.3.8 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Leitor 2.1.4 ReadXL 1.4.3 receitas 1.0.6
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de origem 0.1.7-1 sparklyr 1.8.1
espacial 7.3-15 splines 4.3.1 sqldf 0.4-11
QUADRADO 2021.1 estatísticas 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 sobrevivência 3.5-5
sys 3.4.2 fontes do sistema 1.0.4 tcltk 4.3.1
testeatat 3.1.10 formatação de texto 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 Tidyverse 2.0.0
mudança de hora 0.2.0 timeDate 4022.108 Tinytex 0,45
ferramentas 4.3.1 TZDB 0.4.0 urlchecker 1.0.1
usethis 2.2.2 UTF8 1.2.3 utilitários 4.3.1
uuid 1.1-0 VCTRS 0.6.3 viridisLite 0.4.2
vroom 1.6.3 Waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.0.3
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 12.0.1
org.apache.arrow seta-memória-núcleo 12.0.1
org.apache.arrow seta-memória-netty 12.0.1
org.apache.arrow vetor de seta 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapeado 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j SLF4J-Simples 1.7.25
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1