Atualizações de manutenção do Databricks Runtime

  • Artigo

Este artigo lista atualizações de manutenção para versões suportadas do Databricks Runtime. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster. Para obter as atualizações de manutenção em versões não suportadas do Databricks Runtime, consulte Atualizações de manutenção para o Databricks Runtime (arquivado).

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada por alguns dias após a data de lançamento inicial.

Versões do Databricks Runtime

Atualizações de manutenção por versão:

Tempo de execução do Databricks 15.0

Consulte Databricks Runtime 15.0.

  • 3 de abril de 2024
    • (Mudança de comportamento) Para garantir um comportamento consistente entre os tipos de computação, as UDFs do PySpark em clusters compartilhados agora correspondem ao comportamento das UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem quebrar o código existente:
      • UDFs com um tipo de string retorno não convertem mais implicitamente não-valoresstring em string valores. Anteriormente, UDFs com um tipo de retorno de encapsulavam o valor de retorno com uma str() função, independentemente do tipo de dados real do valor retornadostr.
      • UDFs com timestamp tipos de retorno não aplicam mais implicitamente uma conversão para timestamp com timezone.
      • As configurações de spark.databricks.sql.externalUDF.* cluster do Spark não se aplicam mais às UDFs do PySpark em clusters compartilhados.
      • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster Spark não afeta mais UDFs do PySpark, removendo a limitação de visualização pública de 5 UDFs por consulta para UDFs do PySpark.
      • A configuração spark.databricks.safespark.sandbox.size.default.mib de cluster do Spark não se aplica mais a UDFs do PySpark em clusters compartilhados. Em vez disso, a memória disponível no sistema é usada. Para limitar a memória de UDFs do PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
    • O TimestampNTZ tipo de dados agora é suportado como uma coluna de clustering com clustering líquido. Veja Utilizar clustering líquido para tabelas Delta.
    • [FAÍSCA-47218][SQL] XML: Ignorar marcas de linha comentadas no tokenizador XML
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47033][SQL] Corrigir EXECUTE IMMEDIATE USING não reconhece nomes de variáveis de sessão
    • [FAÍSCA-47368][SQL] Remover inferTimestampNTZ config check in ParquetRowConverter
    • [FAÍSCA-47561][SQL] Corrigir problemas de ordem de regra do analisador sobre Alias
    • [FAÍSCA-47638][PS] [CONECTAR] Ignorar validação de nome de coluna no PS
    • [BACKPORT] [[FAÍSCA-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Adicionar uma verificação de alteração de operador com monitoração de estado para streaming
    • [FAÍSCA-47569][SQL] Não permitir a comparação de variantes.
    • [FAÍSCA-47241][SQL] Corrigir problemas de ordem de regra para ExtractGenerator
    • [FAÍSCA-47218] [SQL] XML: SchemaOfXml alterado para falhar no modo DROPMALFORMED
    • [FAÍSCA-47300][SQL] quoteIfNeeded se o identificador da cotação começar com dígitos
    • [FAÍSCA-47009][SQL] [Colação] Habilitar a criação de suporte de tabela para agrupamento
    • [FAÍSCA-47322][PYTHON] [CONECTAR] Tornar withColumnsRenamed o tratamento de duplicação de nomes de colunas consistente com withColumnRenamed
    • [FAÍSCA-47544][PYTHON] O método SparkSession builder é incompatível com o visual studio code intellisense
    • [FAÍSCA-47511][SQL] Canonicalize com expressões reatribuindo IDs
    • [FAÍSCA-47385] Corrija codificadores de tupla com entradas Option.
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-47380][CONECTAR] Certifique-se no lado do servidor de que o SparkSession é o mesmo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.3

Consulte Databricks Runtime 14.3 LTS.

  • 6 de abril de 2024
    • (Mudança de comportamento) Para garantir um comportamento consistente entre os tipos de computação, as UDFs do PySpark em clusters compartilhados agora correspondem ao comportamento das UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem quebrar o código existente:
      • UDFs com um tipo de string retorno não convertem mais implicitamente não-valoresstring em string valores. Anteriormente, UDFs com um tipo de retorno de encapsulavam o valor de retorno com uma str() função, independentemente do tipo de dados real do valor retornadostr.
      • UDFs com timestamp tipos de retorno não aplicam mais implicitamente uma conversão para timestamp com timezone.
      • As configurações de spark.databricks.sql.externalUDF.* cluster do Spark não se aplicam mais às UDFs do PySpark em clusters compartilhados.
      • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster Spark não afeta mais UDFs do PySpark, removendo a limitação de visualização pública de 5 UDFs por consulta para UDFs do PySpark.
      • A configuração spark.databricks.safespark.sandbox.size.default.mib de cluster do Spark não se aplica mais a UDFs do PySpark em clusters compartilhados. Em vez disso, a memória disponível no sistema é usada. Para limitar a memória de UDFs do PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
    • O TimestampNTZ tipo de dados agora é suportado como uma coluna de clustering com clustering líquido. Veja Utilizar clustering líquido para tabelas Delta.
    • [FAÍSCA-47511][SQL] Canonicalize com expressões reatribuindo IDs
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47638][PS] [CONECTAR] Ignorar validação de nome de coluna no PS
    • Atualizações de segurança do sistema operacional.
  • 3 de janeiro de 2024
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [FAÍSCA-46954] XML: Envolva InputStreamReader com BufferedReader.
    • [FAÍSCA-46655] Ignorar a captura de contexto de consulta em DataFrame métodos.
    • [FAÍSCA-44815] Cache df.schema para evitar RPC extra.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46736] Retenha o campo de mensagem vazio no conector Protobuf.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46414] Use prependBaseUri para renderizar importações de javascript.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46954] XML: Otimize a pesquisa de índice de esquema.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46644] Altere adicionar e mesclar no SQLMetric para usar isZero.
    • [FAÍSCA-46731] Gerencie a instância do provedor de armazenamento de estado por fonte de dados de estado - leitor.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46227] Backport para 14.3.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.2

Consulte Databricks Runtime 14.2.

  • 9 de abril de 2024
    • Nenhuma
    • [FAÍSCA-47309][SQL] [XML] Adicionar testes de unidade de inferência de esquema
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47638][PS] [CONECTAR] Ignorar validação de nome de coluna no PS
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-46644] Altere adicionar e mesclar no SQLMetric para usar isZero.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46382] XML: Documento de atualização para ignoreSurroundingSpaces.
    • [FAÍSCA-46382] XML: Captura valores intercalados entre elementos.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Reverter [SPARK-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46382] XML: Default ignoreSurroundingSpaces como true.
    • [FAÍSCA-46633] Corrija o leitor Avro para lidar com blocos de comprimento zero.
    • [FAÍSCA-45964] Remova o acessador sql privado no pacote XML e JSON no pacote catalyst.
    • [FAÍSCA-46581] Comentário de atualização sobre isZero em AccumulatorV2.
    • [FAÍSCA-45912] Aprimoramento da API XSDToSchema: Mude para a API HDFS para acessibilidade de armazenamento em nuvem.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46660] ReattachExecute solicita atualizações de vitalidade de SessionHolder.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46684] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-45962] Remova treatEmptyValuesAsNulls e use nullValue a opção em vez disso em XML.
    • [FAÍSCA-46541] Corrija a referência de coluna ambígua na associação automática.
    • [FAÍSCA-46599] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46261]DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46484] Faça resolveOperators com que as funções auxiliares mantenham a ID do plano.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46446] Desative subconsultas com OFFSET correlacionado para corrigir bugs de correção.
    • [FAÍSCA-46152] XML: Adicione suporte a DecimalType na inferência de esquema XML.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-45814] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46153] XML: Adicionar suporte a TimestampNTZType.
    • [BACKPORT] [[FAÍSCA-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
    • [FAÍSCA-46260]DataFrame.withColumnsRenamed deve respeitar a ordem do ditado.
    • [FAÍSCA-46036] Removendo a classe de erro de raise_error função.
    • [FAÍSCA-46294] Limpe a semântica do valor init vs zero.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46587] XML: Corrija a conversão de inteiros grandes XSD.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46241] Corrija a rotina de tratamento de erros para que não caia em recursão infinita.
    • [FAÍSCA-46355] XML: Feche InputStreamReader na conclusão da leitura.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46265] As asserções em AddArtifact RPC tornam o cliente de conexão incompatível com clusters mais antigos.
    • [FAÍSCA-46308] Proibir o tratamento de erros recursivos.
    • [FAÍSCA-46337] Faça CTESubstitution reter o PLAN_ID_TAG.
  • 14 de dezembro de 2023
    • [FAÍSCA-46141] Altere o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO.
    • [FAÍSCA-45730] Torne o ReloadingX509TrustManagerSuite menos descamativo.
    • [FAÍSCA-45852] Lide graciosamente com o erro de recursão durante o registro.
    • [FAÍSCA-45808] Melhor tratamento de erros para exceções SQL.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • Reverter "[SPARK-45649] Unifique a estrutura de preparação para OffsetWindowFunctionFrame".
    • [FAÍSCA-45733] Ofereça suporte a várias políticas de repetição.
    • [FAÍSCA-45509] Corrija o comportamento de referência da coluna df para o Spark Connect.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • [FAÍSCA-45905] O tipo menos comum entre os tipos decimais deve manter os dígitos integrais primeiro.
    • [FAÍSCA-45136] Melhore o ClosureCleaner com suporte de amonite.
    • [FAÍSCA-46255] Suporte tipo complexo -> conversão de string.
    • [FAÍSCA-45859] Torne os objetos UDF em ml.functions preguiçosos.
    • [FAÍSCA-46028] Fazer Column.__getitem__ aceitar coluna de entrada.
    • [FAÍSCA-45798] Declare a ID da sessão do lado do servidor.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-45770] Introduza o plano DataFrameDropColumns para Dataframe.drop.
    • [FAÍSCA-44790] XML: to_xml implementação e ligações para python, connect e SQL.
    • [FAÍSCA-45851] Suporte a várias políticas no cliente scala.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45852] O cliente Python para Spark Connect agora deteta erros de recursão durante a conversão de texto.
    • [FAÍSCA-45808] Tratamento de erros melhorado para exceções SQL.
    • [FAÍSCA-45920]GROUP BY ordinal is não substitui o ordinal.
    • Reverter [SPARK-45649].
    • [FAÍSCA-45733] Adicionado suporte para várias políticas de repetição.
    • [FAÍSCA-45509] Comportamento de referência de coluna fixo df para o Spark Connect.
    • [FAÍSCA-45655] Permitir expressões não determinísticas dentro AggregateFunctions do CollectMetrics.
    • [FAÍSCA-45905] O tipo menos comum entre os tipos decimais agora retém dígitos integrais primeiro.
    • [FAÍSCA-45136] Melhore ClosureCleaner com o suporte de amonite.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-46028]Column.__getitem__ aceita colunas de entrada.
    • [FAÍSCA-45798] Declare a ID da sessão do lado do servidor.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-45770] Resolução de coluna fixa com DataFrameDropColumns for Dataframe.drop.
    • [FAÍSCA-44790] Adicionada to_xml implementação e ligações para Python, Spark Connect e SQL.
    • [FAÍSCA-45851] Adicionado suporte para várias políticas no cliente Scala.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.1

Consulte Databricks Runtime 14.1.

  • 9 de abril de 2024
    • Nenhuma
    • [FAÍSCA-47638][PS] [CONECTAR] Ignorar validação de nome de coluna no PS
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • [FAÍSCA-47309][SQL] [XML] Adicionar testes de unidade de inferência de esquema
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • [FAÍSCA-45957] Evite gerar plano de execução para comandos não executáveis.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46684] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [FAÍSCA-45498] Acompanhamento: Ignore a conclusão de tarefas de tentativas de estágio antigas.
    • [FAÍSCA-46382] XML: Documento de atualização para ignoreSurroundingSpaces.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46382] XML: Default ignoreSurroundingSpaces como true.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46633] Corrija o leitor Avro para lidar com blocos de comprimento zero.
    • [FAÍSCA-45912] Aprimoramento da API XSDToSchema: Mude para a API HDFS para acessibilidade de armazenamento em nuvem.
    • [FAÍSCA-46599] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade.
    • [FAÍSCA-46382] XML: Captura valores intercalados entre elementos.
    • [FAÍSCA-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-45964] Remova o acessador sql privado no pacote XML e JSON no pacote catalyst.
    • Reverter [SPARK-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-45962] Remova treatEmptyValuesAsNulls e use nullValue a opção em vez disso em XML.
    • [FAÍSCA-46541] Corrija a referência de coluna ambígua na associação automática.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46484] Faça resolveOperators com que as funções auxiliares mantenham a ID do plano.
    • [FAÍSCA-46153] XML: Adicionar suporte a TimestampNTZType.
    • [FAÍSCA-46152] XML: Adicione suporte a DecimalType na inferência de esquema XML.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46337] Faça CTESubstitution reter o PLAN_ID_TAG.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
    • [FAÍSCA-46587] XML: Corrija a conversão de inteiros grandes XSD.
    • [FAÍSCA-45814] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46355] XML: Feche InputStreamReader na conclusão da leitura.
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46261]DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46260]DataFrame.withColumnsRenamed deve respeitar a ordem do ditado.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-45509] Corrija o comportamento de referência da coluna df para o Spark Connect.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-46141] Altere o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO.
    • [FAÍSCA-46028] Fazer Column.__getitem__ aceitar coluna de entrada.
    • [FAÍSCA-46255] Suporte tipo complexo -> conversão de string.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [FAÍSCA-45852] Lide graciosamente com o erro de recursão durante o registro.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • Ao ingerir dados CSV usando o Auto Loader ou Streaming Tables, arquivos CSV grandes agora são dividiveis e podem ser processados em paralelo durante a inferência de esquema e o processamento de dados.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45620] APIs relacionadas ao Python UDF agora usam camelCase.
    • [FAÍSCA-44790] Adicionada to_xml implementação e ligações para Python, Spark Connect e SQL.
    • [FAÍSCA-45770] Resolução de coluna fixa com DataFrameDropColumns for Dataframe.drop.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-44784] Fez testes do SBT herméticos.
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45250] Adicionado suporte para perfil de recurso de tarefa em nível de estágio para clusters de fios quando a alocação dinâmica está desativada.
    • [FAÍSCA-44753] Adicionado leitor e gravador XML DataFrame para PySpark SQL.
    • [FAÍSCA-45396] Adicionada uma entrada doc para PySpark.ml.connect o módulo.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45577] Corrigido UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados.
    • [FAÍSCA-45562] Tornou 'rowTag' uma opção obrigatória.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-43380] Corrigida lentidão na leitura Avro.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45386] Corrigido um problema em que StorageLevel.NONE retornava incorretamente 0.
    • [FAÍSCA-44219] Adicionadas verificações de validação por regra para regravações de otimização.
    • [FAÍSCA-45543] Corrigido um problema que InferWindowGroupLimit causava um problema se as outras funções da janela não tivessem a mesma moldura da janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 27 de setembro de 2023
    • [FAÍSCA-44823] Atualizado black para 23.9.1 e corrigido erro de verificação.
    • [FAÍSCA-45339] O PySpark agora registra erros que ele repete.
    • Reverter [SPARK-42946] Dados confidenciais editados aninhados em substituições variáveis.
    • [FAÍSCA-44551] Comentários editados para sincronizar com o OSS.
    • [FAÍSCA-45360] O construtor de sessões do Spark suporta a inicialização a partir do SPARK_REMOTE.
    • [FAÍSCA-45279] Anexado plan_id a todos os planos lógicos.
    • [FAÍSCA-45425] Mapeado TINYINT para MsSqlServerDialectShortType .
    • [FAÍSCA-45419] Removida a entrada de mapa de versão de arquivo de versões maiores para evitar a reutilização rocksdb de IDs de arquivo sst.
    • [FAÍSCA-45488] Suporte adicionado para valor no rowTag elemento.
    • [FAÍSCA-42205] Removido o registo de eventos de início em JsonProtocolTask/Stage registos de Accumulables eventos.
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • [FAÍSCA-45256]DurationWriter falha ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-43380] Corrigidos Avro problemas de conversão de tipo de dados sem causar regressão de desempenho.
    • [FAÍSCA-45182] Adicionado suporte para reverter o estágio do mapa aleatório para que todas as tarefas do estágio possam ser repetidas quando a saída do palco for indeterminada.
    • [FAÍSCA-45399] Opções XML adicionadas usando newOptiono .
    • Atualizações de segurança do sistema operacional.

Databricks Tempo de execução 13.3 LTS

Consulte Databricks Runtime 13.3 LTS.

  • 9 de abril de 2024
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46383] Reduza o uso de heap de driver reduzindo a vida útil de TaskInfo.accumulables().
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • O conector faísca-floco de neve é atualizado para 2.12.0.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • Consultas de feed de dados alteradas em Tabelas de Streaming do Catálogo Unity e Visualizações Materializadas para exibir mensagens de erro.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-44219] Adicionadas validações extras por regra para regravações de otimização.
    • [FAÍSCA-45543] Corrigido um problema que InferWindowGroupLimit causava um problema se as outras funções da janela não tivessem a mesma moldura da janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 23 de outubro de 2023
    • [FAÍSCA-45256] Corrigido um problema em que DurationWriter falhava ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-45419] Evite reutilizar rocksdb sst arquivos em uma instância diferente rocksdb removendo entradas de mapa de versão de arquivo de versões maiores.
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • A array_insert função é baseada em 1 para índices positivos e negativos, enquanto antes, era baseada em 0 para índices negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
    • Corrigido um problema em torno de não ignorar arquivos corrompidos quando ignoreCorruptFiles é ativado durante a inferência de esquema CSV com o Auto Loader.
    • Reverter [SPARK-42946].
    • [FAÍSCA-42205] Atualizado o protocolo JSON para remover o registro de acumulaveis em uma tarefa ou eventos de início de estágio.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles e ignoreMissingFiles para HadoopRDD e NewHadoopRDD.
    • [FAÍSCA-44740] Valores de metadados fixos para Artefatos.
    • [FAÍSCA-45360] Configuração inicializada do construtor de sessões do Spark a partir de SPARK_REMOTE.
    • [FAÍSCA-44551] Comentários editados para sincronizar com o OSS.
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita sinalizadores que diferenciam maiúsculas de minúsculas ao mesclar o esquema.
    • [FAÍSCA-44658]ShuffleStatus.getMapStatus agora retorna None em vez de Some(null).
    • [FAÍSCA-44840] Feito array_insert() com base em 1 para índices negativos.
  • 14 de setembro de 2023
    • [FAÍSCA-44873] Adicionado suporte para alter view colunas aninhadas no cliente Hive.
    • [FAÍSCA-44878] Desativado o limite estrito para RocksDB o gerenciador de gravação para evitar a exceção de inserção no cache concluído.
  • 30 de agosto de 2023
    • O comando dbutils cp (dbutils.fs.cp) foi otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem levar até 100 vezes menos, dependendo do tamanho do arquivo. O recurso está disponível em todas as nuvens e sistemas de arquivos acessíveis no Databricks, inclusive para volumes de catálogo Unity e montagens DBFS.
    • [FAÍSCA-44455] Identificadores de cotação com backticks no SHOW CREATE TABLE resultado.
    • [FAÍSCA-44763] Corrigido um problema que mostrava uma cadeia de caracteres como um duplo na aritmética binária com intervalo.
    • [FAÍSCA-44871] Comportamento fixo percentile_disc .
    • [FAÍSCA-44714] Facilite a restrição da resolução de LCA em relação a consultas.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44505] Adicionada substituição para suporte colunar no Scan for DSv2.
    • [FAÍSCA-44479] Conversão de protobuf fixa a partir de um tipo struct vazio.
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-42941] Adicionado suporte para StreamingQueryListener em Python.
    • [FAÍSCA-44558] Exporte o nível de log do Spark Connect do PySpark.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • [FAÍSCA-44643] Corrigido Row.__repr__ quando o campo é uma linha vazia.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

  • 9 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-43067] Corrija o local do arquivo de recurso de classe de erro no conector Kafka.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-42852] Reverta as alterações relacionadas NamedLambdaVariable de EquivalentExpressions.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-42205] Removidos os acumuláveis de registro e StageTask iniciar eventos.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-42553] Certifique-se de pelo menos uma unidade de tempo após o intervalo.
    • [FAÍSCA-45346] A inferência do esquema Parquet respeita o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
  • 12 de setembro de 2023
    • [FAÍSCA-44873] Adicionado suporte para alter view colunas aninhadas no cliente Hive.
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-43799] Adicionada opção binária do descritor à API do PySpark Protobuf .
    • Correções diversas.
  • 30 de agosto de 2023
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 29 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44337] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • [FAÍSCA-44136] Corrigido um problema em que StateManager seria materializado em um executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de erro de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43522] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43541] Propagar todas as Project tags na resolução de expressões e colunas ausentes.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43123] Os metadados de campo interno não vazam mais para catálogos.
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-42444]DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [FAÍSCA-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-43286] Modo CBC atualizado aes_encrypt para gerar IVs aleatórios.
    • [FAÍSCA-43378] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields\ opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns\ colunas que têm tipos de dados diferentes seriam lidas como null\ em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn\ opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais , Shorte Byte digita Integerse um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43172] Expõe host e token do cliente Spark connect.
    • [FAÍSCA-43293]__qualified_access_only é ignorado em colunas normais.
    • [FAÍSCA-43098] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43085] Suporte para atribuição de colunas DEFAULT para nomes de tabelas com várias partes.
    • [FAÍSCA-43190]ListQuery.childOutput é agora consistente com a produção secundária.
    • [FAÍSCA-43192] Removida a validação do conjunto de caracteres do agente do usuário.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • O Auto Loader agora lê corretamente e não resgata mais , Shorte Byte digita Integerse um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatada estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem salvas mesmo que fossem legíveis.
    • [FAÍSCA-43009] Parametrizado sql() com Any constantes
    • [FAÍSCA-42406] Encerrar campos recursivos do Protobuf soltando o campo
    • [FAÍSCA-43038] Apoie o modo CBC por aes_encrypt()/aes_decrypt()
    • [FAÍSCA-42971] Alterar para imprimir workdir se appDirs for nulo quando o trabalhador manipular WorkDirCleanup evento
    • [FAÍSCA-43018] Corrigir bug para comandos INSERT com literais de carimbo de data/hora
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Ofereça suporte a formatos de fonte de dados herdados no SYNC comando.
    • Corrige um problema no comportamento %autoreload em blocos de anotações fora de um repositório.
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928] Faz resolvePersistentFunction sincronizado.
    • [FAÍSCA-42936] Corrige o problema de LCan quando a cláusula pode ser resolvida diretamente por sua agregação filha.
    • [FAÍSCA-42967] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
    • Atualizações de segurança do sistema operacional.
  • 29 de março de 2023

    • O Databricks SQL agora oferece suporte à especificação de valores padrão para colunas de tabelas Delta Lake, no momento da criação da tabela ou depois. Os comandos subsequentes INSERT, UPDATE, DELETEe MERGE podem referir-se ao valor padrão de qualquer coluna usando a palavra-chave explícita DEFAULT . Além disso, se qualquer INSERT atribuição tiver uma lista explícita de menos colunas do que a tabela de destino, os valores padrão da coluna correspondente serão substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

      Por exemplo:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • O Auto Loader agora inicia pelo menos uma limpeza de log síncrona do RocksDB para Trigger.AvailableNow fluxos para verificar se o ponto de verificação pode ser limpo regularmente para fluxos do Auto Loader de execução rápida. Isso pode fazer com que alguns fluxos demorem mais tempo antes de serem desligados, mas economizará custos de armazenamento e melhorará a experiência do Auto Loader em execuções futuras.

    • Agora você pode modificar uma tabela Delta para adicionar suporte aos recursos da tabela usando DeltaTable.addFeatureSupport(feature_name)o .

    • [FAÍSCA-42794] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming

    • [FAÍSCA-42521] Adicionar NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino

    • [FAÍSCA-42702][FAÍSCA-42623] Suporte a consulta parametrizada em subconsulta e CTE

    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop

    • [FAÍSCA-42403] JsonProtocol deve manipular cadeias de caracteres JSON nulas

  • 8 de março de 2023
    • A mensagem de erro "Falha ao inicializar a configuração" foi melhorada para fornecer mais contexto para o cliente.
    • Há uma alteração de terminologia para adicionar recursos a uma tabela Delta usando a propriedade table. A sintaxe preferida é agora 'delta.feature.featureName'='supported' em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso 'delta.feature.featureName'='enabled' ainda funciona e continuará a funcionar.
    • A partir desta versão, é possível criar/substituir uma tabela por uma propriedade delta.ignoreProtocolDefaults de tabela adicional para ignorar as configurações do Spark relacionadas ao protocolo, que incluem versões padrão de leitor e gravador e recursos de tabela suportados por padrão.
    • [FAÍSCA-42070] Altere o valor padrão do argumento da função Mask de -1 para NULL
    • [FAÍSCA-41793] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais significativos
    • [FAÍSCA-42484] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-42516] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • [FAÍSCA-42635] Corrija a expressão TimestampAdd.
    • [FAÍSCA-42622] Substituição desativada em valores
    • [FAÍSCA-42534] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-42121] Adicione funções internas com valor de tabela posexplode, posexplode_outer, json_tuple e stack
    • [FAÍSCA-42045] Modo ANSI SQL: Round/Bround deve retornar um erro em estouro inteiro minúsculo/pequeno/significativo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 11.3 LTS

Consulte Databricks Runtime 11.3 LTS.

  • 9 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • Reverter [SPARK-33861].
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita o sinalizador que diferencia maiúsculas de minúsculas ao mesclar um esquema.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44136] Corrigido um problema que o StateManager pode obter materializado no executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de bug de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404]Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.

Tempo de execução do Databricks 10.4 LTS

Consulte Databricks Runtime 10.4 LTS.

  • 6 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • Reverter [SPARK-33861].
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora aparece com falhas nas consultas corretamente.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • [FAÍSCA-41520] Dividir AND_OR padrão de árvore para separar AND e OR.
    • [FAÍSCA-43190]ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • [FAÍSCA-42928] Faça resolvePersistentFunction sincronizado.
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop
    • [FAÍSCA-42635] Corrigir o ...
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-41162] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-33206] Corrigir cálculo de peso de cache de índice aleatório para arquivos de índice pequenos
    • [FAÍSCA-42484] Melhorada a mensagem de UnsafeRowUtils erro
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • [FAÍSCA-30220] Habilitar o uso de subconsultas Exists/In fora do nó Filtro
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • O conector Sinapse do Azure retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres não válidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [FAÍSCA-38277] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • [FAÍSCA-41199] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41198] Corrija métricas em consultas de streaming com origem de streaming CTE e DSv1.
    • [FAÍSCA-41339] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar.
    • [FAÍSCA-41732] Aplique poda baseada em padrão de árvore para a regra SessionWindowing.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original.
    • [FAÍSCA-40292] Corrigir nomes de colunas em arrays_zip função quando matrizes são referenciadas a partir de estruturas aninhadas
    • Atualizações de segurança do sistema operacional.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40697] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • [FAÍSCA-40468] Corrija a remoção de coluna no CSV quando _corrupt_record estiver selecionado.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40213] Suporta conversão de valor ASCII para caracteres latino-1
    • [FAÍSCA-40380] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-38404] Melhorar a resolução de CTE quando uma CTE aninhada faz referência a uma CTE externa
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies().
    • [FAÍSCA-40218] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento.
    • [FAÍSCA-39976] ArrayIntersect deve manipular null na expressão esquerda corretamente.
    • [FAÍSCA-40053] Adicione assume a casos de cancelamento dinâmico que exigem o ambiente de tempo de execução do Python.
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo.
    • [FAÍSCA-40079] Adicione a validação inputCols do Imputer para caso de entrada vazio.
  • 24 de agosto de 2022
    • [FAÍSCA-39983] Não armazene em cache relações de transmissão não serializadas no driver.
    • [FAÍSCA-39775] Desative a validação de valores padrão ao analisar esquemas Avro.
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • [FAÍSCA-37643] quando charVarcharAsString é true, para consulta de predicado de tipo de dados char deve ignorar a regra rpadding .
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • [FAÍSCA-39847] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • [FAÍSCA-39625] Adicione Dataset.as(StructType).
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV.
    • [FAÍSCA-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe.
    • [FAÍSCA-39570] A tabela embutida deve permitir expressões com alias.
    • [FAÍSCA-39702] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado.
    • [FAÍSCA-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [FAÍSCA-39476] Desative a otimização de desembrulhar ao transmitir de Long para Float/Double ou de Integer para Float.
    • [FAÍSCA-38868] Não propague exceções do predicado de filtro ao otimizar junções externas.
    • Atualizações de segurança do sistema operacional.
  • 20 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39355] Uma única coluna usa aspas para construir UnresolvedAttribute.
    • [FAÍSCA-39548] Comando CreateView com uma consulta de cláusula de janela pressione uma definição de janela errada não encontrado problema.
    • [FAÍSCA-39419] Corrija ArraySort para lançar uma exceção quando o comparador retornar null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • [FAÍSCA-39376] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrija o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
    • [FAÍSCA-39285] O Spark não deve verificar nomes de campos ao ler arquivos.
    • [FAÍSCA-34096] Melhore o desempenho para nth_value ignore nulos na janela de deslocamento.
    • [FAÍSCA-36718] Corrija o isExtractOnly check-in CollapseProject.
  • 2 de junho de 2022
    • [FAÍSCA-39093] Evite erros de compilação de codegen ao dividir intervalos de ano-mês ou intervalos de tempo de dia por uma integral.
    • [FAÍSCA-38990] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência associada.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória incorporada no Auto Loader.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual.
    • [FAÍSCA-37593] Reduza o tamanho da página padrão em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados.
    • [FAÍSCA-39084] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa.
    • [FAÍSCA-32268] Adicione ColumnPruning em injectBloomFilter.
    • [FAÍSCA-38974] Filtre funções registradas com um determinado nome de banco de dados em funções de lista.
    • [FAÍSCA-38931] Crie o diretório dfs raiz para RocksDBFileManager com um número desconhecido de chaves no 1º ponto de verificação.
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Java AWS SDK atualizado da versão 1.11.655 para 1.12.1899.
    • Corrigido um problema com bibliotecas com escopo de bloco de anotações que não funcionavam em trabalhos de streaming em lote.
    • [FAÍSCA-38616] Acompanhe o texto da consulta SQL no Catalyst TreeNode
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • As seguintes funções do Spark SQL estão agora disponíveis com esta versão:
      • timestampadd() e dateadd(): Adicione uma duração de tempo em uma unidade especificada a uma expressão de carimbo de data/hora.
      • timestampdiff() e : Calcule datediff()a diferença de tempo entre expressões de carimbo de data/hora em uma unidade especificada.
    • Parquet-MR foi atualizado para 1.12.2
    • Suporte melhorado para esquemas abrangentes em arquivos parquet
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack.
    • [FAÍSCA-38509][FAÍSCA-38481] Escolha a dedo três timestmapadd/diff mudanças.
    • [FAÍSCA-38523] Correção referente à coluna de registro corrompido do CSV.
    • [FAÍSCA-38237] Permitir ClusteredDistribution exigir chaves de cluster completas.
    • [FAÍSCA-38437] Serialização leniente de datetime da fonte de dados.
    • [FAÍSCA-38180] Permitir expressões seguras em predicados de igualdade correlacionados.
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados não suportados.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 9 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • [FAÍSCA-43098] Corrija o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula.
    • [FAÍSCA-43156][FAÍSCA-43098] Estenda o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado.
    • [FAÍSCA-40862] Ofereça suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-37520] Adicionar as startswith() funções e endswith() string
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-42484] Mensagem de erro melhorada para UnsafeRowUtils.
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Correções diversas.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não podem ser carregados depois de salvá-lo
    • [FAÍSCA-40079] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39666] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39689] Suporte para 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39575] Adicionado ByteBuffer#rewind depois ByteBuffer#get em AvroDeserializer.
    • [FAÍSCA-37392] Corrigido o erro de desempenho do otimizador de catalisador.
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • [FAÍSCA-39419]ArraySort lança uma exceção quando o comparador retorna null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrigir o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 de junho de 2022
    • [FAÍSCA-34554] Implemente o copy() método em ColumnarMap.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrigido um potencial vazamento de memória embutido no Auto Loader.
    • Atualize a versão do AWS SDK de 1.11.655 para 1.11.678.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-39084] Corrigir df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 6 de abril de 2022
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack.
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual de blocos de anotações em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado para o diretório base do usuário. Anteriormente, o diretório ativo era /databricks/driver.
    • [FAÍSCA-38437] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
  • 14 de março de 2022
    • [FAÍSCA-38236] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-34069] Interrompa o thread de tarefas se a propriedade SPARK_JOB_INTERRUPT_ON_CANCEL local estiver definida como true.
  • 23 de fevereiro de 2022
    • [FAÍSCA-37859] As tabelas SQL criadas com JDBC com Spark 3.1 não são legíveis com o Spark 3.2.
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um problema em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um problema em que o OPTIMIZE comando podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Pequenas correções e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um problema que podia fazer com que os fluxos de Streaming Estruturado falhassem com um ArrayIndexOutOfBoundsExceptionarquivo .
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 20 de outubro de 2021
    • Conector BigQuery atualizado de 0.18.1 para 0.22.2. Isso adiciona suporte para o tipo BigNumeric.