Atualizações de manutenção do Databricks Runtime

Esta página lista as atualizações de manutenção emitidas para as versões de tempo de execução de databricks. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster.

Nota

Este artigo contém referências ao termo whitelist, um termo que a Azure Databricks já não utiliza. Quando o termo for removido do software, vamos removê-lo deste artigo.

Lançamentos de tempo de execução de databricks suportados

Atualizações de manutenção para lançamentos de prazo de databricks suportados:

Para as notas de lançamento originais, siga o link abaixo da subposição.

Databricks Runtime 8.2

Ver Databricks Runtime 8.2.

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir vulnerabilidade de segurança Python (CVE-2021-3177).
  • Abr 30, 2021
    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
    • Corrigiu um problema de OOM quando o Carregador Automático reporta métricas de progresso de streaming estruturado.

Databricks Runtime 8.1

Ver Databricks Runtime 8.1.

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir vulnerabilidade de segurança Python (CVE-2021-3177).
  • Abr 30, 2021
    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • Corrigiu um problema de OOM quando o Carregador Automático reporta métricas de progresso de streaming estruturado.
  • Abr 27, 2021
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
    • [MODO SPARK-34856][SQL] ANSI: Permitir tipos complexos de fundição como tipo de corda
    • [SPARK-35014] Fixe o padrão de agregação física para não reescrever expressões dobráveis
    • [SPARK-34769][SQL] AnsiTypeCoercion: devolução do tipo de descapotável mais estreito entre o TypeCollection
    • [MODO SPARK-34614][SQL] ANSI: Casting String to Boolean lançará exceção no erro de parse
    • [MODO SPARK-33794][SQL] ANSI: Fixe a expressão nextDay para lançar tempo de execução IllegalArgumentExcepção ao receber entrada inválida sob

Databricks Runtime 8.0

Ver Databricks Runtime 8.0.

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir vulnerabilidade de segurança Python (CVE-2021-3177).
  • Abr 30, 2021
    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
  • Mar 24, 2021
    • [SPARK-34681][SQL] Fix bug para total junção de haxixe baralhado exterior quando construir o lado esquerdo com condição não igual
    • [SPARK-34534] Corrija a ordem de bloqueios quando utilizar o FetchShuffleBlocks para ir buscar blocos
    • [SPARK-34613][SQL] A vista de correção não captura desativar a sugestão config
  • Mar 9, 2021
    • [SPARK-34543][SQL] Respeite o spark.sql.caseSensitive config enquanto resolve a especificação de partição em v1 SET LOCATION
    • [SPARK-34392][SQL] Support ZoneOffset +h:mm in DateTimeUtils. getZoneId
    • [UI] Fixar a ligação href da Visualização do DAG de faísca
    • [SPARK-34436][SQL] DPP suporte COMO QUALQUER/QUALQUER expressão

Databricks Runtime 7.6

Ver Databricks Runtime 7.6.

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir vulnerabilidade de segurança Python (CVE-2021-3177).
  • Abr 30, 2021
    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
  • Mar 24, 2021
    • [SPARK-34768][SQL] Respeite o tamanho padrão do tampão de entrada na Univocity
    • [SPARK-34534] Corrija a ordem de bloqueios quando utilizar o FetchShuffleBlocks para ir buscar blocos
  • Mar 9, 2021
    • (apenas azul) Corrigiu um bug de carregamento automático que pode causar NullPointerExcepção ao utilizar databricks Runtime 7.6 para executar uma antiga corrente de carregamento automático criada em Databricks Runtime 7.2
    • [UI] Fixar a ligação href da Visualização do DAG de faísca
    • O SparkPlan de nó de folha desconhecido não é manuseado corretamente no SizeInBytesOnlyStatsSParkVisitor
    • Restaurar o esquema de saída de SHOW DATABASES
    • [Delta] [8.0, 7.6] Bug de cálculo fixo na lógica de afinação automática do tamanho do ficheiro
    • Desativar a verificação de precariedade para ficheiros de mesa Delta em cache Delta
    • [SQL] Use a chave de construção de poda dinâmica correta quando a sugestão de junta de alcance estiver presente
    • Desativar o suporte do tipo de char na trajetória de código não-SQL
    • Evitar NPE em DataFrameReader.schema
    • Corrija a NPE quando a resposta EventGridClient não tiver entidade
    • Corrija um bug de fluxo fechado de leitura no Azure Auto Loader
    • [SQL] Não gerem conselhos de número de partição baralhados quando o AOS estiver ativado
  • 24 de fevereiro de 2021
    • Atualizou o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigiu um problema de correção que fez com que a Spark devolvesse resultados incorretos quando a precisão e a escala decimais do ficheiro Parquet são diferentes do esquema spark.
    • Problema de falha de leitura fixo nas tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte de tipos de geometria e geografia JDBC para Spark SQL.
    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
    • [SPARK-34212] Questões fixas relacionadas com a leitura de dados decimais dos ficheiros Parquet.
    • [SPARK-34260][SQL] Fix UnresolvedException ao criar vista temporária duas vezes.

Databricks Runtime 7.5

Ver Databricks Runtime 7.5.

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir vulnerabilidade de segurança Python (CVE-2021-3177).
  • Abr 30, 2021
    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
  • Mar 24, 2021
    • [SPARK-34768][SQL] Respeite o tamanho padrão do tampão de entrada na Univocity
    • [SPARK-34534] Corrija a ordem de bloqueios quando utilizar o FetchShuffleBlocks para ir buscar blocos
  • Mar 9, 2021
    • (apenas azul) Fixo um bug de carregamento automático que pode causar NullPointerExcepção ao utilizar databricks Runtime 7.5 para executar um antigo fluxo de carregamento automático criado em Databricks Runtime 7.2.
    • [UI] Fixar a ligação href da Visualização do DAG de faísca
    • O SparkPlan de nó de folha desconhecido não é manuseado corretamente no SizeInBytesOnlyStatsSParkVisitor
    • Restaurar o esquema de saída de SHOW DATABASES
    • Desativar a verificação de precariedade para ficheiros de mesa Delta em cache Delta
    • [SQL] Use a chave de construção de poda dinâmica correta quando a sugestão de junta de alcance estiver presente
    • Desativar o suporte do tipo de char na trajetória de código não-SQL
    • Evitar NPE em DataFrameReader.schema
    • Corrija a NPE quando a resposta EventGridClient não tiver entidade
    • Corrija um bug de fluxo fechado de leitura no Azure Auto Loader
  • 24 de fevereiro de 2021
    • Atualizou o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigiu um problema de correção que fez com que a Spark devolvesse resultados incorretos quando a precisão e a escala decimais do ficheiro Parquet são diferentes do esquema spark.
    • Problema de falha de leitura fixo nas tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte de tipos de geometria e geografia JDBC para Spark SQL.
    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
    • [SPARK-34212] Questões fixas relacionadas com a leitura de dados decimais dos ficheiros Parquet.
    • [SPARK-34260][SQL] Fix UnresolvedException ao criar vista temporária duas vezes.
  • 4 de fevereiro de 2021
    • Corrigiu uma regressão que impede a execução incremental de uma consulta que estabelece um limite global como SELECT * FROM table LIMIT nrows . A regressão foi experimentada por utilizadores que executam consultas via ODBC/JDBC com a serialização da seta ativada.
    • Introduziu verificações de tempo de escrita ao cliente da Hive para prevenir a corrupção de metadados na metastore da Colmeia para as tabelas Delta.
    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021
    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021
    • Atualize o Azure Storage SDK de 2.3.8 para 2.3.9.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33480][SQL] atualiza a verificação do comprimento da inserção da tabela char/varchar

Databricks Runtime 7.3 LTS

Ver Databricks Runtime 7.3 LTS.

.. azure-aws:

  * Updated Python with security patch to fix Python security vulnerability (CVE-2021-3177).

.. gcp::

  * Updated Python with security patch to fix Python security vulnerability (CVE-2021-3177).
  * Delta cache is enabled by default on all GCP instances except those in the *-highcpu-* family. For *-highcpu-* instances, the cache is preconfigured but disabled by default. It can be enabled using the spark confing `spark.databricks.io.cache.enabled true`.
  • Abr 30, 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
    • [SPARK-35045][SQL] Adicione uma opção interna para controlar o tampão de entrada em univocity
  • Mar 24, 2021

    • [SPARK-34768][SQL] Respeite o tamanho padrão do tampão de entrada na Univocity
    • [SPARK-34534] Corrija a ordem de bloqueios quando utilizar o FetchShuffleBlocks para ir buscar blocos
    • [SPARK-33118][SQL]CREATE TEMPORARY TABLE falha com a localização
  • Mar 9, 2021

    • O controlador atualizado do Sistema de Ficheiros Azure Blob para a Azure Data Lake Storage Gen2 está agora ativado por padrão. Traz múltiplas melhorias de estabilidade.
    • Corrigir separador de caminho no Windows para databricks-connect get-jar-dir
    • [UI] Fixar a ligação href da Visualização do DAG de faísca
    • [DBCONNECT] Adicionar suporte para FlatMapCoGroupsInPandas em Databricks Ligar 7.3
    • Restaurar o esquema de saída de SHOW DATABASES
    • [SQL] Use a chave de construção de poda dinâmica correta quando a sugestão de junta de alcance estiver presente
    • Desativar a verificação de precariedade para ficheiros de mesa Delta em cache Delta
    • [SQL] Não gerem conselhos de número de partição baralhados quando o AOS estiver ativado
  • 24 de fevereiro de 2021

    • Atualizou o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigiu um problema de correção que fez com que a Spark devolvesse resultados incorretos quando a precisão e a escala decimais do ficheiro Parquet são diferentes do esquema spark.
    • Problema de falha de leitura fixo nas tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte de tipos de geometria e geografia JDBC para Spark SQL.
    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
    • [SPARK-34212] Questões fixas relacionadas com a leitura de dados decimais dos ficheiros Parquet.
    • [SPARK-33579][UI] Fix executor página em branco atrás do proxy.
    • [SPARK-20044][UI] Support Spark UI atrás de um representante de reverso frontal usando um prefixo de caminho.
    • [SPARK-33277][PYSPARK][SQL] Use ContextAwareIterator para parar de consumir após o fim da tarefa.
  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que impede a execução incremental de uma consulta que estabelece um limite global como SELECT * FROM table LIMIT nrows . A regressão foi experimentada por utilizadores que executam consultas via ODBC/JDBC com a serialização da seta ativada.
    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021

    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33677][SQL] Skip LikeSimplification regra se o padrão contiver qualquer fugaChar
    • [SPARK-33592][ML][PYTHON] Pyspark ML Validator params no estimadorParamMaps pode ser perdido após a poupança e recarregamento
    • [SPARK-33071][SPARK-33536][SQL] Evite alterar dataset_id do Plano Lógico em união() para não quebrar DetectAmbiguousSelfJoin
  • Dez 8, 2020

    • [SPARK-33587][CORE] Matar o executor em erros fatais aninhados
    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • [SPARK-33316][SQL] O utilizador de suporte forneceu esquema avro nupável para esquema de catalisador não anulado na escrita da Avro
    • Spark Jobs lançado usando Databricks Connect pode pendurar indefinidamente Executor$TaskRunner.$anonfun$copySessionState com em trace de pilha de executor
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [SPARK-33339][PYTHON] Pyspark application será pendurada devido a erro de não exceção
    • [SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [SPARK-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [SPARK-33391][SQL] element_at com a CreateArray não respeitar um índice baseado.
    • [SPARK-33306][SQL]Timezone é necessário quando a data do elenco para a cadeia
    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
  • Nov 5, 2020

    • Fixe o bloqueio ABFS e WASB no que diz respeito a UserGroupInformation.getCurrentUser() .
    • Corrija um bug de loop infinito quando o leitor avro ler os bytes MAGIC.
    • Adicione suporte para o privilégio USAGE.
    • Melhorias de desempenho para verificação de privilégios no controlo de acesso à mesa.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • Pode ler e escrever a partir de DBFS utilizando o suporte FUSE em /dbfs/ quando em um cluster de credencial de alta concência. Os suportes regulares são suportados, mas os suportes que precisam de credenciais passthrough ainda não são suportados.
    • [SPARK-32999][SQL] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • [SPARK-32585][SQL] Apoio à enumeração do scala em ScalaReflection
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 29 set, 2020

    • [SPARK-32718][SQL] Remover palavras-chave desnecessárias para unidades de intervalo
    • [SPARK-32635][SQL] Fix propagação dobrável
    • Adicione um novo spark.shuffle.io.decoder.consolidateThreshold config. Desfice o valor config Long.MAX_VALUE para saltar a consolidação de FrameBuffers netty, o que impede java.lang.IndexOutOfBoundsException em casos de canto.

Databricks Runtime 6.4

Ver Databricks Runtime 6.4 (Não suportado).

  • Jun 7, 2021

    • Adicione um novo config chamado spark.sql.maven.additionalRemoteRepositories , uma configuração de corda delimitada em vírgula do espelho de maven remoto opcional. O valor não tem padrão para https://maven-central.storage-download.googleapis.com/maven2/ .
  • Abr 30, 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
  • Mar 9, 2021

    • Porta HADOOP-17215 para o controlador do Sistema de Ficheiros Azure Blob (Suporte para substituição condicional).
    • Corrigir separador de caminho no Windows para databricks-connect get-jar-dir
    • Suporte adicionado para as versões metastológicas da Hive 2.3.5, 2.3.6 e 2.3.7
    • Seta "totalResultsCollected" reportada incorretamente após derrame
  • 24 de fevereiro de 2021

    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que impede a execução incremental de uma consulta que estabelece um limite global como SELECT * FROM table LIMIT nrows . A regressão foi experimentada por utilizadores que executam consultas via ODBC/JDBC com a serialização da seta ativada.
    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • [SPARK-33183][SQL] Fix Optimizer regra EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [Runtime 6.4 ML GPU] Anteriormente instalámos uma versão incorreta (2.7.8-1+cuda11.1) de NCCL. Este desbloqueio corrige-o para 2.4.8-1+cuda10.0 que é compatível com CUDA 10.0.
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
    • [SPARK-32635][SQL] Fix propagação dobrável
  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL][2.4] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 24 set, 2020

    • Fixou uma limitação anterior em que a passagem pelo cluster padrão continuaria a restringir as utilizações do utilizador de implementação do sistema de ficheiros. Agora os utilizadores poderiam aceder aos sistemas de ficheiros locais sem restrições.
    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
    • Atualizar A Azure Storage SDK para 8.6.4 e permitir que a TCP mantenha-se viva nas ligações efetuadas pelo controlador WASB
  • 25 de agosto de 2020

    • Resolução fixa de atributos ambíguos em auto-fusão
  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Evite o registo excessivo do ContextCleaner
  • 3 de agosto de 2020

    • Agora pode utilizar a função de transformação LDA num cluster ativado por passthrough.
    • Atualizações de segurança do sistema operativo.
  • 7 de julho de 2020

    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.
  • Abr 21, 2020

    • [SPARK-31312][SQL] Cache Class instance para o exemplo UDF em HiveFunctionWrapper
  • Abr 7, 2020

    • Para resolver um problema com pandas udf não trabalhando com PyArrow 0.15.0 ou acima, adicionámos uma variável ambiental ( ARROW_PRE_0_15_IPC_FORMAT=1 ) para permitir suporte para as versões de PyArrow. Consulte as instruções em [SPARK-29367].
  • Mar 10, 2020

    • A autoscalagem otimizada é agora utilizada por padrão em clusters para todos os fins no Plano Premium Azure Databricks.
    • O conector Snowflake ( ) incluído no tempo de spark-snowflake_2.11 execução de dados é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.

Databricks Runtime 5.5 LTS

Ver Databricks Runtime 5.5 LTS.

  • Jun 7, 2021

    • Adicione um novo config chamado spark.sql.maven.additionalRemoteRepositories , uma configuração de corda delimitada em vírgula do espelho de maven remoto opcional. O valor não tem padrão para https://maven-central.storage-download.googleapis.com/maven2/ .
  • Abr 30, 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
  • Mar 9, 2021

    • Porta HADOOP-17215 para o controlador do Sistema de Ficheiros Azure Blob (Suporte para substituição condicional).
  • 24 de fevereiro de 2021

    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • Correção para [HADOOP-17130].
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
    • [SPARK-32635][SQL] Fix propagação dobrável
  • 29 out, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL][2.4] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
  • 24 set, 2020

    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Evite o registo excessivo do ContextCleaner
  • 3 de agosto de 2020

    • Atualizações de segurança do sistema operativo
  • 7 de julho de 2020

    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.
  • Abr 21, 2020

    • [SPARK-31312][SQL] Cache Class instance para o exemplo UDF em HiveFunctionWrapper
  • Abr 7, 2020

    • Para resolver um problema com pandas udf não trabalhando com PyArrow 0.15.0 ou acima, adicionámos uma variável ambiental ( ARROW_PRE_0_15_IPC_FORMAT=1 ) para permitir suporte para as versões de PyArrow. Consulte as instruções em [SPARK-29367].
  • Mar 25, 2020

    • O conector Snowflake ( ) incluído no tempo de spark-snowflake_2.11 execução de dados é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • Mar 10, 2020

    • A saída de trabalho, tal como a saída de registo emitida para o stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falhada. Para evitar encontrar este limite, pode evitar que o stdout seja devolvido do condutor para definir spark.databricks.driver.disableScalaOutput a configuração Spark para true . Por predefinição, o valor da bandeira é false . A bandeira controla a produção de células para trabalhos scala JAR e cadernos Scala. Se a bandeira estiver ativada, a Spark não devolve os resultados da execução do trabalho ao cliente. A bandeira não afeta os dados que estão escritos nos ficheiros de registo do cluster. A definição desta bandeira é recomendada apenas para clusters automatizados para trabalhos JAR, pois irá desativar os resultados do caderno.
  • 18 de fevereiro de 2020

    • [SPARK-24783][SQL] faísca.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem credencial com a ADLS Gen2 tem uma degradação de desempenho devido ao manuseamento local de fios incorreto quando o cliente ADLS pré-fetching é ativado. Esta versão desativa a pré-correção da ADLS Gen2 quando a passagem de credencial é ativada até termos uma correção adequada.
  • 28 de janeiro de 2020

    • [SPARK-30447][SQL] Problema de anulação constante da propagação.
  • 14 de janeiro de 2020

    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • 19 de novembro de 2019

    • [SPARK-29743] [SQL] sample should set needCopyResult to true if his child needCopyResult is true
    • A versão R foi atualizada sem intencionalmente para 3.6.1 a partir de 3.6.0. Reduzimos para 3.6.0.
  • Nov 5, 2019

    • Versão Java atualizada de 1.8.0_212 para 1.8.0_222.
  • 23 out, 2019

  • 8 de outubro de 2019

    • Alterações laterais do servidor para permitir que o controlador Simba Apache Spark ODBC se reconecte e continue após uma falha de ligação durante a obtenção de resultados (requer a versão 2.6.10 do controlador Simba Apache Spark ODBC).
    • Corrigiu um problema que afeta a utilização do Optimize comando com agrupamentos ativados a ACL.
    • Corrigiu um problema em que pyspark.ml as bibliotecas falhariam devido ao erro proibido da Scala UDF na tabela ACL e aos clusters de passagens credenciais.
    • Métodos de SerDe e SerDeUtil permitidos para passagem credencial.
    • NullPointerException fixo ao verificar código de erro no cliente WASB.
  • 24 de setembro de 2019

    • Melhor estabilidade do escritor de Parquet.
    • Corrigiu o problema que a consulta Thrift cancelou antes de começar a executar pode ficar preso no estado DE INÍCIO.
  • 10 set, 2019

    • Adicione o iterador de linha seguro a BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Permitir que python se junte com fio de conexão para propagar erros
    • Corrigiu um bug que afeta certas consultas globais de agregação.
    • Redação credencial melhorada.
    • [SPARK-27330][SS] tarefa de apoio abortar em escritor de foreach
    • [SPARK-28642] Ocultar credenciais no SHOW CREATE TABLE
    • [SPARK-28699][SQL] Desativar usando o tipo radix para ShuffleExchangeExec em caso de repartição
  • 27/08/2019

    • [SPARK-20906][SQL]Permitir o esquema especificado pelo utilizador na to_avro API com registo de esquemas
    • [SPARK-27838][SQL] O utilizador de suporte forneceu um esquema avro não anulado para esquemas catalisadores nulos sem qualquer registo nulo
    • Melhoria na viagem no tempo do Lago Delta
    • Corrigiu um problema que afeta certa transform expressão
    • Suporta variáveis de difusão quando o isolamento do processo está ativado
  • 13 de agosto de 2019

    • Fonte de streaming Delta deve verificar o mais recente protocolo de uma tabela
    • [SPARK-28260] Adicionar estado FECHADO ao Estado de Execução
    • [SPARK-28489][SS]Fixe um bug que KafkaOffsetRangeCalculator.getRanges pode deixar cair compensações
  • Jul 30, 2019

    • [SPARK-28015][SQL] Check stringToDate() consome toda a entrada para os formatos yyy e yyy-[m]m
    • [SPARK-28308][CORE] CalendarInterval sub-segundo parte deve ser acolchoado antes de analisar
    • [SPARK-27485] Garantir Que os Reordrements.reorder devem lidar graciosamente com expressões duplicadas
    • [SPARK-28355][CORE][PYTHON] Use Spark conf para limiar em que a UDF é comprimido por emissão

Databricks Luz 2.4

Ver Databricks Light 2.4.

  • Abr 30, 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

  • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream

  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.

Lançamentos de tempo de execução não suportados de databricks

Atualizações de manutenção para lançamentos de prazo de execução de dados não suportados:

Para as notas de lançamento originais, siga o link abaixo da subposição.

Databricks Runtime 7.4 (Não suportado)

Ver Databricks Runtime 7.4 (Não suportado).

  • Abr 30, 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-35227][BUILD] Update the resolver para pacotes de faíscas em SparkSubmit
    • [SPARK-34245][CORE] Garantir que o Master remove os executores que não enviaram o estado acabado
    • [SPARK-35045][SQL] Adicione uma opção interna para controlar o tampão de entrada em univocity e uma configuração para o tamanho do tampão de entrada CSV
  • Mar 24, 2021

    • [SPARK-34768][SQL] Respeite o tamanho padrão do tampão de entrada na Univocity
    • [SPARK-34534] Corrija a ordem de bloqueios quando utilizar o FetchShuffleBlocks para ir buscar blocos
  • Mar 9, 2021

    • O controlador atualizado do Sistema de Ficheiros Azure Blob para a Azure Data Lake Storage Gen2 está agora ativado por padrão. Traz múltiplas melhorias de estabilidade.
    • [ES-67926] [UI] Fixar a ligação href da Visualização do DAG de faísca
    • [ES-65064] Restaurar o esquema de saída de SHOW DATABASES
    • [SC-70522] [SQL] Use a chave de construção de poda dinâmica correta quando a sugestão de junta de alcance estiver presente
    • [SC-35081] Desativar a verificação de precariedade para ficheiros de mesa Delta em cache Delta
    • [SC-70640] Corrija a NPE quando a resposta EventGridClient não tiver entidade
    • [SC-70220] [SQL] Não gerem conselhos de número de partição baralhados quando o AOS estiver ativado
  • 24 de fevereiro de 2021

    • Atualizou o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigiu um problema de correção que fez com que a Spark devolvesse resultados incorretos quando a precisão e a escala decimais do ficheiro Parquet são diferentes do esquema spark.
    • Problema de falha de leitura fixo nas tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte de tipos de geometria e geografia JDBC para Spark SQL.
    • Introduzi uma nova spark.databricks.hive.metastore.init.reloadFunctions.enabled configuração. Esta configuração controla a inicialização incorporada na Colmeia. Quando definido como verdadeiro, a Azure Databricks recarrega todas as funções de todas as bases de dados em que os utilizadores têm FunctionRegistry . Este é o comportamento padrão na Hive Metastore. Quando definido como falso, a Azure Databricks desativa este processo para otimização.
    • [SPARK-34212] Questões fixas relacionadas com a leitura de dados decimais dos ficheiros Parquet.
    • [SPARK-33579][UI] Fix executor página em branco atrás do proxy.
    • [SPARK-20044][UI] Support Spark UI atrás de um representante de reverso frontal usando um prefixo de caminho.
    • [SPARK-33277][PYSPARK][SQL] Use ContextAwareIterator para parar de consumir após o fim da tarefa.
  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que impede a execução incremental de uma consulta que estabelece um limite global como SELECT * FROM table LIMIT nrows . A regressão foi experimentada por utilizadores que executam consultas via ODBC/JDBC com a serialização da seta ativada.
    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021

    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33677][SQL] Skip LikeSimplification regra se o padrão contiver qualquer fugaChar
    • [SPARK-33071][SPARK-33536][SQL] Evite alterar dataset_id do Plano Lógico em união() para não quebrar DetectAmbiguousSelfJoin
  • Dez 8, 2020

    • [SPARK-33587][CORE] Matar o executor em erros fatais aninhados
    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • [SPARK-33316][SQL] O utilizador de suporte forneceu esquema avro nupável para esquema de catalisador não anulado na escrita da Avro
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [SPARK-33339][PYTHON] Pyspark application será pendurada devido a erro de não exceção
    • [SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [SPARK-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [SPARK-33391][SQL] element_at com a CreateArray não respeitar um índice baseado.
    • [SPARK-33306][SQL]Timezone é necessário quando a data do elenco para a cadeia
    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
    • [SPARK-33272][SQL] poda os atributos mapeamento em QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (Não suportado)

Ver Databricks Runtime 7.2 (Não suportado).

  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que impede a execução incremental de uma consulta que estabelece um limite global como SELECT * FROM table LIMIT nrows . A regressão foi experimentada por utilizadores que executam consultas via ODBC/JDBC com a serialização da seta ativada.
    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021

    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33677][SQL] Skip LikeSimplification regra se o padrão contiver qualquer fugaChar
    • [SPARK-33071][SPARK-33536][SQL] Evite alterar dataset_id do Plano Lógico em união() para não quebrar DetectAmbiguousSelfJoin
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • [SPARK-33404][SQL] Corrigir resultados incorretos na date_trunc expressão
    • [SPARK-33339][PYTHON] Pyspark application será pendurada devido a erro de não exceção
    • [SPARK-33183][SQL] Fix Optimizer regra EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [SPARK-33391][SQL] element_at com a CreateArray não respeitar um índice baseado.
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33306][SQL]Timezone é necessário quando a data do elenco para a cadeia
    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 29 set, 2020

    • [SPARK-28863][SQL][WARMFIX] Introduzir jáoptimizado para evitar a reanálise dos V1FallbackWriters
    • [SPARK-32635][SQL] Fix propagação dobrável
    • Adicione um novo spark.shuffle.io.decoder.consolidateThreshold config. Desfice o valor config Long.MAX_VALUE para saltar a consolidação de FrameBuffers netty, o que impede java.lang.IndexOutOfBoundsException em casos de canto.
  • 24 set, 2020

    • [SPARK-32764][SQL] -0.0 deve ser igual a 0,0
    • [SPARK-32753][SQL] Apenas tags de cópia para nó sem etiquetas ao transformar planos
    • [SPARK-32659][SQL] Fixe a questão dos dados da poda de partição dinâmica inserida em tipo não atómico
    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.

Databricks Runtime 7.1 (Não suportado)

Ver Databricks Runtime 7.1 (Não suportado).

  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021

    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33677][SQL] Skip LikeSimplification regra se o padrão contiver qualquer fugaChar
    • [SPARK-33071][SPARK-33536][SQL] Evite alterar dataset_id do Plano Lógico em união() para não quebrar DetectAmbiguousSelfJoin
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • Spark Jobs lançado usando Databricks Connect pode pendurar indefinidamente Executor$TaskRunner.$anonfun$copySessionState com em trace de pilha de executor
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [SPARK-33339][PYTHON] Pyspark application será pendurada devido a erro de não exceção
    • [SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [SPARK-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [SPARK-33391][SQL] element_at com a CreateArray não respeitar um índice baseado.
    • [SPARK-33306][SQL]Timezone é necessário quando a data do elenco para a cadeia
  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 29 set, 2020

    • [SPARK-28863][SQL][WARMFIX] Introduzir jáoptimizado para evitar a reanálise dos V1FallbackWriters
    • [SPARK-32635][SQL] Fix propagação dobrável
    • Adicione um novo spark.shuffle.io.decoder.consolidateThreshold config. Desfice o valor config Long.MAX_VALUE para saltar a consolidação de FrameBuffers netty, o que impede java.lang.IndexOutOfBoundsException em casos de canto.
  • 24 set, 2020

    • [SPARK-32764][SQL] -0.0 deve ser igual a 0,0
    • [SPARK-32753][SQL] Apenas tags de cópia para nó sem etiquetas ao transformar planos
    • [SPARK-32659][SQL] Fixe a questão dos dados da poda de partição dinâmica inserida em tipo não atómico
    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
  • 25 de agosto de 2020

    • [SPARK-32159][SQL] Fix integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [SPARK-32559][SQL] Fixe a lógica de corte em UTF8String.toInt/toLong , que não lidou corretamente com caracteres não-ASCII
    • [SPARK-32543][R] Remover arrow::as_tibble o uso no SparkR
    • [SPARK-32091][CORE] Ignore o erro de tempo limite ao remover blocos no executor perdido
    • Corrigiu um problema que afeta o conector Azure Synapse com credenciais MSI
    • Resolução fixa de atributos ambíguos em auto-fusão
  • 18 de agosto de 2020

    • [SPARK-32594][SQL] Corrigir serialização de datas inseridas nas tabelas da Colmeia
    • [SPARK-32237][SQL] Resolver dica em CTE
    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • [SPARK-32467][UI] Evite codificar URL duas vezes em https redirecionamento
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight só deve reescrever atributos para nós ancestrais do plano de conflito
    • [SPARK-32234][SQL] Os comandos Spark SQL estão a falhar na seleção das tabelas ORC
  • 3 de agosto de 2020

    • Agora pode utilizar a função de transformação LDA num cluster ativado por passthrough.

Databricks Runtime 7.0 (Não suportado)

Ver Databricks Runtime 7.0 (Não suportado).

  • 4 de fevereiro de 2021

    • Corrigiu uma regressão que fez com que o FUSE DBFS não começasse quando as configurações variáveis do ambiente do cluster contêm sintaxe de bash inválida.
  • 20 de janeiro de 2021

    • Fixou uma regressão no lançamento de manutenção de 12 de janeiro de 2021 que pode causar uma análise incorretaExcepção e dizer que a coluna é ambígua em auto-adesão. Esta regressão ocorre quando um utilizador se junta a um DataFrame com o seu DataFrame derivado (uma chamada união auto-unida) com as seguintes condições:
      • Estes dois DataFrames têm colunas comuns, mas a saída da união de si não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas através de select, groupBy ou janela.
      • A condição de união ou a seguinte transformação após o Dataframe associado refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operativo.
    • [SPARK-33593][SQL] Leitor de vetor obteve dados incorretos com valor binário de partição
    • [SPARK-33677][SQL] Skip LikeSimplification regra se o padrão contiver qualquer fugaChar
    • [SPARK-33071][SPARK-33536][SQL] Evite alterar dataset_id do Plano Lógico em união() para não quebrar DetectAmbiguousSelfJoin
  • Dez 8, 2020

    • [SPARK-27421][SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
    • [SPARK-33404][SQL] Corrigir resultados incorretos na date_trunc expressão
    • [SPARK-33339][PYTHON] Pyspark application será pendurada devido a erro de não exceção
    • [SPARK-33183][SQL] Fix Optimizer regra EliminaSorts e adicionar uma regra física para remover tipos redundantes
    • [SPARK-33391][SQL] element_at com a CreateArray não respeitar um índice baseado.
    • Atualizações de segurança do sistema operativo.
  • Dez 1, 2020

    • [SPARK-33306][SQL]Timezone é necessário quando a data do elenco para a cadeia
  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 29 set, 2020

    • [SPARK-28863][SQL][WARMFIX] Introduzir jáoptimizado para evitar a reanálise dos V1FallbackWriters
    • [SPARK-32635][SQL] Fix propagação dobrável
    • Adicione um novo spark.shuffle.io.decoder.consolidateThreshold config. Desfice o valor config Long.MAX_VALUE para saltar a consolidação de FrameBuffers netty, o que impede java.lang.IndexOutOfBoundsException em casos de canto.
  • 24 set, 2020

    • [SPARK-32764][SQL] -0.0 deve ser igual a 0,0
    • [SPARK-32753][SQL] Apenas tags de cópia para nó sem etiquetas ao transformar planos
    • [SPARK-32659][SQL] Fixe a questão dos dados da poda de partição dinâmica inserida em tipo não atómico
    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
  • 25 de agosto de 2020

    • [SPARK-32159][SQL] Fix integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [SPARK-32559][SQL] Fixe a lógica de corte em UTF8String.toInt/toLong , que não lidou corretamente com caracteres não-ASCII
    • [SPARK-32543][R] Remover arrow::as_tibble o uso no SparkR
    • [SPARK-32091][CORE] Ignore o erro de tempo limite ao remover blocos no executor perdido
    • Corrigiu um problema que afeta o conector Azure Synapse com credenciais MSI
    • Resolução fixa de atributos ambíguos em auto-fusão
  • 18 de agosto de 2020

    • [SPARK-32594][SQL] Corrigir serialização de datas inseridas nas tabelas da Colmeia
    • [SPARK-32237][SQL] Resolver dica em CTE
    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • [SPARK-32467][UI] Evite codificar URL duas vezes em https redirecionamento
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight só deve reescrever atributos para nós ancestrais do plano de conflito
    • [SPARK-32234][SQL] Os comandos Spark SQL estão a falhar na seleção das tabelas ORC
    • Agora pode utilizar a função de transformação LDA num cluster ativado por passthrough.

Databricks Runtime 6.6 (Não suportado)

Ver Databricks Runtime 6.6 (Não suportado).

  • Dez 1, 2020

    • [SPARK-33260][SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
    • [SPARK-32635][SQL] Fix propagação dobrável
  • Nov 3, 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrigir bloqueio ABFS e WASB no que diz respeito ao UserGroupInformation.getCurrentUser()
    • Corrija um bug infinito de loop do leitor Avro ao ler os bytes MAGIC.
  • 13 out, 2020

    • Atualizações de segurança do sistema operativo.
    • [SPARK-32999][SQL][2.4] Use Utils.getSimpleName para evitar bater o nome da classe Malforme em TreeNode
    • Diretórios de listagem fixos no suporte FUSE que contêm nomes de ficheiros com caracteres XML inválidos
    • O suporte fuse já não utiliza ListMultipartUploads
  • 24 set, 2020

    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020

    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
    • Atualizar A Azure Storage SDK para 8.6.4 e permitir que a TCP mantenha-se viva nas ligações efetuadas pelo controlador WASB
  • 25 de agosto de 2020

    • Resolução fixa de atributos ambíguos em auto-fusão
  • 18 de agosto de 2020

    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020

    • [SPARK-28676][CORE] Evite o registo excessivo do ContextCleaner
    • [SPARK-31967][UI] Downgrade para vis.js 4.21.0 para corrigir regressão do tempo de carregamento de UI jobs
  • 3 de agosto de 2020

    • Agora pode utilizar a função de transformação LDA num cluster ativado por passthrough.
    • Atualizações de segurança do sistema operativo.

Databricks Runtime 6.5 (Não suportado)

Ver Databricks Runtime 6.5 (Não suportado).

  • 24 set, 2020
    • Fixou uma limitação anterior em que a passagem pelo cluster padrão continuaria a restringir as utilizações do utilizador de implementação do sistema de ficheiros. Agora os utilizadores poderiam aceder aos sistemas de ficheiros locais sem restrições.
    • Atualizações de segurança do sistema operativo.
  • 8 de set, 2020
    • Foi criado um novo parâmetro para o Azure Synapse maxbinlength Analytics. Este parâmetro é utilizado para controlar o comprimento da coluna das colunas BinaryType, e é traduzido como VARBINARY(maxbinlength) . Pode ser configurado utilizando .option("maxbinlength", n) , onde 0 < n <= 8000.
    • Atualizar A Azure Storage SDK para 8.6.4 e permitir que a TCP mantenha-se viva nas ligações efetuadas pelo controlador WASB
  • 25 de agosto de 2020
    • Resolução fixa de atributos ambíguos em auto-fusão
  • 18 de agosto de 2020
    • [SPARK-32431][SQL] Verifique colunas aninhadas duplicadas na leitura de fontes de dados incorporadas
    • Fixou uma condição de corrida no conector AQS quando utilizar o Gatilho.Uma vez.
  • 11 de agosto de 2020
    • [SPARK-28676][CORE] Evite o registo excessivo do ContextCleaner
  • 3 de agosto de 2020
    • Agora pode utilizar a função de transformação LDA num cluster ativado por passthrough.
    • Atualizações de segurança do sistema operativo.
  • 7 de julho de 2020
    • Versão Java atualizada de 1.8.0_242 para 1.8.0_252.
  • Abr 21, 2020
    • [SPARK-31312][SQL] Cache Class instance para o exemplo UDF em HiveFunctionWrapper

Databricks Runtime 6.3 (Não suportado)

Ver Databricks Runtime 6.3 (Não suportado).

  • 7 de julho de 2020
    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.
  • Abr 21, 2020
    • [SPARK-31312][SQL] Cache Class instance para o exemplo UDF em HiveFunctionWrapper
  • Abr 7, 2020
    • Para resolver um problema com pandas udf não trabalhando com PyArrow 0.15.0 ou acima, adicionámos uma variável ambiental ( ARROW_PRE_0_15_IPC_FORMAT=1 ) para permitir suporte para as versões de PyArrow. Consulte as instruções em [SPARK-29367].
  • Mar 10, 2020
    • O conector Snowflake ( ) incluído no tempo de spark-snowflake_2.11 execução de dados é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • A passagem credencial com a ADLS Gen2 tem uma degradação de desempenho devido ao manuseamento local de fios incorreto quando o cliente ADLS pré-fetching é ativado. Esta versão desativa a pré-correção da ADLS Gen2 quando a passagem de credencial é ativada até termos uma correção adequada.
  • 11 de fevereiro de 2020
    • [SPARK-24783][SQL] faísca.sql.shuffle.partitions=0 deve lançar exceção
    • [SPARK-30447][SQL] Emissão de anulação constante de propagação
    • [SPARK-28152][SQL] Adicione um legado conf para o mapeamento numérico msSqlServerDialect
    • Permitir a substituição da função de substituição para que os MLModels prolonguem a função MLWriter.

Databricks Runtime 6.2 (Não suportado)

Ver Databricks Runtime 6.2 (Não suportado).

  • Abr 21, 2020
    • [SPARK-31312][SQL] Cache Class instance para o exemplo UDF em HiveFunctionWrapper
  • Abr 7, 2020
    • Para resolver um problema com pandas udf não trabalhando com PyArrow 0.15.0 ou acima, adicionámos uma variável ambiental ( ARROW_PRE_0_15_IPC_FORMAT=1 ) para permitir suporte para as versões de PyArrow. Consulte as instruções em [SPARK-29367].
  • Mar 25, 2020
    • A saída de trabalho, tal como a saída de registo emitida para o stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falhada. Para evitar encontrar este limite, pode evitar que o stdout seja devolvido do condutor para definir spark.databricks.driver.disableScalaOutput a configuração Spark para true . Por predefinição, o valor da bandeira é false . A bandeira controla a produção de células para trabalhos scala JAR e cadernos Scala. Se a bandeira estiver ativada, a Spark não devolve os resultados da execução do trabalho ao cliente. A bandeira não afeta os dados que estão escritos nos ficheiros de registo do cluster. A definição desta bandeira é recomendada apenas para clusters automatizados para trabalhos JAR, pois irá desativar os resultados do caderno.
  • Mar 10, 2020
    • O conector Snowflake ( ) incluído no tempo de spark-snowflake_2.11 execução de dados é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • [SPARK-24783][SQL] faísca.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem credencial com a ADLS Gen2 tem uma degradação de desempenho devido ao manuseamento local de fios incorreto quando o cliente ADLS pré-fetching é ativado. Esta versão desativa a pré-correção da ADLS Gen2 quando a passagem de credencial é ativada até termos uma correção adequada.
  • 28 de janeiro de 2020
    • Permite a função de substituição de modelos ML listados para clusters ativados para passagem credencial, de modo que a poupança do modelo pode usar o modo de substituição em clusters de passthrough credenciais.
    • [SPARK-30447][SQL] Problema de anulação constante da propagação.
    • [SPARK-28152][SQL] Adicione um legado conf para o mapeamento numérico msSqlServerDialect.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • Dez 10, 2019
    • [SPARK-29904][SQL] Parse timetamps em precisão de microsegundo por fontes de dados JSON/CSV.

Databricks Runtime 6.1 (Não suportado)

Ver Databricks Runtime 6.1 (Não suportado).

  • Abr 7, 2020
    • Para resolver um problema com pandas udf não trabalhando com PyArrow 0.15.0 ou acima, adicionámos uma variável ambiental ( ARROW_PRE_0_15_IPC_FORMAT=1 ) para permitir suporte para as versões de PyArrow. Consulte as instruções em [SPARK-29367].
  • Mar 25, 2020
    • A saída de trabalho, tal como a saída de registo emitida para o stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falhada. Para evitar encontrar este limite, pode evitar que o stdout seja devolvido do condutor para definir spark.databricks.driver.disableScalaOutput a configuração Spark para true . Por predefinição, o valor da bandeira é false . A bandeira controla a produção de células para trabalhos scala JAR e cadernos Scala. Se a bandeira estiver ativada, a Spark não devolve os resultados da execução do trabalho ao cliente. A bandeira não afeta os dados que estão escritos nos ficheiros de registo do cluster. A definição desta bandeira é recomendada apenas para clusters automatizados para trabalhos JAR, pois irá desativar os resultados do caderno.
  • Mar 10, 2020
    • O conector Snowflake ( ) incluído no tempo de spark-snowflake_2.11 execução de dados é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • [SPARK-24783][SQL] faísca.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem credencial com a ADLS Gen2 tem uma degradação de desempenho devido ao manuseamento local de fios incorreto quando o cliente ADLS pré-fetching é ativado. Esta versão desativa a pré-correção da ADLS Gen2 quando a passagem de credencial é ativada até termos uma correção adequada.
  • 28 de janeiro de 2020
    • [SPARK-30447][SQL] Problema de anulação constante da propagação.
    • [SPARK-28152][SQL] Adicione um legado conf para o mapeamento numérico msSqlServerDialect.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • Nov 7, 2019
  • Nov 5, 2019
    • Fixo um bug no FUSE DBFS para manusear pontos de montagem tendo // no seu caminho.
    • [SPARK-29081] Substitua as chamadas para SerializationUtils.clone em propriedades por uma implementação mais rápida
    • [SPARK-29244] [CORE]Prevenir página libertada em BytesToBytesMap livre novamente
    • (6.1 mL) A versão mkl 2019.4 da biblioteca foi instalada sem querer. Desclassificámo-lo para a versão MKL 2019.3 para corresponder à Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (Não suportado)

Ver Databricks Runtime 6.0 (Não suportado).

  • Mar 25, 2020
    • A saída de trabalho, tal como a saída de registo emitida para o stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falhada. Para evitar encontrar este limite, pode evitar que o stdout seja devolvido do condutor para definir spark.databricks.driver.disableScalaOutput a configuração Spark para true . Por predefinição, o valor da bandeira é false . A bandeira controla a produção de células para trabalhos scala JAR e cadernos Scala. Se a bandeira estiver ativada, a Spark não devolve os resultados da execução do trabalho ao cliente. A bandeira não afeta os dados que estão escritos nos ficheiros de registo do cluster. A definição desta bandeira é recomendada apenas para clusters automatizados para trabalhos JAR, pois irá desativar os resultados do caderno.
  • 18 de fevereiro de 2020
    • A passagem credencial com a ADLS Gen2 tem uma degradação de desempenho devido ao manuseamento local de fios incorreto quando o cliente ADLS pré-fetching é ativado. Esta versão desativa a pré-correção da ADLS Gen2 quando a passagem de credencial é ativada até termos uma correção adequada.
  • 11 de fevereiro de 2020
    • [SPARK-24783][SQL] faísca.sql.shuffle.partitions=0 deve lançar exceção
  • 28 de janeiro de 2020
    • [SPARK-30447][SQL] Problema de anulação constante da propagação.
    • [SPARK-28152][SQL] Adicione um legado conf para o mapeamento numérico msSqlServerDialect.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • 19 de novembro de 2019
    • [SPARK-29743] [SQL] sample should set needCopyResult to true if his child needCopyResult is true
  • Nov 5, 2019
    • dbutils.tensorboard.start() suporta agora o TensorBoard 2.0 (se instalado manualmente).
    • Fixo um bug no FUSE DBFS para manusear pontos de montagem tendo // no seu caminho.
    • [SPARK-29081] Substitua as chamadas para SerializationUtils.clone em propriedades por uma implementação mais rápida
  • 23 out, 2019
  • 8 de outubro de 2019
    • Alterações laterais do servidor para permitir que o controlador Simba Apache Spark ODBC se reconecte e continue após uma falha de ligação durante a obtenção de resultados (requer a versão 2.6.10 do controlador Simba Apache Spark ODBC).
    • Corrigiu um problema que afeta a utilização do Optimize comando com agrupamentos ativados a ACL.
    • Corrigiu um problema em que pyspark.ml as bibliotecas falhariam devido ao erro proibido da Scala UDF na tabela ACL e aos clusters de passagens credenciais.
    • Métodos de SerDe/SerDeUtil permitidos para passagem credencial.
    • NullPointerException fixo ao verificar código de erro no cliente WASB.
    • Corrigiu o problema em que as credenciais dos utilizadores não eram reencaminhadas para postos de trabalho criados por dbutils.notebook.run() .

Databricks Runtime 5.4 ML (Não suportado)

Consulte databricks Runtime 5.4 for Machine Learning (Não suportado).

  • Jun 18, 2019
    • Melhor manuseamento de mlflow ativo corre na integração Hyperopt
    • Mensagens melhoradas em Hyperopt
    • Pacote atualizado markdown de 3.1 a 3.1.1

Databricks Runtime 5.4 (Não suportado)

Ver Databricks Runtime 5.4 (Não suportado).

  • 19 de novembro de 2019
    • [SPARK-29743] [SQL] sample should set needCopyResult to true if his child needCopyResult is true
  • 8 de outubro de 2019
    • As alterações laterais do servidor permitem ao controlador Simba Apache Spark ODBC reconectar-se e continuar após uma falha de ligação durante a obtenção de resultados (requer a atualização do controlador Simba Apache Spark ODBC para a versão 2.6.10).
    • NullPointerException fixo ao verificar código de erro no cliente WASB.
  • 10 set, 2019
    • Adicione o iterador de linha seguro a BytesToBytesMap
    • Corrigiu um bug que afeta certas consultas globais de agregação.
    • [SPARK-27330][SS] tarefa de apoio abortar em escritor de foreach
    • [SPARK-28642] Ocultar credenciais no SHOW CREATE TABLE
    • [SPARK-28699][SQL] Desativar usando o tipo radix para ShuffleExchangeExec em caso de repartição
    • [SPARK-28699][CORE] Fixe um caso de canto para abortar estágio indeterminado
  • 27/08/2019
    • Corrigiu um problema que afeta transform certas expressões
  • 13 de agosto de 2019
    • Fonte de streaming Delta deve verificar o mais recente protocolo de uma tabela
    • [SPARK-28489][SS]Fixe um bug que KafkaOffsetRangeCalculator.getRanges pode deixar cair compensações
  • Jul 30, 2019
    • [SPARK-28015][SQL] Check stringToDate() consome toda a entrada para os formatos yyy e yyy-[m]m
    • [SPARK-28308][CORE] CalendarInterval sub-segundo parte deve ser acolchoado antes de analisar
    • [SPARK-27485] Garantir Que os Reordrements.reorder devem lidar graciosamente com expressões duplicadas
  • Jul 2, 2019
    • Atualizado snappy-java de 1.1.7.1 para 1.1.7.3.
  • Jun 18, 2019
    • Melhor manuseamento de mlflow ativo corre na integração MLlib
    • Mensagem de databricks melhorada relacionada com a utilização da cache Delta
    • Fixo um bug que afeta usando funções de ordem superior
    • Corrigiu um bug que afeta as consultas de metadados delta

Databricks Runtime 5.3 (Não suportado)

Ver Databricks Runtime 5.3 (Não suportado).

  • Nov 7, 2019
    • [SPARK-29743][SQL] sample should set needCopyResult to true if his child needCopyResult is true
  • 8 de outubro de 2019
    • As alterações laterais do servidor permitem ao controlador Simba Apache Spark ODBC reconectar-se e continuar após uma falha de ligação durante a obtenção de resultados (requer a atualização do controlador Simba Apache Spark ODBC para a versão 2.6.10).
    • NullPointerException fixo ao verificar código de erro no cliente WASB.
  • 10 set, 2019
    • Adicione o iterador de linha seguro a BytesToBytesMap
    • Corrigiu um bug que afeta certas consultas globais de agregação.
    • [SPARK-27330][SS] tarefa de apoio abortar em escritor de foreach
    • [SPARK-28642] Ocultar credenciais no SHOW CREATE TABLE
    • [SPARK-28699][SQL] Desativar usando o tipo radix para ShuffleExchangeExec em caso de repartição
    • [SPARK-28699][CORE] Fixe um caso de canto para abortar estágio indeterminado
  • 27/08/2019
    • Corrigiu um problema que afeta transform certas expressões
  • 13 de agosto de 2019
    • Fonte de streaming Delta deve verificar o mais recente protocolo de uma tabela
    • [SPARK-28489][SS]Fixe um bug que KafkaOffsetRangeCalculator.getRanges pode deixar cair compensações
  • Jul 30, 2019
    • [SPARK-28015][SQL] Check stringToDate() consome toda a entrada para os formatos yyy e yyy-[m]m
    • [SPARK-28308][CORE] CalendarInterval sub-segundo parte deve ser acolchoado antes de analisar
    • [SPARK-27485] Garantir Que os Reordrements.reorder devem lidar graciosamente com expressões duplicadas
  • Jun 18, 2019
    • Mensagem de databricks melhorada relacionada com a utilização da cache Delta
    • Fixo um bug que afeta usando funções de ordem superior
    • Corrigiu um bug que afeta as consultas de metadados delta
  • 28 de maio de 2019
    • Melhorou a estabilidade da Delta
    • Tolerar iOExceptions ao ler o ficheiro Delta LAST_CHECKPOINT
      • Recuperação adicionada à instalação falhada da biblioteca
  • 7 de maio de 2019
    • Port HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • Port HADOOP-16040 (ABFS: Correção de bug para toleração Configuração de IobAppends) para conector Azure Data Lake Storage Gen2
    • Fixo um bug que afeta os ACLs de tabela
    • Fixou uma condição de corrida ao carregar um ficheiro de verificação de registo delta
    • Lógica fixa de deteção de conflitos delta para não identificar "inserir + sobrepor" como operação pura de "apêndice"
    • Certifique-se de que a cache Delta não é desativada quando os ACLs de mesa estiverem ativados
    • [SPARK-27494] [SS] Chaves/valores nulos não funcionam na fonte kafka v2
    • [SPARK-27446] [R] Utilize faíscas existentes se disponível.
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A fonte de dados de imagem de faísca falha quando encontra algumas imagens ilegais
    • [SPARK-27160] [SQL] Corrigir DecimalType ao construir filtros orc
    • [SPARK-27338] [CORE] Corrigir impasse entre OSorternal Inseguro e o TaskMemoryManager

Databricks Runtime 5.2 (Não suportado)

Ver Databricks Runtime 5.2 (Não suportado).

  • 10 set, 2019
    • Adicione o iterador de linha seguro a BytesToBytesMap
    • Corrigiu um bug que afeta certas consultas globais de agregação.
    • [SPARK-27330][SS] tarefa de apoio abortar em escritor de foreach
    • [SPARK-28642] Ocultar credenciais no SHOW CREATE TABLE
    • [SPARK-28699][SQL] Desativar usando o tipo radix para ShuffleExchangeExec em caso de repartição
    • [SPARK-28699][CORE] Fixe um caso de canto para abortar estágio indeterminado
  • 27/08/2019
    • Corrigiu um problema que afeta transform certas expressões
  • 13 de agosto de 2019
    • Fonte de streaming Delta deve verificar o mais recente protocolo de uma tabela
    • [SPARK-28489][SS]Fixe um bug que KafkaOffsetRangeCalculator.getRanges pode deixar cair compensações
  • Jul 30, 2019
    • [SPARK-28015][SQL] Check stringToDate() consome toda a entrada para os formatos yyy e yyy-[m]m
    • [SPARK-28308][CORE] CalendarInterval sub-segundo parte deve ser acolchoado antes de analisar
    • [SPARK-27485] Garantir Que os Reordrements.reorder devem lidar graciosamente com expressões duplicadas
  • Jul 2, 2019
    • Tolerar iOExceptions ao ler o ficheiro Delta LAST_CHECKPOINT
  • Jun 18, 2019
    • Mensagem de databricks melhorada relacionada com a utilização da cache Delta
    • Fixo um bug que afeta usando funções de ordem superior
    • Corrigiu um bug que afeta as consultas de metadados delta
  • 28 de maio de 2019
    • Recuperação adicionada à instalação falhada da biblioteca
  • 7 de maio de 2019
    • Port HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • Port HADOOP-16040 (ABFS: Correção de bug para toleração Configuração de IobAppends) para conector Azure Data Lake Storage Gen2
    • Fixou uma condição de corrida ao carregar um ficheiro de verificação de registo delta
    • Lógica fixa de deteção de conflitos delta para não identificar "inserir + sobrepor" como operação pura de "apêndice"
    • Certifique-se de que a cache Delta não é desativada quando os ACLs de mesa estiverem ativados
    • [SPARK-27494] [SS] Chaves/valores nulos não funcionam na fonte kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A fonte de dados de imagem de faísca falha quando encontra algumas imagens ilegais
    • [SPARK-27160] [SQL] Corrigir DecimalType ao construir filtros orc
    • [SPARK-27338] [CORE] Corrigir impasse entre OSorternal Inseguro e o TaskMemoryManager
  • Mar 26, 2019
    • Evite incorporar compensações dependentes da plataforma literalmente em código gerado em todo o estágio
    • [SPARK-26665][CORE] Fixe um bug que o BlockTransferService.fetchBlockSync pode pendurar para sempre.
    • [SPARK-27134][SQL] array_distinct função não funciona corretamente com colunas que contenham matriz de matriz.
    • [SPARK-24669][SQL] Invalida as tabelas no caso de DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] fixam a avaliação agregada dos resultados do codegen.
    • Corrigi um bug que afeta certos PythonUDFs.
  • 26 de fevereiro de 2019
    • [SPARK-26864]A consulta pode devolver um resultado incorreto quando o udf python é usado como condição de união esquerda-semi.
    • [SPARK-26887][PYTHON] Criar data.data diretamente em vez de criar datatime64 como dados intermédios.
    • Corrigiu um erro que afeta o servidor JDBC/ODBC.
    • Consertei um inseto que afeta o PySpark.
    • Exclua os ficheiros ocultos ao construir o HadoopRDD.
    • Consertou um inseto na Delta que causou problemas de serialização.
  • 12 de fevereiro de 2019
    • Corrigiu um problema que afeta a utilização da Delta com pontos de montagem ADLS Gen2 Azure.
    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019
    • Fixar o StackOverflowError ao colocar uma sugestão de união de skew na relação em cache.
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
    • [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios.
    • As fontes de dados CSV/JSON devem evitar caminhos de respingo ao inferir esquemas.
    • Inferência de restrição fixa no operador da janela.
    • Corrigiu um problema que afeta a instalação de bibliotecas de ovos com aglomerados com a tabela ACL ativada.

Databricks Runtime 5.1 (Não suportado)

Ver Databricks Runtime 5.1 (Não suportado).

  • 13 de agosto de 2019
    • Fonte de streaming Delta deve verificar o mais recente protocolo de uma tabela
    • [SPARK-28489][SS]Fixe um bug que KafkaOffsetRangeCalculator.getRanges pode deixar cair compensações
  • Jul 30, 2019
    • [SPARK-28015][SQL] Check stringToDate() consome toda a entrada para os formatos yyy e yyy-[m]m
    • [SPARK-28308][CORE] CalendarInterval sub-segundo parte deve ser acolchoado antes de analisar
    • [SPARK-27485] Garantir Que os Reordrements.reorder devem lidar graciosamente com expressões duplicadas
  • Jul 2, 2019
    • Tolerar iOExceptions ao ler o ficheiro Delta LAST_CHECKPOINT
  • Jun 18, 2019
    • Fixo um bug que afeta usando funções de ordem superior
    • Corrigiu um bug que afeta as consultas de metadados delta
  • 28 de maio de 2019
    • Recuperação adicionada à instalação falhada da biblioteca
  • 7 de maio de 2019
    • Port HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • Port HADOOP-16040 (ABFS: Correção de bug para toleração Configuração de IobAppends) para conector Azure Data Lake Storage Gen2
    • Fixou uma condição de corrida ao carregar um ficheiro de verificação de registo delta
    • Lógica fixa de deteção de conflitos delta para não identificar "inserir + sobrepor" como operação pura de "apêndice"
    • [SPARK-27494] [SS] Chaves/valores nulos não funcionam na fonte kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A fonte de dados de imagem de faísca falha quando encontra algumas imagens ilegais
    • [SPARK-27160] [SQL] Corrigir DecimalType ao construir filtros orc
    • [SPARK-27338] [CORE] Corrigir impasse entre OSorternal Inseguro e o TaskMemoryManager
  • Mar 26, 2019
    • Evite incorporar compensações dependentes da plataforma literalmente em código gerado em todo o estágio
    • Corrigi um bug que afeta certos PythonUDFs.
  • 26 de fevereiro de 2019
    • [SPARK-26864]A consulta pode devolver um resultado incorreto quando o udf python é usado como condição de união esquerda-semi.
    • Corrigiu um erro que afeta o servidor JDBC/ODBC.
    • Exclua os ficheiros ocultos ao construir o HadoopRDD.
  • 12 de fevereiro de 2019
    • Corrigiu um problema que afeta a instalação de bibliotecas de ovos com aglomerados com a tabela ACL ativada.
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
    • [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios.
    • Inferência de restrição fixa no operador da janela.
    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019
    • Corrigiu um problema que pode fazer com que df.rdd.count() a UDT devolva resposta incorreta para determinados casos.
    • Corrigi um problema que afeta a instalação de casas de leme.
    • [SPARK-26267] Reagem ao detetar compensações incorretas de Kafka.
    • Corrigiu um bug que afeta várias fontes de fluxo de ficheiros numa consulta de streaming.
    • Fixar o StackOverflowError ao colocar uma sugestão de união de skew na relação em cache.
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
  • Jan 8, 2019
    • Problema fixo que causa o org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted erro.
    • [SPARK-26352]juntar-se ao reordenamento não deve alterar a ordem dos atributos de saída.
    • [SPARK-26366] Substituir OExceptWithFilter deve considerar o NULO como falso.
    • Melhoria de estabilidade para o Lago Delta.
    • O Lago Delta está ativado.
    • Corrigiu o problema que causou o acesso falhado do Azure Data Lake Storage Gen2 quando a Azure AD Credential Passthrough está ativada para a Azure Data Lake Storage Gen1.
    • Databricks IO Cache está agora ativado para tipos de instância de trabalhador da série Ls para todos os níveis de preços.

Databricks Runtime 5.0 (Não suportado)

Ver Databricks Runtime 5.0 (Não suportado).

  • Jun 18, 2019
    • Fixo um bug que afeta usando funções de ordem superior
  • 7 de maio de 2019
    • Fixou uma condição de corrida ao carregar um ficheiro de verificação de registo delta
    • Lógica fixa de deteção de conflitos delta para não identificar "inserir + sobrepor" como operação pura de "apêndice"
    • [SPARK-27494] [SS] Chaves/valores nulos não funcionam na fonte kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A fonte de dados de imagem de faísca falha quando encontra algumas imagens ilegais
    • [SPARK-27160] [SQL] Corrigir DecimalType ao construir filtros orc
      • [SPARK-27338] [CORE] Corrigir impasse entre OSorternal Inseguro e o TaskMemoryManager
  • Mar 26, 2019
    • Evite incorporar compensações dependentes da plataforma literalmente em código gerado em todo o estágio
    • Corrigi um bug que afeta certos PythonUDFs.
  • Mar 12, 2019
    • [SPARK-26864]A consulta pode devolver um resultado incorreto quando o udf python é usado como condição de união esquerda-semi.
  • 26 de fevereiro de 2019
    • Corrigiu um erro que afeta o servidor JDBC/ODBC.
    • Exclua os ficheiros ocultos ao construir o HadoopRDD.
  • 12 de fevereiro de 2019
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
    • [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios.
    • Inferência de restrição fixa no operador da janela.
    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019
    • Corrigiu um problema que pode fazer com que df.rdd.count() a UDT devolva resposta incorreta para determinados casos.
    • [SPARK-26267] Reagem ao detetar compensações incorretas de Kafka.
    • Corrigiu um bug que afeta várias fontes de fluxo de ficheiros numa consulta de streaming.
    • Fixar o StackOverflowError ao colocar uma sugestão de união de skew na relação em cache.
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
  • Jan 8, 2019
    • Problema fixo que causou o erro org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [SPARK-26352]juntar-se ao reordenamento não deve alterar a ordem dos atributos de saída.
    • [SPARK-26366] Substituir OExceptWithFilter deve considerar o NULO como falso.
    • Melhoria de estabilidade para o Lago Delta.
    • O Lago Delta está ativado.
    • Databricks IO Cache está agora ativado para tipos de instância de trabalhador da série Ls para todos os níveis de preços.
  • Dez 18, 2018
    • [SPARK-26293] Cast exceção ao ter Python UDF em subquery
    • Corrigiu um problema que afeta certas consultas utilizando o Join and Limit.
    • Credenciais redigidas de nomes RDD em Spark UI
  • Dez 6, 2018
    • Corrigiu um problema que causou um resultado de consulta incorreto ao utilizar a ordemD seguida imediatamente pelo grupoBy com a chave de grupo como a parte principal da chave de classificação.
    • Conector snowflake atualizado para faísca de 2.4.9.2-spark_2.4_pre_release para 2.4.10.
    • Ignore apenas ficheiros corruptos após uma ou mais retrótonos quando spark.sql.files.ignoreCorruptFiles ou a bandeira estiver spark.sql.files.ignoreMissingFiles ativada.
    • Corrigiu um problema que afeta certas consultas de auto-união.
    • Corrigiu um bug com o servidor de segunda parte onde as sessões são por vezes vazadas quando canceladas.
    • [SPARK-26307] CTAS fixos quando inserir uma mesa partida utilizando o Hive SerDe.
    • [SPARK-26147] Os UDFs python em condição de junção falham mesmo quando usam colunas de apenas um lado de união
    • [SPARK-26211] Fixe inSet para binário, estructe e matriz com nulo.
    • [SPARK-26181]o hasMinMaxStats método de não é ColumnStatsMap correto.
    • Corrigiu um problema que afeta a instalação de Python Wheels em ambientes sem acesso à Internet.
  • Nov 20, 2018
    • Corrigiu um problema que causou um caderno não utilizável depois de cancelar uma consulta de streaming.
    • Corrigiu um problema que afeta certas consultas utilizando funções de janela.
    • Corrigiu um problema que afetava um fluxo da Delta com múltiplas alterações de esquema.
    • Corrigiu um problema que afeta certas consultas de agregação com juntas De Esquerda Semi/Anti.

Databricks Runtime 4.3 (Não suportado)

Ver Databricks Runtime 4.3 (Não suportado).

  • Abr 9, 2019

    • [SPARK-26665][CORE] Fixe um bug que pode fazer com que o BlockTransferService.fetchBlockSync fique pendurado para sempre.
    • [SPARK-24669][SQL] Invalida as tabelas no caso de DROP DATABASE CASCADE.
  • Mar 12, 2019

    • Corrigi um bug que afeta a geração de códigos.
    • Consertou um inseto que afeta a Delta.
  • 26 de fevereiro de 2019

    • Corrigiu um erro que afeta o servidor JDBC/ODBC.
  • 12 de fevereiro de 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios.
    • Excluindo os ficheiros ocultos ao construir o HadoopRDD.
    • Conversão de filtro de parquet fixo para predicado IN quando o seu valor estiver vazio.
    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019

    • Corrigiu um problema que pode fazer com que df.rdd.count() a UDT devolva resposta incorreta para determinados casos.
    • Corrigiu a inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico, o que provoca um resultado incorreto.
  • Jan 8, 2019

    • Corrigiu o problema que causa o org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted erro.
    • Credenciais redigidas de nomes RDD em Spark UI
    • [SPARK-26352]juntar-se ao reordenamento não deve alterar a ordem dos atributos de saída.
    • [SPARK-26366] Substituir OExceptWithFilter deve considerar o NULO como falso.
    • O Lago Delta está ativado.
    • Databricks IO Cache está agora ativado para tipos de instância de trabalhador da série Ls para todos os níveis de preços.
  • Dez 18, 2018

    • [SPARK-25002] Avro: reveja o espaço de nome de registo de saída.
    • Corrigiu um problema que afeta certas consultas utilizando o Join and Limit.
    • [SPARK-26307] CTAS fixos quando inserir uma mesa partida utilizando o Hive SerDe.
    • Ignore apenas ficheiros corruptos após uma ou mais retrótonos quando spark.sql.files.ignoreCorruptFiles ou a bandeira estiver spark.sql.files.ignoreMissingFiles ativada.
    • [SPARK-26181]o hasMinMaxStats método de não é ColumnStatsMap correto.
    • Corrigiu um problema que afeta a instalação de Python Wheels em ambientes sem acesso à Internet.
    • Corrigi um problema de desempenho no analisador de consultas.
    • Corrigiu um problema no PySpark que causou a falha das ações do DataFrame com erro de "ligação recusada".
    • Corrigiu um problema que afeta certas consultas de auto-união.
  • Nov 20, 2018

    • [SPARK-17916][SPARK-25241]Fix a corda vazia sendo analisada como nula quando o nulaValue é definido.
    • [SPARK-25387] Correção para NPE causada por má entrada de CSV.
    • Corrigiu um problema que afeta certas consultas de agregação com juntas De Esquerda Semi/Anti.
  • Nov 6, 2018

    • [SPARK-25741] Os URLs longos não são renderizados corretamente na UI web.
    • [SPARK-25714] Fixar O Manuseamento Nulo na regra Optimizer BooleanSimplification.
    • Corrigiu um problema que afeta a limpeza de objetos temporários no conector Synapse Analytics.
    • [SPARK-25816] Corrija a resolução do atributo em extratores aninhados.
  • 16 de outubro de 2018

    • Corrigiu um bug que afetava a saída de correr SHOW CREATE TABLE nas tabelas Delta.
    • Corrigiu uma operação de afetação de Union insetos.
  • 25 set, 2018

    • [SPARK-25368][SQL] Inferência incorreta devolve resultado errado.
    • [SPARK-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Fixo NotSerializableException na fonte de dados da Avro.
  • 11 set, 2018

    • [SPARK-25214][SS] Corrija a questão de que a fonte kafka v2 pode devolver registos duplicados quando failOnDataLoss=false .
    • [SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • A redução do filtro deve manusear corretamente o valor nulo.
    • Melhor estabilidade do motor de execução.
  • 28 de agosto de 2018

    • Corrigiu um erro no comando Delta Lake Delete que eliminaria incorretamente as linhas onde a condição avalia a nulidade.
    • [SPARK-25142] Adicione mensagens de erro quando o trabalhador python não conseguir abrir a tomada em _load_from_socket .
  • 23 de agosto de 2018

    • [SPARK-23935]mapEntry org.codehaus.commons.compiler.CompileException lança.
    • Emissão de mapa anulado fixado no leitor de Parquet.
    • [SPARK-25051][SQL] FixNullability não deve parar no AnalysisBarrier.
    • [SPARK-25081] Corrigiu um bug onde o ShuffleExternalSorter pode aceder a uma página de memória libertada quando o derrame não alocar a memória.
    • Corrigiu uma interação entre databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [SPARK-25084]"distribuir por" em várias colunas (embrulhar em parênteses) pode levar à emissão de código.
    • [SPARK-25096] Afrouxe a nulidade se o gesso for anulado à força.
    • Reduziu o número padrão de fios usados pelo comando Delta Lake Otimize, reduzindo a sobrecarga da memória e comprometendo os dados mais rapidamente.
    • [SPARK-25114] Fixar RecordBinaryComparator quando a subtração entre duas palavras for divisível por Inteiro.MAX_VALUE.
    • Redação de gerente secreto fixo quando o comando parcialmente bem sucedido.

Databricks Runtime 4.2 (Não suportado)

Ver Databricks Runtime 4.2 (Não suportado).

  • 26 de fevereiro de 2019

    • Corrigiu um erro que afeta o servidor JDBC/ODBC.
  • 12 de fevereiro de 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios.
    • Excluindo os ficheiros ocultos ao construir o HadoopRDD.
    • Conversão de filtro de parquet fixo para predicado IN quando o seu valor estiver vazio.
    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019

    • Corrigiu um problema que pode fazer com que df.rdd.count() a UDT devolva resposta incorreta para determinados casos.
  • Jan 8, 2019

    • Problema fixo que causa o org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted erro.
    • Credenciais redigidas de nomes RDD em Spark UI
    • [SPARK-26352]juntar-se ao reordenamento não deve alterar a ordem dos atributos de saída.
    • [SPARK-26366] Substituir OExceptWithFilter deve considerar o NULO como falso.
    • O Lago Delta está ativado.
    • Databricks IO Cache está agora ativado para tipos de instância de trabalhador da série Ls para todos os níveis de preços.
  • Dez 18, 2018

    • [SPARK-25002] Avro: reveja o espaço de nome de registo de saída.
    • Corrigiu um problema que afeta certas consultas utilizando o Join and Limit.
    • [SPARK-26307] CTAS fixos quando inserir uma mesa partida utilizando o Hive SerDe.
    • Ignore apenas ficheiros corruptos após uma ou mais retrótonos quando spark.sql.files.ignoreCorruptFiles ou a bandeira estiver spark.sql.files.ignoreMissingFiles ativada.
    • [SPARK-26181]o hasMinMaxStats método de não é ColumnStatsMap correto.
    • Corrigiu um problema que afeta a instalação de Python Wheels em ambientes sem acesso à Internet.
    • Corrigi um problema de desempenho no analisador de consultas.
    • Corrigiu um problema no PySpark que causou a falha das ações do DataFrame com erro de "ligação recusada".
    • Corrigiu um problema que afeta certas consultas de auto-união.
  • Nov 20, 2018

    • [SPARK-17916][SPARK-25241]Fix a corda vazia sendo analisada como nula quando o nulaValue é definido.
    • Corrigiu um problema que afeta certas consultas de agregação com juntas De Esquerda Semi/Anti.
  • Nov 6, 2018

    • [SPARK-25741] Os URLs longos não são renderizados corretamente na UI web.
    • [SPARK-25714] Fixar O Manuseamento Nulo na regra Optimizer BooleanSimplification.
  • 16 de outubro de 2018

    • Corrigiu um bug que afetava a saída de correr SHOW CREATE TABLE nas tabelas Delta.
    • Corrigiu uma operação de afetação de Union insetos.
  • 25 set, 2018

    • [SPARK-25368][SQL] Inferência incorreta devolve resultado errado.
    • [SPARK-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Fixo NotSerializableException na fonte de dados da Avro.
  • 11 set, 2018

    • [SPARK-25214][SS] Corrija a questão de que a fonte kafka v2 pode devolver registos duplicados quando failOnDataLoss=false .
    • [SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • A redução do filtro deve manusear corretamente o valor nulo.
  • 28 de agosto de 2018

    • Corrigiu um erro no comando Delta Lake Delete que eliminaria incorretamente as linhas onde a condição avalia a nulidade.
  • 23 de agosto de 2018

    • Fixo NoClassDefError para Delta Snapshot
    • [SPARK-23935]mapEntry org.codehaus.commons.compiler.CompileException lança.
    • [SPARK-24957]Média com decimal seguido de agregação devolve resultado errado. Os resultados incorretos do AVERAGE podem ser devolvidos. O CAST adicionado no operador médio será ignorado se o resultado do Divide for o mesmo tipo a que é lançado.
    • [SPARK-25081] Corrigiu um bug onde o ShuffleExternalSorter pode aceder a uma página de memória libertada quando o derrame não alocar a memória.
    • Corrigiu uma interação entre databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [SPARK-25114] Fixar RecordBinaryComparator quando a subtração entre duas palavras for divisível por Inteiro.MAX_VALUE.
    • [SPARK-25084]"distribuir por" em várias colunas (embrulhar em parênteses) pode levar à emissão de código.
    • [SPARK-24934][SQL] Explicitamente permite tipos suportados em limites superiores/inferiores para poda de partição na memória. Quando tipos de dados complexos são utilizados em filtros de consulta contra dados em cache, a Spark devolve sempre um conjunto de resultados vazio. A poda baseada em estatísticas na memória gera resultados incorretos, porque o nulo é definido para limites superiores/inferiores para tipos complexos. A correção é não utilizar a poda baseada em estatísticas na memória para tipos complexos.
    • Redação de gerente secreto fixo quando o comando parcialmente bem sucedido.
    • Emissão de mapa anulado fixado no leitor de Parquet.
  • 2 de agosto de 2018

    • Adicionado writeStream.table API em Python.
    • Corrigiu um problema que afeta o controlo da Delta.
    • [SPARK-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter. A cache SQL não está a ser utilizada quando se utiliza dataFrameWriter para escrever um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analisador são idempotentes.
    • Corrigiu um problema que poderia causar mergeInto resultados incorretos.
    • Melhor estabilidade no acesso ao Azure Data Lake Storage Gen1.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar em erro de dados.
    • [SPARK-24878][SQL] Fixe a função inversa para o tipo de matriz do tipo primitivo que contém nulo.
  • 11 de julho de 2018

    • Corrigiu um erro na execução de consultas que causaria agregações em colunas decimais com diferentes precisões para devolver resultados incorretos em alguns casos.
    • Corrigiu um NullPointerException bug que foi lançado durante operações avançadas de agregação como conjuntos de agrupamento.

Databricks Runtime 4.1 ML (Não suportado)

Ver Databricks Runtime 4.1 ML (Não suportado).

  • 31 de julho de 2018
    • Adicionado Azure Synapse Analytics ao ML Runtime 4.1
    • Fixar um erro que pode causar resultados de consulta incorretos quando o nome de uma coluna de partição utilizada num predicado difere do caso dessa coluna no esquema da tabela.
    • Corrigiu um bug que afeta o motor de execução spark SQL.
    • Corrigi um bug que afeta a geração de códigos.
    • Fixou um inseto java.lang.NoClassDefFoundError que afeta o Lago Delta.
    • Melhor manuseamento de erros em Delta Lake.
    • Corrigiu um erro que fez com que as estatísticas de salto de dados incorretos fossem recolhidas para colunas de cordas 32 caracteres ou superiores.

Databricks Runtime 4.1 (Não suportado)

Ver Databricks Runtime 4.1 (Não suportado).

  • Jan 8, 2019

    • [SPARK-26366] Substituir OExceptWithFilter deve considerar o NULO como falso.
    • O Lago Delta está ativado.
  • Dez 18, 2018

    • [SPARK-25002] Avro: reveja o espaço de nome de registo de saída.
    • Corrigiu um problema que afeta certas consultas utilizando o Join and Limit.
    • [SPARK-26307] CTAS fixos quando inserir uma mesa partida utilizando o Hive SerDe.
    • Ignore apenas ficheiros corruptos após uma ou mais retrótonos quando spark.sql.files.ignoreCorruptFiles ou a bandeira estiver spark.sql.files.ignoreMissingFiles ativada.
    • Corrigiu um problema que afeta a instalação de Python Wheels em ambientes sem acesso à Internet.
    • Corrigiu um problema no PySpark que causou a falha das ações do DataFrame com erro de "ligação recusada".
    • Corrigiu um problema que afeta certas consultas de auto-união.
  • Nov 20, 2018

    • [SPARK-17916][SPARK-25241]Fix a corda vazia sendo analisada como nula quando o nulaValue é definido.
    • Corrigiu um problema que afeta certas consultas de agregação com juntas De Esquerda Semi/Anti.
  • Nov 6, 2018

    • [SPARK-25741] Os URLs longos não são renderizados corretamente na UI web.
    • [SPARK-25714] Fixar O Manuseamento Nulo na regra Optimizer BooleanSimplification.
  • 16 de outubro de 2018

    • Corrigiu um bug que afetava a saída de correr SHOW CREATE TABLE nas tabelas Delta.
    • Corrigiu uma operação de afetação de Union insetos.
  • 25 set, 2018

    • [SPARK-25368][SQL] Inferência incorreta devolve resultado errado.
    • [SPARK-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Fixo NotSerializableException na fonte de dados da Avro.
  • 11 set, 2018

    • [SPARK-25214][SS] Corrija a questão de que a fonte kafka v2 pode devolver registos duplicados quando failOnDataLoss=false .
    • [SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • A redução do filtro deve manusear corretamente o valor nulo.
  • 28 de agosto de 2018

    • Corrigiu um erro no comando Delta Lake Delete que eliminaria incorretamente as linhas onde a condição avalia a nulidade.
    • [SPARK-25084]"distribuir por" em várias colunas (embrulhar em parênteses) pode levar à emissão de código.
    • [SPARK-25114] Fixar RecordBinaryComparator quando a subtração entre duas palavras for divisível por Inteiro.MAX_VALUE.
  • 23 de agosto de 2018

    • Fixo NoClassDefError para Delta Snapshot.
    • [SPARK-24957]Média com decimal seguido de agregação devolve resultado errado. Os resultados incorretos do AVERAGE podem ser devolvidos. O CAST adicionado no operador médio será ignorado se o resultado do Divide for o mesmo tipo a que é lançado.
    • Emissão de mapa anulado fixado no leitor de Parquet.
    • [SPARK-24934][SQL] Explicitamente permite tipos suportados em limites superiores/inferiores para poda de partição na memória. Quando tipos de dados complexos são utilizados em filtros de consulta contra dados em cache, a Spark devolve sempre um conjunto de resultados vazio. A poda baseada em estatísticas na memória gera resultados incorretos, porque o nulo é definido para limites superiores/inferiores para tipos complexos. A correção é não utilizar a poda baseada em estatísticas na memória para tipos complexos.
    • [SPARK-25081] Corrigiu um bug onde o ShuffleExternalSorter pode aceder a uma página de memória libertada quando o derrame não alocar a memória.
    • Corrigiu uma interação entre databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • Redação de gerente secreto fixo quando o comando parcialmente bem sucedido
  • 2 de agosto de 2018

    • [SPARK-24613][SQL] Cache com UDF não pôde ser combinado com caches dependentes subsequentes. Envolve o plano lógico com um AnalysisBarrier para a compilação do plano de execução em CacheManager, de modo a evitar que o plano seja analisado novamente. Esta é também uma regressão da Faísca 2.3.
    • Fixo um problema de conector Synapse Analytics que afeta a conversão do timezone para a escrita de dados DateType.
    • Corrigiu um problema que afeta o controlo da Delta.
    • Corrigiu um problema que poderia causar mergeInto resultados incorretos.
    • [SPARK-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter. A cache SQL não está a ser utilizada quando se utiliza dataFrameWriter para escrever um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analisador são idempotentes.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar em erro de dados.
  • 11 de julho de 2018

    • Corrigiu um erro na execução de consultas que causaria agregações em colunas decimais com diferentes precisões para devolver resultados incorretos em alguns casos.
    • Corrigiu um NullPointerException bug que foi lançado durante operações avançadas de agregação como conjuntos de agrupamento.
  • 28 de junho de 2018

    • Fixar um erro que pode causar resultados de consulta incorretos quando o nome de uma coluna de partição utilizada num predicado difere do caso dessa coluna no esquema da tabela.
  • 7 de junho de 2018

    • Corrigiu um bug que afeta o motor de execução spark SQL.
    • Corrigi um bug que afeta a geração de códigos.
    • Fixou um inseto java.lang.NoClassDefFoundError que afeta o Lago Delta.
    • Melhor manuseamento de erros em Delta Lake.
  • 17 de maio de 2018

    • Corrigiu um erro que fez com que as estatísticas de salto de dados incorretos fossem recolhidas para colunas de cordas 32 caracteres ou superiores.

Databricks Runtime 4.0 (Não suportado)

Ver Databricks Runtime 4.0 (Não suportado).

  • Nov 6, 2018

    • [SPARK-25714] Fixar O Manuseamento Nulo na regra Optimizer BooleanSimplification.
  • 16 de outubro de 2018

    • Corrigiu uma operação de afetação de Union insetos.
  • 25 set, 2018

    • [SPARK-25368][SQL] Inferência incorreta devolve resultado errado.
    • [SPARK-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Fixo NotSerializableException na fonte de dados da Avro.
  • 11 set, 2018

    • A redução do filtro deve manusear corretamente o valor nulo.
  • 28 de agosto de 2018

    • Corrigiu um erro no comando Delta Lake Delete que eliminaria incorretamente as linhas onde a condição avalia a nulidade.
  • 23 de agosto de 2018

    • Emissão de mapa anulado fixado no leitor de Parquet.
    • Redação de gerente secreto fixo quando o comando parcialmente bem sucedido
    • Corrigiu uma interação entre databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [SPARK-25081] Corrigiu um bug onde o ShuffleExternalSorter pode aceder a uma página de memória libertada quando o derrame não alocar a memória.
    • [SPARK-25114] Fixar RecordBinaryComparator quando a subtração entre duas palavras for divisível por Inteiro.MAX_VALUE.
  • 2 de agosto de 2018

    • [SPARK-24452] Evite um possível transbordo em int add ou múltiplo.
    • [SPARK-24588] A união de streaming deve requerer a HashClusteredPartitioning de crianças.
    • Corrigiu um problema que poderia causar mergeInto resultados incorretos.
    • [SPARK-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter. A cache SQL não está a ser utilizada quando se utiliza dataFrameWriter para escrever um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analisador são idempotentes.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar em erro de dados.
  • 28 de junho de 2018

    • Fixar um erro que pode causar resultados de consulta incorretos quando o nome de uma coluna de partição utilizada num predicado difere do caso dessa coluna no esquema da tabela.
  • 7 de junho de 2018

    • Corrigiu um bug que afeta o motor de execução spark SQL.
    • Melhor manuseamento de erros em Delta Lake.
  • 17 de maio de 2018

    • Correções de bugs para gestão secreta de Databricks.
    • Melhor estabilidade nos dados de leitura armazenados na Azure Data Lake Store.
    • Corrigi um bug que afeta o caching RDD.
    • Fixo um bug que afeta o nulo igual em Spark SQL.
  • Abr 24, 2018

    • Atualizado Azure Data Lake Store SDK de 2.0.11 para 2.2.8 para melhorar a estabilidade do acesso à Azure Data Lake Store.
    • Corrigiu um inseto que afeta a inserção de substituições nas mesas de colmeia divididas quando spark.databricks.io.hive.fastwriter.enabled estiver false .
    • Corrigiu um problema que falhou na serialização da tarefa.
    • Melhor estabilidade do Lago Delta.
  • Mar 14, 2018

    • Evite atualizações desnecessárias de metadados ao escrever em Delta Lake.
    • Corrigiu um problema causado por uma condição de raça que poderia, em raras circunstâncias, levar à perda de alguns ficheiros de saída.

Databricks Runtime 3.5 LTS (Não suportado)

Ver Databricks Runtime 3.5 LTS (Não suportado).

  • Nov 7, 2019

    • [SPARK-29743][SQL] sample should set needCopyResult to true if his child needCopyResult is true
  • 8 de outubro de 2019

    • As alterações laterais do servidor permitem ao controlador Simba Apache Spark ODBC reconectar-se e continuar após uma falha de ligação durante a obtenção de resultados (requer a atualização do controlador Simba Apache Spark ODBC para a versão 2.6.10).
  • 10 set, 2019

    • [SPARK-28699][SQL] Desativar usando o tipo radix para ShuffleExchangeExec em caso de repartição
  • Abr 9, 2019

    • [SPARK-26665][CORE] Fixe um bug que pode fazer com que o BlockTransferService.fetchBlockSync fique pendurado para sempre.
  • 12 de fevereiro de 2019

    • Corrigiu um problema de que o protocolo de rede de baixo nível Spark pode ser quebrado ao enviar grandes mensagens de erro RPC com encriptação ativada (quando spark.network.crypto.enabled estiver definido para ser verdadeiro).
  • Jan 30, 2019

    • Corrigiu um problema que pode fazer com que df.rdd.count() a UDT devolva resposta incorreta para determinados casos.
  • Dez 18, 2018

    • Ignore apenas ficheiros corruptos após uma ou mais retrótonos quando spark.sql.files.ignoreCorruptFiles ou a bandeira estiver spark.sql.files.ignoreMissingFiles ativada.
    • Corrigiu um problema que afeta certas consultas de auto-união.
  • Nov 20, 2018

    • [SPARK-25816] Resolução fixa do atributo em extratores aninhados.
  • Nov 6, 2018

    • [SPARK-25714] Fixar O Manuseamento Nulo na regra Optimizer BooleanSimplification.
  • 16 de outubro de 2018

    • Corrigiu uma operação de afetação de Union insetos.
  • 25 set, 2018

    • [SPARK-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Fixo NotSerializableException na fonte de dados da Avro.
  • 11 set, 2018

    • A redução do filtro deve manusear corretamente o valor nulo.
  • 28 de agosto de 2018

    • Corrigiu um erro no comando Delta Lake Delete que eliminaria incorretamente as linhas onde a condição avalia a nulidade.
    • [SPARK-25114] Fixar RecordBinaryComparator quando a subtração entre duas palavras for divisível por Inteiro.MAX_VALUE.
  • 23 de agosto de 2018

    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar em erro de dados.
    • Emissão de mapa anulado fixado no leitor de Parquet.
    • [SPARK-25081] Corrigiu um bug onde o ShuffleExternalSorter pode aceder a uma página de memória libertada quando o derrame não alocar a memória.
    • Corrigiu uma interação entre databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
  • 28 de junho de 2018

    • Fixar um erro que pode causar resultados de consulta incorretos quando o nome de uma coluna de partição utilizada num predicado difere do caso dessa coluna no esquema da tabela.
  • 28 de junho de 2018

    • Fixar um erro que pode causar resultados de consulta incorretos quando o nome de uma coluna de partição utilizada num predicado difere do caso dessa coluna no esquema da tabela.
  • 7 de junho de 2018

    • Corrigiu um bug que afeta o motor de execução spark SQL.
    • Melhor manuseamento de erros em Delta Lake.
  • 17 de maio de 2018

    • Melhor estabilidade nos dados de leitura armazenados na Azure Data Lake Store.
    • Corrigi um bug que afeta o caching RDD.
    • Fixo um bug que afeta o nulo igual em Spark SQL.
    • Corrigiu um bug que afeta certas agregações em consultas de streaming.
  • Abr 24, 2018

    • Atualizado Azure Data Lake Store SDK de 2.0.11 para 2.2.8 para melhorar a estabilidade do acesso à Azure Data Lake Store.
    • Corrigiu um inseto que afeta a inserção de substituições nas mesas de colmeia divididas quando spark.databricks.io.hive.fastwriter.enabled estiver false .
    • Corrigiu um problema que falhou na serialização da tarefa.
  • Mar 09, 2018

    • Corrigiu um problema causado por uma condição de raça que poderia, em raras circunstâncias, levar à perda de alguns ficheiros de saída.
  • Mar 01, 2018

    • Melhorou a eficiência dos fluxos de manuseamento que podem demorar muito tempo a parar.
    • Corrigi um problema que afeta o python autocomplete.
    • Remendos de segurança Ubuntu aplicados.
    • Corrigiu um problema que afeta certas consultas utilizando UDFs python e funções de janela.
    • Corrigiu um problema que afeta a utilização de UDFs num cluster com controlo de acesso à mesa ativado.
  • Jan 29, 2018

    • Corrigiu um problema que afeta a manipulação das tabelas armazenadas no armazenamento da Azure Blob.
    • Agregação fixa após dropDálicas no DataFrame vazio.

Databricks Runtime 3.4 (Não suportado)

Ver Databricks Runtime 3.4 (Não suportado).

  • 7 de junho de 2018

    • Corrigiu um bug que afeta o motor de execução spark SQL.
    • Melhor manuseamento de erros em Delta Lake.
  • 17 de maio de 2018

    • Melhor estabilidade nos dados de leitura armazenados na Azure Data Lake Store.
    • Corrigi um bug que afeta o caching RDD.
    • Fixo um bug que afeta o nulo igual em Spark SQL.
  • Abr 24, 2018

    • Corrigiu um inseto que afeta a inserção de substituições nas mesas de colmeia divididas quando spark.databricks.io.hive.fastwriter.enabled estiver false .
  • Mar 09, 2018

    • Corrigiu um problema causado por uma condição de raça que poderia, em raras circunstâncias, levar à perda de alguns ficheiros de saída.
  • Dez 13, 2017

    • Corrigi um problema que afeta os UDFs em Scala.
    • Corrigiu um problema que afeta a utilização do Índice de Salto de Dados nas tabelas de fontes de dados armazenadas em caminhos não-DBFS.
  • Dez 07, 2017

    • Melhor estabilidade de baralhar.