Julho de 2021
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em junho de 2021.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Gerenciar permissões de teste do MLflow com a API REST do Databricks
29 de julho – 2 de agosto de 2021: versão 3.51
Agora, você pode usar a API de Permissões das APIs REST do Databricks para gerenciar quais usuários podem ler, editar ou gerenciar experimentos do MLflow. Confira API de Permissões.
A interface da Web do Azure Databricks foi traduzida para português e francês (versão prévia pública)
29 de julho de 2021
Agora, você pode usar o Azure Databricks em francês e em português, e pretendemos disponibilizar mais idiomas nos próximos trimestres. Vá para Configurações no menu superior direito na interface do usuário da Web e clique na guia Preferências para alterar o seu idioma.
Fim do suporte ao Databricks Runtime 5.5 LTS para Machine Learning, substituído pela versão de Suporte estendido
27 de julho de 2021
O suporte ao Databricks Runtime 5.5 para ML LTS terminou em 27 de julho de 2021, mas o novo Suporte estendido do Databricks Runtime 5.5 para ML (sem suporte) terá suporte até o final de 2021. O suporte estendido do Databricks Runtime 5.5 ML usa Ubuntu 18.04.5 LTS em vez da distribuição Ubuntu 16.04.6 LTS descontinuada, usada no Databricks Runtime 5.5 ML LTS original. O suporte ao Ubuntu 16.04.6 LTS foi encerrado em 1º de abril de 2021. Para saber mais sobre as diferenças entre o Suporte Estendido do Databricks Runtime 5.5 e o Databricks Runtime 5.5 LTS, confira Suporte Estendido do Databricks Runtime 5.5 para ML (sem suporte).
O suporte do Databricks Light 2.4 termina em 5 de setembro, substituído pela versão de Suporte Estendido
27 de julho de 2021
O suporte para o Databricks Light 2.4 original termina em 5 de setembro. de 2021, mas o novo Suporte estendido do Databricks Light 2.4 (sem suporte) terá suporte até 27 de julho de 2022. O Suporte estendido do Databricks Light 2.4 usa o Ubuntu 18.04.5 LTS em vez da distribuição obsoleta do Ubuntu 16.04.6 LTS usada no Databricks Light 2.4 original. O suporte ao Ubuntu 16.04.6 LTS foi encerrado em 1º de abril de 2021. O Databricks recomenda que você migre suas cargas de trabalho do Light para a versão de suporte estendido assim que possível.
Nova região do Azure: Centro-Oeste da Alemanha
27 de julho de 2021
O Azure Databricks está disponível na região Centro-Oeste da Alemanha.
Informações de atualização de recurso disponíveis na interface do usuário do repositório de recursos do Databricks (versão prévia pública)
26 de julho a 2 de agosto de 2021: Versão 3.51
Agora, a interface do usuário do Repositório de Recursos do Databricks mostra a última vez em que os dados foram gravados em uma tabela de recursos. Também mostra se uma tabela de recursos é atualizada por um trabalho agendado e, se for o caso, o agendamento e o status do trabalho.
Exibir até 10 mil linhas de resultado
26 de julho a 2 de agosto de 2021: Versão 3.51
Anteriormente, um máximo de 1.000 linhas era exibido em um notebook. Agora, se uma tabela retornar mais de 1.000 linhas, você poderá optar por executar a consulta e exibir até 10 mil linhas. Exige o Databricks Runtime 8.4 ou posterior. Para saber mais, confira Mostrar resultados.
Importar e exportar notebooks em massa em uma pasta como arquivos de origem
26 de julho a 2 de agosto de 2021: Versão 3.51
Agora você pode exportar a origem para todos os notebooks em uma pasta de workspace como um arquivo ZIP. Você pode importar o arquivo ZIP para outro workspace ou outra pasta no mesmo workspace para recriar todos os notebooks exportados lá. O arquivo de origem de um notebook está no idioma padrão do notebook. Por exemplo, a origem de um notebook Python é um arquivo Python.
Os arquivos de origem do notebook não incluem resultados de comando do notebook e são apropriados para uso em um pipeline de CI/CD. Antes, era possível exportar a origem apenas para um notebook por vez, de dentro do editor do notebook, ou era possível exportar todos os notebooks em uma pasta como arquivos HTML ou como um arquivo do Databricks (com a extensão .dbc), que incluiria os resultados do comando do notebook, a menos que o notebook fosse limpo antes da exportação.
Para saber mais sobre como importar e exportar notebooks, confira Gerenciar notebooks.
O preenchimento automático em notebooks do SQL agora usa as palavras-chave do SQL em maiúsculas
26 de julho a 2 de agosto de 2021: Versão 3.51
Agora, quando você usa TAB para preenchimento automático de uma palavra-chave SQL em um notebook, o resultado preenchido automaticamente fica em maiúsculas. Por exemplo, SELECT é mostrado, em vez de select. Isso não terá efeito na consulta, uma vez que palavras-chave SQL não diferenciam maiúsculas e minúsculas.
Widgets reordenáveis e redimensionáveis em notebooks
26 de julho a 2 de agosto de 2021: Versão 3.51
Agora, é possível alterar a ordem e o tamanho dos widgets do Databricks em um notebook clicando no 
na barra de widgets do notebook. Confira Definir configurações de widget.
Correções de usabilidade da interface do usuário do Azure Databricks
26 de julho a 2 de agosto de 2021: Versão 3.51
Esta versão resolve um problema que impedia o uso da chave ESC para fechar alguns diálogos na interface do usuário do Azure Databricks, incluindo:
- A caixa de diálogo Exibir JSON na interface do usuário dos trabalhos.
- A caixa de diálogo Editar Agendamento na interface do usuário dos trabalhos.
- A caixa de diálogo Configurações de Logout Único na interface do usuário do administrador.
- A caixa de diálogo Criar Notebook.
Definir rapidamente as configurações de pipeline ao criar um pipeline do Delta Live Tables
26 de julho a 2 de agosto de 2021: Versão 3.51
Agora, ao criar um pipeline, você pode definir as configurações diretamente na caixa de diálogo Criar Pipeline na interface do usuário do Delta Live Tables.
O Databricks Runtime 8.4 e 8.4 ML estão em GA. O Photon 8.4 está em versão prévia pública
20 de julho de 2021
O Databricks Runtime 8.4 e 8.4 ML já está em disponibilidade geral. O Photon 8.4 está em versão prévia pública.
Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 8.4 (sem suporte) e Databricks Runtime 8.4 para ML (sem suporte).
Usar o Spark SQL com a API do Python do Delta Live Tables
12 a 19 de julho de 2021: Versão 3.50
Agora você pode usar as seguintes funções com a API do Python do Delta Live Tables:
- A função
spark.tablepara executar leituras em lote em conjuntos de dados definidos em um pipeline. - A função
spark.sqlpara usar uma consulta SQL a fim de definir um conjunto de dados. Consultas SQL podem usar recursos específicos do Delta Live Tables, incluindo referências a conjuntos de dados internos usando a palavra-chaveLIVEe leituras incrementais usando a palavra-chaveSTREAM.
Para saber mais, confira a referência da linguagem Python.
Processamento e análise de dados aprimorados com trabalhos do Azure Databricks (versão prévia pública)
12 a 19 de julho de 2021: Versão 3.50
O Databricks tem o prazer de anunciar uma atualização dos trabalhos do Azure Databricks que lhe permite orquestrar e executar um trabalho com várias tarefas. Você pode usar isso para definir um DAG (grafo direcionado acíclico) de dependências de tarefas, facilitando a criação e o monitoramento de dados confiáveis e fluxos de trabalho de aprendizado de máquina. Esse recurso está em versão prévia pública e está desabilitado por padrão.
Importante
Depois de habilitá-lo, você não poderá desabilitá-lo.
Confira Criar e executar trabalhos do Azure Databricks para obter detalhes.
Redução do custo de clusters padrão do Delta Live Tables (versão prévia pública)
12 a 19 de julho de 2021: Versão 3.50
Para controlar os custos, as seguintes alterações foram feitas em clusters padrão do Delta Live Tables:
- Altere o tipo de instância padrão para
Standard_F8s. - Habilite o dimensionamento automático por padrão com o mínimo de funções de trabalho igual a 1 e o máximo de funções de trabalho igual a 5.
Classificar pipelines por nome na interface do usuário do Delta Live Tables (versão prévia pública)
12 a 19 de julho de 2021: Versão 3.50
Agora você pode clicar no cabeçalho da coluna Nome na interface do usuário do Delta Live Tables para classificar pipelines por nome em ordem crescente (A -> Z) ou ordem decrescente (Z -> A).
Alterações na página de computação
12 a 19 de julho de 2021: Versão 3.50
Os links de Bibliotecas, Execução do Trabalho, interface do usuário do Spark e Logs da página de computação foram removidos. Para ver informações sobre bibliotecas ou exibir a interface do usuário e os logs do Spark, use as guias correspondentes na página de detalhes do cluster. Para ver informações sobre a execução de um trabalho, clique em Ir para a Execução do Trabalho na página.
Fim do suporte ao Databricks Runtime 5.5 LTS, substituição pelo suporte estendido do Databricks Runtime 5.5 até o fim de 2021
9 de julho de 2021
O suporte para Databricks Runtime 5.5 LTS e Databricks Runtime 5.5 LTS para Machine Learning termina em 10 de julho. Confira Ciclos de vida de suporte do Databricks Runtime.
O Suporte Estendido do Databricks Runtime 5.5 terá suporte até o final de 2021. O Suporte Estendido do Databricks Runtime 5.5 usa o Ubuntu 18.04.5 LTS em vez da distribuição preterida do Ubuntu 16.04.6 LTS usada no Databricks Runtime 5.5 original. O suporte ao Ubuntu 16.04.6 LTS foi encerrado em 1º de abril de 2021. Para saber mais sobre as diferenças entre o Suporte Estendido do Databricks Runtime 5.5 e o Databricks Runtime 5.5 LTS, confira Suporte Estendido do Databricks Runtime 5.5 (sem suporte).
API do Repos (versão prévia pública)
6 de julho de 2021
Agora, você pode atualizar um repositório do Azure Databricks de forma programática para a versão mais recente de um GIT branch específico ou para uma marca usando a nova API de Repos. Para obter detalhes, confira API do Repos.
Databricks Runtime 8.4 (Beta)
1º de julho de 2021
O Databricks Runtime 8.4 e o Databricks Runtime 8.4 ML já estão disponíveis como versões beta.
Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 8.4 (sem suporte) e Databricks Runtime 8.4 para ML (sem suporte).