Agosto de 2021
Esses recursos e melhorias da plataforma Azure Databricks foram lançados em agosto de 2021.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
GA do Databricks Repos
31 de agosto de 2021
O Databricks Repos agora está disponível ao público em geral. Com o Repos você pode criar novos repositórios Git ou clonar repositórios existentes no Azure Databricks, trabalhar com notebooks nesses repositórios, seguir as melhores práticas de desenvolvimento e colaboração baseadas em Git e integrar seus fluxos de trabalho de CI/CD com as APIs de Repos. O Databricks Repos integra-se ao GitHub, Bitbucket, GitLab e Azure DevOps. Para obter detalhes, consulte Integração do Git com pastas Git do Databricks e API do Repos.
Maior tempo limite para trabalhos de notebook de execução prolongada
De 23 a 30 de agosto de 2021: versão 3.53
Agora você pode executar trabalhos de fluxo de trabalho de notebook que levam até 30 dias para serem concluídos. Anteriormente, apenas os trabalhos de fluxo de trabalho de notebook que levavam até 48 horas para serem concluídos eram suportados. Consulte Executar um notebook do Databricks em outro notebook para saber mais informações.
Melhorias de escalabilidade e estabilidade do serviço de trabalhos
De 23 a 30 de agosto de 2021: versão 3.53
As seguintes alterações aumentam a estabilidade e a escalabilidade do serviço de trabalhos:
- Cada novo trabalho e execução é atribuído a um identificador mais longo, exclusivo, numérico e não sequencial. Os clientes que usam a API de trabalhos e dependem de um comprimento de identificador fixo ou de identificadores de aumento sequencial ou monotônico devem ser modificados para aceitar identificadores que sejam mais longos, não sequenciais e não ordenados. O tipo de identificador de
int64permanece inalterado e a compatibilidade é preservada para clientes que usam números de ponto flutuante de IEEE 754 de 64 bits, por exemplo, clientes JavaScript. - O valor do campo
number_in_job, incluído na resposta a algumas solicitações da API de trabalhos, agora está definido como o mesmo valor derun_id.
Observação
Esse recurso foi adiado para fevereiro de 2022.
Os direitos de usuário concedidos pela associação de grupo são exibidos no console do administrador
De 23 a 30 de agosto de 2021: versão 3.53
Os direitos de usuário concedidos pela associação de grupo agora são exibidos para cada usuário na guia usuários no console de administração.
Gerenciar permissões de experimento do MLflow (versão prévia pública)
De 23 a 30 de agosto de 2021: versão 3.53
Agora você pode gerenciar as permissões de um experimento do MLflow na página experimento. Para obter mais detalhes, consulte Alterar permissões para o experimento.
Criação aprimorada de trabalho de notebooks
De 23 a 30 de agosto de 2021: versão 3.53
Agora você pode editar e clonar trabalhos associados a um notebook. Para obter detalhes, consulte Criar e gerenciar trabalhos de notebook agendados.
VMs da série Ddsv4 (versão prévia pública)
De 23 a 30 de agosto de 2021: versão 3.53
O Azure Databricks agora dá suporte às VMs da série Ddsv4. Para obter mais informações sobre essas VMs, consulte Séries Ddv4 e Ddsv4.
Suporte aprimorado para recolher títulos de notebook
De 23 a 30 de agosto de 2021: versão 3.53
Agora você pode recolher ou expandir todos os cabeçalhos recolhíveis em um notebook. Anteriormente, você só podia recolher ou expandir um único título por vez. Para obter detalhes, consulte Cabeçalhos recolhíveis.
O Databricks Runtime 9.0 e 9.0 ML estão em GA. O Photon 9.0 está em versão prévia pública
17 de agosto de 2021
O Databricks Runtime 9.0 e 9.0 ML agora estão disponíveis para o público geral. O 9.0 Photon está em Visualização Pública.
Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 9.0 (sem suporte) e Databricks Runtime 9.0 para ML (sem suporte).
Databricks Runtime 9.0 (Beta)
10 de agosto de 2021
O Databricks Runtime 9.0 e Databricks Runtime 9.0 ML agora estão disponíveis como versões Beta.
Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 9.0 (sem suporte) e Databricks Runtime 9.0 para ML (sem suporte).
Gerenciar repositórios programaticamente com a CLI do Databricks (Versão Prévia Pública)
De 9 a 16 de agosto de 2021: versão 3.52
Agora você pode gerenciar os repositórios Git remotos usando a CLI (interface de linha de comando) do Databricks. Confira CLI do Repos (herdada).
Gerenciar repositórios programaticamente com a API REST do Databricks (Versão Prévia Pública)
De 9 a 16 de agosto de 2021: versão 3.52
Agora você pode gerenciar os repositórios Git remotos usando a API REST do Databricks. Consulte API de Repos.
Término do suporte do Databricks Runtime série 7.6
8 de agosto de 2021
O suporte para Databricks Runtime 7.6, Databricks Runtime 7.6 para Machine Learning e Databricks Runtime 7.6 para Genomics terminou em 8 de agosto. Confira Ciclos de vida de suporte do Databricks Runtime.
Os eventos de auditoria são registrados quando você interage com o Databricks Repos
De 9 a 13 de agosto de 2021: versão 3.52
Quando o log de auditoria está habilitado, um evento de auditoria agora é registrado quando você cria, atualiza ou exclui um repositório do Databricks, quando você lista todos os repositórios do Databricks associados a um workspace e quando você sincroniza as alterações entre um repositório do Databricks e um repositório remoto. Para obter mais informações, consulte eventos de pasta do Git.
Fluxo de trabalho de gerenciamento e criação de trabalhos aprimorado
De 9 a 13 de agosto de 2021: versão 3.52
Agora você pode exibir e gerenciar trabalhos associados a um notebook. Especificamente, você pode iniciar uma execução de trabalho, exibir a execução atual ou mais recente, pausar ou retomar a agenda do trabalho e excluir o trabalho.
A interface do usuário de criação do trabalho do notebook foi revisada e novas opções de configuração foram adicionadas. Para obter detalhes, consulte Criar e gerenciar trabalhos de notebook agendados.
Tempos de execução do Photon agora disponíveis (Versão Prévia Pública)
De 9 a 13 de agosto de 2021: versão 3.52
O Photon é o novo mecanismo vetorizado nativo no Azure Databricks, compatível diretamente com as APIs do Apache Spark. Para provisionar clusters com o Photon, você deve usar uma imagem do Photon.
Instruções simplificadas para definir credenciais do Git (Versão Prévia Pública)
De 9 a 13 de agosto de 2021: versão 3.52
As instruções na guia integração do Git da página Configurações do Usuário foram simplificadas.
Importar vários notebooks no formato
De 9 a 13 de agosto de 2021: versão 3.52
Agora você pode importar vários blocos de anotações no formato .html de um arquivo .zip. Anteriormente, você podia importar apenas um único notebook no formato .html de cada vez.
O arquivo .zip pode conter pastas e nots em formato .html ou no formato de arquivo de origem (Python, Scala, SQL ou R). Um arquivo .zip não pode incluir ambos os formatos.
Aprimoramentos de usabilidade para tabelas Delta em tempo real
De 9 a 13 de agosto de 2021: versão 3.52
Esta versão inclui os seguintes aprimoramentos para o tempo de execução e a interface do usuário do Delta Live Tables:
- Ao criar um pipeline, agora você pode especificar um banco de dados de destino para publicar suas tabelas e metadados do Delta Live Tables. Consulte Publicar dados dos pipelines do Delta Live Tables no metastore do Hive para obter mais informações sobre a publicação de conjuntos de dados.
- Os notebooks agora dão suporte ao realce de sintaxe para palavras-chave em definições de conjunto de dados SQL. Você pode usar esse realce de sintaxe para garantir a exatidão de suas instruções SQL no Delta Live Tables. Consulte a referência de linguagem SQL para obter detalhes sobre a sintaxe de SQL do Delta Live Tables.
- O tempo de execução do Delta Live Tables agora emite seu grafo de pipeline antes de executar o pipeline, permitindo que você veja mais cedo o grafo na interface do usuário.
- Todas as bibliotecas do Python configuradas em seus notebooks agora são instaladas antes de executar qualquer código Python, garantindo que as bibliotecas estejam globalmente acessíveis a qualquer notebook Python em seu pipeline. Confira [_]](../../../delta-live-tables/external-dependencies.md).