Junho de 2021

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em junho de 2021.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Correção: o Repos para Git é habilitado por padrão nos workspaces novos e existentes de algumas regiões

30 de junho de 2021

Em uma nota sobre a versão de 2 de junho de 2021, o Databricks anunciou que o Repos para Git está habilitado por padrão em novos workspaces em algumas regiões, mas omitiu os seguintes detalhes importantes: o Repos para Git também estará habilitado em workspaces existentes se o Controle de Versão do Git para Notebook já estiver habilitado. A nota sobre a versão original foi atualizada.

Alterar para permissões de repositório de recursos

28 de junho – 6 de julho de 2021: versão 3.49

Os usuários com a permissão CAN_VIEW_METADATA em uma tabela de recursos já podem publicá-la em repositórios online.

Acesso aprimorado aos resultados na tabela de execuções do MLflow

28 de junho – 6 de julho de 2021: versão 3.49

As alterações na tabela de execuções do MLflow fornecem acesso mais rápido aos resultados.

• As colunas Métricas já são exibidas antes das colunas Parâmetros, facilitando a identificação da melhor execução.
• A coluna Hora de Início já mostra a idade da execução, não a hora de início. Isso reduz a largura da coluna e permite que mais informações fiquem visíveis sem a rolagem horizontal. Para ver a hora de início, posicione o cursor sobre o valor da coluna.

Melhor visibilidade de custo para o Delta Live Tables

28 de junho – 6 de julho de 2021: versão 3.49

Ao criar um pipeline ou ver a interface do usuário de Detalhes do Pipeline, você já verá a DBU por hora para o cluster padrão das Tabelas Dinâmicas Delta.

Restrições de qualidade de dados aprimoradas para o Delta Live Tables

28 de junho – 6 de julho de 2021: versão 3.49

Você já pode usar as APIs expect_all_or_fail, expect_all_or_drop e expect_all do Python para definir várias restrições de qualidade de dados nos conjuntos de dados das Tabelas Dinâmicas Delta. Essas APIs são úteis quando uma biblioteca de expectativas comuns é aplicada a um ou mais conjuntos de dados em um pipeline. Para obter mais informações, confira Gerenciar a qualidade dos dados com o Delta Live Tables.

Alterações de API para atualizar e substituir listas de endereços IP

28 de junho – 6 de julho de 2021: versão 3.49

Uma nova operação PATCH para /ip-access-lists/<list-id> na API REST do Databricks 2.0 permite que você atualize por meio de programação os valores individuais em uma lista de endereços IP existente. Para obter mais informações, confira Atualizar uma lista de acesso de IP.

A operação PUT existente para /ip-access-lists/<list-id> na API REST do Databricks 2.0 permite que você substitua por meio de programação o conteúdo de uma lista de endereços IP existente, mantendo a ID interna original da lista. Para obter mais informações, confira Substituir uma lista de acesso de IP.

Driver ODBC do Databricks 2.6.17

22 de junho de 2021

Lançamos a versão 2.6.17 do driver ODBC do Databricks (download). Essa versão adiciona suporte à Busca na Nuvem, um mecanismo de busca de dados em paralelo por meio do armazenamento em nuvem para levar os dados mais rapidamente para as ferramentas de BI. Ela também reduz a latência removendo idas e voltas desnecessárias entre o cliente e o Databricks Runtime. Confira Como atingimos a conectividade de alta largura de banda com as ferramentas de BI.

Término do suporte do Databricks Runtime série 7.5

16 de junho de 2021

O suporte para o Databricks Runtime 7.5, o Databricks Runtime 7.5 para Machine Learning e o Databricks Runtime 7.5 para Genomics terminou em 16 de junho. Confira Ciclos de vida de suporte do Databricks Runtime.

Otimize o desempenho e controle os custos usando diferentes pools para o nó do driver e os nós de trabalho

14 a 21 de junho de 2021: versão 3.48

Você já pode otimizar o cluster anexando-o a um pool diferente para o nó do driver e os nós de trabalho. Por exemplo, use um pool otimizado para computação para o nó do driver e um pool otimizado para armazenamento para os nós. Isso também ajuda a controlar os custos atribuindo marcas diferentes a cada pool de instâncias. Se você quiser, poderá usar o mesmo pool para drivers e nós de trabalho.

Para obter mais informações, confira Referência de configuração de pools.

Permissões de todo o registro para o Registro de Modelos

14 a 21 de junho de 2021: versão 3.48

Você já pode definir permissões de modelo padrão para todos os modelos no Registro de Modelo de um workspace. As permissões definidas nesse nível se aplicam a todos os modelos novos e existentes registrados no Registro de Modelo nesse workspace. Para obter mais informações, veja ACLs do modelo MLFlow.

O diretório base de um usuário não está mais protegido quando você exclui um usuário usando a API do SCIM

14 a 21 de junho de 2021: versão 3.48

Quando você exclui um usuário que usa a API do SCIM, o diretório base do usuário deixa de ser protegido, e um administrador do workspace pode excluí-lo. Esse comportamento corresponde ao que acontece quando você exclui um usuário usando o console de administração.

O Databricks Runtime 8.3 e 8.3 ML estão em GA. O Photon 8.3 está em versão prévia pública

8 de junho de 2021

O Databricks Runtime 8.3 e 8.3 ML já estão em disponibilidade geral. O Photon 8.3 está em versão prévia pública.

Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 8.3 (sem suporte) e Databricks Runtime 8.3 para ML (sem suporte).

Controle de acesso à tabela do Python e do SQL (GA)

8 de junho de 2021

O controle de acesso à tabela permite conceder e revogar por meio de programação o acesso aos seus dados usando o controle de acesso baseado em exibição do Azure Databricks. O controle de acesso à tabela está disponível em duas versões: somente SQL e Python e SQL. Anteriormente, só o controle de acesso à tabela somente SQL estava disponível. Agora, o controle de acesso à tabela do Python e do SQL está em disponibilidade geral. Confira Habilitar o controle de acesso à tabela do metastore do Hive em um cluster (herdado).

A interface do usuário e a API de trabalhos agora mostram o proprietário de uma execução de trabalho

2 a 7 de junho de 2021: versão 3.47

A interface do usuário e a API de trabalhos já incluem o usuário que um trabalho executará como, facilitando a compreensão, a depuração e a auditoria das permissões de trabalho. Esse é um valor somente leitura definido para o criador do trabalho se o controle de acesso ao trabalho está desabilitado ou a permissão is_owner do trabalho se o controle de acesso ao trabalho está habilitado. Para obter mais informações sobre como gerenciar permissões de trabalho, veja Controlar o acesso a um trabalho.

Proteger as propriedades de configuração confidenciais e as variáveis de ambiente do Spark usando segredos (Visualização Pública)

7 de junho de 2021

Você pode proteger as propriedades de configuração confidenciais e as variáveis de ambiente do Spark usando segredos. Os segredos recuperados são editados da saída do notebook e dos logs do driver e do executor do Spark. Confira Segredos.

Se, atualmente, você usa senhas de texto não criptografado em uma configuração do Spark, o Databricks recomenda que você gire suas senhas e use caminhos secretos na configuração do Spark.

O Repos para Git está habilitado por padrão nos workspaces novos e existentes de algumas regiões

2 de junho de 2021

Esta nota sobre a versão foi atualizada em 30 de junho de 2021.

Para novos workspaces e para workspaces existentes com o Controle de Versão do Git para Notebook habilitado, o Repos para Git já está habilitado por padrão em algumas regiões. A habilitação padrão do Repos será distribuída para mais regiões nos próximos meses. Para saber como ativar ou desativar Repos você mesmo e para verificar as configurações do seu espaço de trabalho, veja Integração do Git com pastas Git do Databricks.

Interface do usuário para configurações de workspace reprojetada

2 a 7 de junho de 2021: versão 3.47

A nova guia Configurações do Workspace no Console de Administração substitui as guias Armazenamento do Workspace, Listas de Controle de Acesso e Avançado para uma configuração simplificada do workspace.

Atualizações para tokens expirados de consultas de banco de dados e

2 a 7 de junho de 2021: versão 3.47

As consultas ListTokens ou ListAllTokens de banco de dados não retornam mais tokens expirados. São retornados tokens indefinidos (aqueles com expiryTime definido como -1).

Confirmação necessária ao conceder ou revogar permissões de administração

2 a 7 de junho de 2021: versão 3.47

Uma caixa de diálogo de confirmação agora é exibida quando um usuário administrador concede ou revoga privilégios de Administrador na interface do usuário da Web.

Alterações nos atalhos de teclado na interface do usuário da Web

2 a 7 de junho de 2021: versão 3.47

Em um notebook, a maneira de abrir a lista de atalhos de teclado foi alterada. Para abrir a lista, clique no ícone .