Julho de 2023
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em julho de 2023.
Observação
As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Os administradores do espaço de trabalho agora podem criar grupos de contas
31 de julho de 2023
Os administradores do workspace agora podem criar grupos de contas a partir de seus workspaces federados de identidade. Anteriormente, os administradores do espaço de trabalho podiam criar apenas grupos locais de espaço de trabalho. Os grupos de contas podem ter acesso aos dados em um metastore do Catálogo Unity e acesso a espaços de trabalho federados por identidade. O Databricks recomenda que você use grupos de contas em vez de grupos locais de espaço de trabalho para aproveitar o Catálogo Unity e um local central para administrar a identidade.
Consulte Gerenciar grupos de contas usando a página de configurações de administrador do espaço de trabalho.
A função de gerente de grupo está na Visualização Pública
31 de julho de 2023
Agora você pode conceder permissões a usuários, entidades de serviço e grupos do Databricks para gerenciar grupos. Os gerentes de grupo podem gerenciar a associação ao grupo. Eles também podem atribuir a outros usuários a função de gerente de grupo. Os administradores da conta têm a função de gerente de grupo em todos os grupos da conta. Os administradores do espaço de trabalho têm a função de gerente de grupo nos grupos de contas que eles criam.
Consulte Quem pode gerenciar os grupos de contas?.
CLI do Databricks atualizada para a versão 0.202.0 (Versão Prévia Pública)
27 de julho de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.202.0. Para obter detalhes, consulte o log de alterações da versão 0.202.0.
Databricks SDK para Python atualizado para a versão 0.3.0 (Beta)
27 de julho de 2023
Databricks SDK para Python versão 0.3.0 introduz suporte para o serviço de diretiva de rede de conta; manipula parâmetros de consulta aninhados; adiciona, remove e cria vários métodos, campos, classes de dados e serviços; e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.3.0.
Databricks SDK for Go atualizado para a versão 0.14.1 (Beta)
27 de julho de 2023
O SDK do Databricks para Go versão 0.14.1 manipula parâmetros de consulta aninhados adequadamente, corrigindo a filtragem nas listagens do QueryHistory. Para obter detalhes, consulte o log de alterações da versão 0.14.1.
Databricks SDK para Go atualizado para a versão 0.14.0 (Beta)
26 de julho de 2023
O SDK do Databricks para Go versão 0.14.0 adiciona suporte ao serviço Diretiva de Rede de Conta e adiciona, remove e altera vários métodos, campos e tipos. Para obter detalhes, consulte o log de alterações da versão 0.14.0.
Executar outro trabalho como uma tarefa em um trabalho do Azure Databricks
25 de julho de 2023
Você pode usar a nova tarefa Run Job para adicionar outro trabalho como uma tarefa em seu trabalho do Azure Databricks, permitindo que você decomponha um grande fluxo de trabalho de processamento em vários trabalhos de componente ou crie componentes reutilizáveis para usar em vários trabalhos. Para obter informações sobre como usar a tarefa na interface do usuário de Trabalhos, consulte Criar e executar trabalhos do Azure Databricks. Para obter informações sobre como usar a tarefa com a API REST de trabalhos, consulte Trabalhos na referência da API REST 2.1 ou na referência da API Trabalhos 2.0.
A atualização de rede do espaço de trabalho obtém suporte à interface do usuário (GA)
24 de julho de 2023
Anteriormente, você podia usar um modelo ARM com linha de comando ou o portal do Azure para habilitar conectividade de cluster segura ou habilitar o Link Privado do Azure.
Agora você também pode usar a interface do usuário do portal do Azure (sem modelo) para atualizações de rede diretamente em sua instância de espaço de trabalho do Azure Databricks. Ambos os tipos de atualizações de rede estão agora disponíveis para o público em geral.
Todos os usuários podem acessar produtos de dados no Databricks Marketplace por padrão
24 de julho de 2023
A partir de 24 de julho e implementando gradualmente em todos os espaços de trabalho qualificados, todos os usuários poderão instalar conjuntos de dados gratuitos ou comprados anteriormente usando o Databricks Marketplace. Isso é possível concedendo o privilégio USE MARKETPLACE ASSETS a todos os usuários em todos os metastores do Catálogo Unity. Esse novo privilégio não tem impacto de custo, já que todas as transações do Marketplace ocorrem fora do Databricks. Se você quiser desabilitar o acesso, consulte Desabilitar acesso ao Marketplace.
Modo de atalhos de teclado clássico
21 de julho de 2023
Uma nova configuração permite que você use recursos do novo editor (como preenchimento automático enquanto digita, realce de sintaxe, formatação de código e muito mais), mantendo os mesmos atalhos de teclado familiares do editor anterior. Para acessar essa configuração, abra a configuração do editor e alterne Modo de atalhos do editor de bloco de anotações para Clássico (espelho de código).
A Federação Lakehouse permite executar consultas em provedores de banco de dados externos (Visualização Pública)
21 de julho de 2023
A Lakehouse Federation é a plataforma de federação de consultas do Azure Databricks, aproveitando o Catálogo do Unity para permitir que usuários e sistemas executem consultas em várias fontes de dados externas sem a necessidade de migrar todos os dados para um sistema unificado.
A Lakehouse Federation destina-se a casos de uso como:
- Relatórios ad hoc.
- Trabalho de prova de conceito.
- A fase exploratória de novos pipelines ou relatórios de ETL.
- Suporte para cargas de trabalho durante a migração incremental.
Em cada um desses cenários, a federação de consulta faz com que você obtenha insights de forma mais rápida, pois você pode consultar os dados no local e evitar processamento complexo e demorado de ETL. Além disso, você obtém as vantagens das interfaces do Catálogo do Unity e da governança de dados, incluindo controle de acesso refinado, linhagem de dados e pesquisa.
Consulte O que é a Federação do Lakehouse.
Mover para a lixeira habilitada para Repositórios
19 de julho de 2023
A exclusão de repositórios agora funciona da mesma forma que excluir outros ativos de espaço de trabalho. Na lista Repos, clique com o botão direito do mouse no nome do repositório e selecione Mover para a lixeira. Após 30 dias, a pasta Lixeira é excluída automaticamente permanentemente.
Confira Excluir um objeto.
Criar alertas para trabalhos lentos ou bloqueados
18 de julho de 2023
Agora você pode configurar uma duração esperada para um trabalho ou tarefa de trabalho do Azure Databricks e adicionar notificações se um trabalho ou tarefa exceder a duração esperada. Esse recurso permite que você receba alertas para trabalhos de execução lenta sem que a execução seja cancelada. Para configurar uma duração esperada na interface do usuário de fluxos de trabalho do Azure Databricks, consulte Configurar um tempo de conclusão esperado ou um tempo limite para um trabalho. Para configurar a duração esperada com a API do Jobs 2.1, consulte Trabalho na referência da API REST.
Databricks SDK for Go atualizado para a versão 0.13.0 (Beta)
18 de julho de 2023
O SDK do Databricks para Go versão 0.13.0 adiciona suporte à autenticação MSI do Azure para operações no nível da conta, adiciona, altera e remove vários métodos e campos e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.13.0.
Databricks SDK para Python atualizado para a versão 0.2.0 (Beta)
18 de julho de 2023
O SDK do Databricks para Python versão 0.2.0 adiciona uma implementação local de dbutils.widgets, adiciona, altera e remove vários métodos, campos e classes de dados e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.2.0.
CLI do Databricks atualizada para a versão 0.201.0 (visualização pública)
18 de julho de 2023
A interface de linha de comando do Databricks (Databricks CLI) versão 0.201.0 melhora a experiência auth login, oferece suporte à conclusão de guias para fazer referência a perfis de configuração de autenticação do Azure Databricks, faz adições, alterações e remoções de vários grupos de comandos e comandos e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.201.0.
Databricks SDK para Python atualizado para a versão 0.2.1 (Beta)
18 de julho de 2023
Databricks SDK para Python versão 0.2.1 suporta versões mais antigas do urllib. Para obter detalhes, consulte o log de alterações da versão 0.2.1.
O Databricks Assistant está em visualização pública
18 de julho de 2023
O Databricks Assistant funciona como um programador de pares baseado em IA para torná-lo mais eficiente ao criar blocos de anotações, consultas e arquivos. Ele pode ajudar você a responder rapidamente a perguntas gerando, otimizando, completando, explicando e corrigindo código e consultas. Consulte as Perguntas frequentes do assistente do Databricks para obter mais informações e instruções sobre como habilitar o assistente.
Desativar usuários e entidades de serviço da sua conta
13 de julho de 2023
Agora você pode desativar usuários e entidades de serviço de sua conta do Azure Databricks. Um usuário desativado não pode fazer logon na conta do Azure Databricks ou nos espaços de trabalho federados de identidade. No entanto, todas as permissões do usuário e os objetos do workspace permanecem inalterados. Para obter mais informações, consulte Desativar um usuário em sua conta do Azure Databricks e Desativar uma entidade de serviço em sua conta do Azure Databricks.
O provisionamento SCIM em nível de conta agora desativa os usuários quando eles são desativados no provedor de identidade
13 de julho de 2023
O provisionamento SCIM em nível de conta agora desativa os usuários quando eles são desativados em seu provedor de identidade. Anteriormente, quando um usuário era desativado em um provedor de identidade, o provisionamento SCIM no nível da conta o excluía da conta do Azure Databricks. Para obter mais informações, consulte Sincronizar usuários e grupos do Microsoft Entra ID e Desativar um usuário em sua conta do Azure Databricks.
Acesso de administrador do diretório da Lixeira
13 de julho de 2023
Os administradores do espaço de trabalho agora podem acessar os diretórios da Lixeira de outros usuários.
A prevenção da detecção do tipo MIME e a renderização da página de ataque XSS agora estão sempre ativadas
12 de julho de 2023
O Azure Databricks reduz o risco de detecção de tipo MIME e renderização de página de ataque XSS adicionando cabeçalhos HTTP apropriados. Esses recursos eram habilitados por padrão e anteriormente podiam ser desabilitados. Para melhorar a segurança, o Azure Databricks agora sempre habilita ambos os recursos e não há mais configurações de administrador de espaço de trabalho para desabilitá-los. Para espaços de trabalho que anteriormente desabilitavam um ou ambos os recursos, ambos os recursos agora estão habilitados.
Os volumes do Catálogo do Unity estão em Visualização Pública
12 de julho de 2023
Agora você pode usar volumes no Catálogo do Unity para gerenciar o acesso a locais de armazenamento de objetos na nuvem no Databricks Runtime 13.2 e superior. Os volumes fornecem recursos para acessar, armazenar, controlar e organizar arquivos. Confira Criar e trabalhar com volumes.
Experiência simplificada para enviar comentários sobre produtos do espaço de trabalho
11 de julho de 2023
Agora é mais fácil enviar comentários sobre produtos do seu espaço de trabalho. Você pode enviar comentários e anexar capturas de tela com menos etapas e sem sair da interface do usuário do espaço de trabalho. Para obter mais informações, consulte Enviar comentários sobre produtos.
Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.0
10 de julho de 2023
A extensão Databricks para Visual Studio Code versão 1.1.0 habilita a integração do Databricks Connect por padrão, adiciona recursos experimentais para blocos de anotações Jupyter e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.1.0.
Funções agora exibidas no Explorador do Catálogo (Visualização Pública)
10 de julho de 2023
As funções definidas pelo usuário do SQL e do Python agora estão visíveis no Catalog Explorer. Você pode exibir detalhes da função e gerenciar permissões usando essa nova interface do usuário.
Provedor do Terraform do Databricks atualizado para a versão 1.21.0
7 de julho de 2023
O provedor Terraform do Databricks versão 1.21.0 adiciona suporte para assinaturas em painéis e tarefas SQL de alerta no databricks_job, define utilitários de dados genéricos do Azure Databricks para definir fontes de dados no nível de conta e espaço de trabalho e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.21.0.
O deslocamento máximo para as solicitações de API List all jobs e List job runs agora é limitado
6 de julho de 2023
O deslocamento máximo que você pode especificar nas solicitações List all jobs e List job runs na API de Trabalhos agora é limitado. Para evitar esse limite ao usar essas solicitações, use a paginação baseada em token que não tem esse limite. Consulte GET /api/2.1/jobs/list e GET /api/2.1/jobs/runs/list na referência da API REST.
Databricks Runtime 13.2 é GA
6 de julho de 2023
O Databricks Runtime 13.2 e o Databricks Runtime 13.2 ML agora estão disponíveis para o público em geral.
Consulte Databricks Runtime 13.2 (sem suporte) e Databricks Runtime 13.2 para Machine Learning (sem suporte).
O Delta Sharing e o Databricks Marketplace suportam o compartilhamento de exibição (Visualização Pública)
6 de julho de 2023
Agora você pode compartilhar visualizações no Delta Sharing e no Databricks Marketplace. Consulte Adicionar modos de exibição a um compartilhamento.
Scripts de inicialização no DBFS chegam ao fim da vida útil em 1º de setembro de 2023
5 de julho de 2023
Em 1º de setembro de 2023, o suporte para scripts de inicialização no DBFS chegará ao fim da vida útil e o recurso não funcionará mais. Armazene scripts de inicialização em arquivos de espaço de trabalho para garantir que eles continuem funcionando após 1º de setembro de 2023.