Fevereiro de 2024
Essas funcionalidades e melhorias na plataforma Azure Databricks foram lançadas em fevereiro de 2024.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
Usar Tabelas Dinâmicas Delta em engenharia de recursos (versão prévia pública)
29 de fevereiro de 2024
Agora você pode usar qualquer Tabela Dinâmica Delta no Catálogo do Unity com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelo. O Catálogo do Unity fornece descoberta de recursos, governança, linhagem e acesso entre espaços de trabalho. Para obter mais informações, confira Criar uma tabela de recursos no Catálogo do Unity.
Endereços IPv4 de origem para conexões PrivateLink em logs de auditoria
29 de fevereiro de 2024
O endereço IPv4 de origem para conexões PrivateLink de front-end agora é capturado nos logs de auditoria source_ip_address. Confira a Referência de log de diagnóstico e Configurar a conectividade privada com o Azure Databricks.
Restringir a alteração de um proprietário de trabalho e a configuração Executar como
29 de fevereiro de 2024
Os administradores do workspace podem alterar um proprietário de trabalho para qualquer usuário ou entidade de serviço em seu workspace por padrão e o trabalho é executado como configuração para qualquer usuário em seu workspace ou entidades de serviço em que eles têm a função de Usuário da entidade de serviço.
Os administradores de conta agora podem restringir os administradores do workspace a alterar apenas um proprietário de trabalho para si mesmos e o trabalho executado como configuração para entidades de serviço nas quais eles têm a função de Usuário da entidade de serviço ou para si mesmos. Você pode automatizar a habilitação dessa configuração após a criação do workspace. Confira Restringir administradores do workspace.
Suporte para entidades de serviço gerenciadas do Databricks
28 de fevereiro de 2024
Agora você pode criar e gerenciar entidades de serviço diretamente no Azure Databricks. Anteriormente, todas as entidades de serviço tinham que ser vinculadas a uma entidade de serviço existente do Microsoft Entra ID. Confira Entidades de serviço do Databricks e do Microsoft Entra ID (antigo Azure Active Directory).
Habilitar a atualização automática do cluster (Visualização Pública)
27 de fevereiro de 2024
A atualização automática do cluster garante que todos os clusters em um workspace sejam atualizados periodicamente com as atualizações de segurança e imagem do sistema operacional do host mais recentes. A janela de manutenção é configurável. Confira Atualização automática do cluster. Habilitar este recurso em um workspace adiciona automaticamente o complemento segurança e conformidade aprimorados. Consulte a página de preços.
Os administradores podem habilitar recursos aprimorados de segurança e conformidade (Visualização Pública)
27 de fevereiro de 2024
Os administradores agora podem habilitar recursos de Definir configurações aprimoradas de segurança e conformidade: o perfil de segurança de conformidade, monitoramento de segurança aprimorado, e atualização automática de cluster. Use o portal do Azure ou um modelo do ARM. O uso desses recursos adiciona automaticamente o complemento segurança e conformidade aprimorados. Consulte a página de preços.
O recurso de atualização automática de cluster e a capacidade de habilitar recursos avançados de segurança e conformidade por conta própria estão em Visualização Pública. No entanto, o próprio perfil de segurança de conformidade e o monitoramento de segurança aprimorado estão em disponibilidade geral (GA).
Suporte para armazenamento Cloudflare R2 para evitar valor de saída entre regiões (Visualização Pública)
26 de fevereiro de 2024
Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Catálogo do Unity. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 dá suporte a todos os dados do Databricks e ativos de IA com suporte no AWS S3, no Azure Data Lake Storage Gen2 e no Google Cloud Storage. O suporte para R2 requer o Databricks Runtime 14.3 ou o SQL Warehouse 2024.15. Confira Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.
Adicionar dados UI suporta formato de arquivo XML
23 de fevereiro de 2024
A UI de adição de dados agora oferece suporte ao upload e ingestão de arquivos XML do armazenamento de objetos na nuvem. Confira Carregar dados usando a IU de adição de dados.
Use funções de IA para invocar um modelo de IA generativo a partir de APIs do Foundation Model
22 de fevereiro de 2024
Agora você pode usar funções de IA para invocar um modelo de IA generativo de última geração a partir de APIs do modelo Foundation do Databricks para executar tarefas de IA, como análise e classificação de sentimento.
Veja Funções de IA usando APIs do Databricks Foundation Model para funções disponíveis.
Os volumes do Unity Catalog são GA
22 de fevereiro de 2024
Os volumes do Unity Catalog agora estão disponíveis no Databricks Runtime 14.3 LTS e superior. A Databricks recomenda a utilização de volumes para gerir o acesso de leitura e escrita a dados não tabulares no armazenamento de objetos na nuvem. Confira Criar e trabalhar com volumes.
Pesquisa de página inteira com tecnologia de IA
16 a 22 de fevereiro de 2024
A pesquisa do Azure Databricks agora aproveita o DatabricksIQpara fornecer uma experiência de pesquisa mais inteligente com tecnologia de IA. A nova experiência de pesquisa de página inteira oferece mais espaço para ver os resultados, mais metadados para seus objetos e mais filtros para restringir seus resultados.
Consulte Pesquisar objetos do espaço de trabalho.
Execute trabalhos de notebook SQL em um armazém SQL
8 de fevereiro de 2024
Agora você pode agendar e executar trabalhos de notebook usando um armazém SQL como recurso de computação. Para obter detalhes, veja Usar um notebook com um armazém SQL.
Os gatilhos de chegada de arquivos nos fluxos de trabalho do Azure Databricks são GA
7 de fevereiro de 2024
Os gatilhos de chegada de arquivos agora estão disponíveis em todos os provedores de nuvem. Com essa versão, você pode usar gatilhos de chegada de arquivo para executar um trabalho do Azure Databricks quando novos arquivos chegam em um volume do Catálogo do Unity, além do suporte existente para locais externos do Catálogo do Unity. Confira Disparar trabalhos quando novos arquivos chegarem.
Essa versão também remove uma limitação do uso de gatilhos de chegada de arquivos com um firewall do Azure.
Pesquise modelos de aprendizado de máquina no Unity Catalog usando a pesquisa global de espaço de trabalho
7 de fevereiro de 2024
Agora você pode procurar modelos de machine learning no Catálogo do Unity usando a barra de pesquisa global na interface do usuário do espaço de trabalho do Databricks. Veja Gerenciar o ciclo de vida do modelo no Unity Catalog e Pesquisar objetos de espaço de trabalho.
O proxy do servidor Git do Databricks é GA
6 de fevereiro de 2024
Você pode usar o proxy do servidor Databricks Git para configurar o acesso seguro do Databricks Repos ao seu servidor Git local. Veja Configurar a conectividade Git privada para pastas Git do Databricks (Repos).
O proxy do servidor Databricks Git não requer mais permissões CAN_ATTACH_TO
6 de fevereiro de 2024
A versão GA do proxy do servidor Databricks Git eliminou a necessidade de fornecer permissões CAN_ATTACH_TO a todos os usuários.
Se você configurou anteriormente o proxy do servidor Databricks Git com CAN_ATTACH_TO privilégios, veja Remover permissões CAN_ATTACH_TO globais.
O suporte de arquivo do espaço de trabalho para as tarefas de arquivo dbt e SQL é GA
1º de fevereiro de 2024
O suporte para a utilização de projetos dbt e ficheiros SQL armazenados em pastas de espaço de trabalho do Azure Databricks está agora em disponibilidade geral, aumentando o suporte existente para a utilização de ficheiros armazenados num repositório Git remoto. Veja Criar e executar trabalhos do Azure Databricks e Usar transformações dbt em um trabalho do Azure Databricks.
Databricks Connect é GA para Scala
1º de fevereiro de 2024
A partir do Databricks Runtime 14.3 LTS, o Databricks Connect está agora disponível para Scala.
Crie tabelas a partir de arquivos em volumes
1º de fevereiro de 2024
Agora você pode usar a UI para criar tabelas gerenciadas do Unity Catalog a partir de arquivos de dados armazenados em volumes do Unity Catalog. Veja Criar tabela com base em volumes.
Databricks Runtime 14.3 LTS é GA
1º de fevereiro de 2024
Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS ML agora estão em disponibilidade geral.
Veja Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS para Machine Learning.
O Compartilhamento Delta oferece suporte a tabelas que usam vetores de exclusão (Versão Prévia Pública)
1º de fevereiro de 2024
O Compartilhamento Delta agora oferece suporte ao compartilhamento de tabelas que usam vetores de exclusão, que são um recurso de otimização de armazenamento que você pode habilitar em tabelas Delta. Os destinatários podem ler tabelas que usam vetores de exclusão usando um armazém SQL, um cluster que executa o Databricks Runtime 14.1 ou superior ou uma computação que executa o código-fonte aberto delta-sharing-spark 3.1 ou superior. O suporte será lançado gradualmente ao longo do próximo mês.
Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.