Maio de 2023
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em maio de 2023.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
Criar ou modificar a interface do usuário da tabela dá suporte a uploads de Avro, Parquet e arquivo de texto
29 de maio de 2023
A interface do usuário Criar ou modificar tabela já dá suporte aos seguintes tipos de arquivo:
- Avro (.avro)
- Parquet (.parquet)
- Texto (.txt)
Para obter mais informações, confira Criar ou modificar uma tabela usando o upload de arquivos .
Use a interface do usuário de adição de dados para carregar dados usando locais externos do Catálogo do Unity (versão prévia pública)
29 de maio de 2023
Agora você pode usar a interface do usuário de adição de dados para carregar dados de um caminho de armazenamento de objetos de nuvem definido como um local externo do Catálogo do Unity. Para obter mais informações, confira Carregar dados usando um local externo do Catálogo do Unity.
Executar notebooks do Databricks em warehouses de SQL(Visualização Pública)
31 de maio de 2023
Agora você pode executar blocos de anotações Databricks em warehouses SQL. As warehouses SQL são otimizadas para análise SQL e oferecem melhor desempenho de preço para execução SQL em comparação com computação para todas as finalidades. Para obter mais informações, consulte Usar um bloco de anotações com uma warehouse SQL.
Impedir que a tecla Enter aceite sugestões de preenchimento automático
26 de maio de 2023
Agora você pode impedir que a chave Enter aceite sugestões de preenchimento automático no editor SQL. Selecione Desativar Enter para aceitar o preenchimento automático no menu kebab no editor SQL.
Nova região: Leste da China 3
25 de maio de 2023
O Azure Databricks agora está disponível na região do Azure do Leste da China 3. Confira Regiões do Azure Databricks.
Suporte para tipos de VM de computação confidencial do Azure (Visualização Pública)
25 de maio de 2023
O Azure Databricks agora dá suporte ao uso de tipos de VM de computação confidencial do Azure ao criar clusters. A computação confidencial do Azure ajuda a proteger os dados em uso, impedindo que o provedor de nuvem tenha acesso a dados confidenciais. Consulte VMs de computação confidencial do Azure.
O provedor Databricks Terraform foi atualizado para a versão 1.17.0
22 de maio de 2023
O provedor Terraform 1.17.0 do Databricks remove o suporte para liberar binários de 32 bits, adiciona mais informações sobre o impacto do uso de uma política de cluster no recurso databricks_cluster e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.17.0.
Carregar a interface do usuário de dados dá suporte a novos tipos de dados de coluna
19 de maio de 2023
A interface do usuário Carregar dados já dá suporte aos seguintes tipos de dados de coluna:
STRUCTARRAYDECIMAL(P,S)
Para obter mais informações, confira Criar ou modificar uma tabela usando o upload de arquivos .
Vincular catálogos do Catálogo do Unity a espaços de trabalho específicos
17 de maio de 2023
Agora você pode limitar o acesso ao catálogo a espaços de trabalho específicos em sua conta, também conhecidos como associação de catálogo de espaço de trabalho. Esse recurso é especialmente útil se você usar espaços de trabalho para isolar o acesso aos dados do usuário, por exemplo, se tiver espaços de trabalho de produção e desenvolvimento separados ou um espaço de trabalho dedicado para lidar com dados confidenciais.
Para obter mais informações, confira (Opcional) Atribuir um catálogo a workspaces específicos.
Todos os usuários podem se conectar ao Fivetran usando o Partner Connect (Visualização Pública)
17 de maio de 2023
A função de usuário administrador do espaço de trabalho não é mais necessária para se conectar ao Fivetran usando o Partner Connect. Para obter mais informações, consulte Conectar-se ao Fivetran usando o Partner Connect.
O provedor Databricks Terraform foi atualizado para a versão 1.16.1
16 de maio de 2023
O provedor Terraform 1.16.1 do Databricks adiciona documentação para o recurso databricks_service_principal_secret e a integração do Catálogo Unity no recurso databricks_pipeline, atualiza a documentação para o recurso databricks_secret_scope e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.16.1.
Driver JDBC do Databricks 2.6.33
15 de maio de 2023
Lançamos a versão 2.6.33 do driver JDBC do Databricks (download). Esta versão adiciona APIs de chave primária e chave estrangeira ao se conectar a um servidor que tenha o Catálogo Unity habilitado.
O Partner Connect tem suporte à Alation
15 a 22 de maio de 2023
Agora você pode conectar seu espaço de trabalho do Azure Databricks ao Alation usando o Partner Connect. Para obter mais informações, consulte Connect Azure Databricks to Alation.
Novo tema padrão para editor
12 de maio de 2023
Com base nos comentários dos clientes, o esquema de cores padrão no editor foi atualizado para melhor legibilidade.
O provedor Databricks Terraform foi atualizado para a versão 1.16.0
12 de maio de 2023
O provedor Terraform 1.16.0 do Databricks adiciona um recurso databricks_workspace_file, adiciona um bloco notification_settings ao recurso databricks_job e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.16.0.
O suporte do Catálogo do Unity para identidades gerenciadas do Azure agora está em GA
11 de maio de 2023
A capacidade de usar identidades gerenciadas do Azure para acessar contêineres de armazenamento em nome dos usuários do Catálogo Unity agora está disponível para o público geral. As identidades gerenciadas do Azure fornecem vantagens significativas sobre as entidades de serviço para esse caso de uso. Confira Usar identidades gerenciadas do Azure no Catálogo do Unity para acessar o armazenamento.
Databricks Runtime 13.1 (Beta)
10 de maio de 2023
O Databricks Runtime 13.1 e o Databricks Runtime 13.1 ML agora estão disponíveis como versões Beta.
Consulte Databricks Runtime 13.1 (sem suporte) e Databricks Runtime 13.1 para Machine Learning (sem suporte).
Executar consultas SQL baseadas em arquivos em um fluxo de trabalho do Azure Databricks
9 de maio de 2023
Agora você pode recuperar consultas SQL de um provedor Git ao adicionar uma tarefa SQL a um trabalho do Azure Databricks. Consulte Usar consultas SQL de um repositório Git remoto.
O provedor Databricks Terraform foi atualizado para a versão 1.15.0
5 de maio de 2023
A versão 1.15.0 adiciona um recurso databricks_sql_table experimental, adiciona suporte para executar scripts de inicialização databricks_cluster de arquivos de espaço de trabalho, adiciona permissões ausentes a databricks_grants e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.15.0.
As regiões do Azure China agora tem suporte para o Catálogo do Unity
5 de maio de 2023
As regiões Leste da China 2, Norte da China 2 e Norte da China 3 agora oferecem suporte ao Catálogo Unity.
Apelidos de conta agora disponíveis no console da conta
5 de maio de 2023
Os administradores de conta agora podem definir apelidos de conta para suas contas do Azure Databricks. Depois de atribuir um apelido à sua conta, o nome é apresentado na parte superior do console da conta e junto ao ID da conta. Para obter mais informações, consulte Adicionar um apelido de conta.
Compartilhar notebooks usando o Compartilhamento Delta
4 de maio de 2023
Agora você pode usar o compartilhamento delta para compartilhar arquivos de bloco de anotações com segurança usando o fluxo de compartilhamento Databricks a Databricks.
O compartilhamento de blocos de anotações permite que os usuários colaborem entre metastores e contas e permite que os provedores demonstrem casos de uso e visualizações para os dados que compartilham.
Consulte Adicionar arquivos de notebook a um compartilhamento (para provedores) e Ler notebooks compartilhados (para destinatários).
O Azure Databricks não cria mais um SQL Warehouses inicial sem servidor
3 a 12 de maio de 2023
O Azure Databricks não cria mais um warehouse inicial SQL sem servidor. Para criar seu próprio, consulte Criar um warehouse SQL.
Na API do SQL Warehouses, habilitar a computação sem servidor agora deve ser explícito
3 a 12 de maio de 2023
Houve uma pequena alteração na API do SQL Warehouses ao criar um SQL warehouse.
Para o campo enable_serverless_compute, anteriormente o padrão era true se os pontos de extremidade SQL sem servidor estivessem habilitados para o espaço de trabalho. O padrão agora é false para a maioria dos espaços de trabalho. No entanto, se esse espaço de trabalho usou a API de warehouses SQL para criar um depósito entre 1º de novembro de 2022 e 19 de maio de 2023 e se encaixa nos requisitos do SQL warehouse sem servidor, incluindo sua região, o padrão permanece definido como true.
Para evitar ambiguidade, especialmente para organizações com muitos espaços de trabalho, o Databricks recomenda que você sempre defina explicitamente o campo enable_serverless_compute.
Alterações nas configurações de espaço de trabalho para warehouses SQL sem servidor
3 a 12 de maio de 2023
Para contas que têm computação sem servidor habilitada, os espaços de trabalho agora estão habilitados para recursos sem servidor por padrão. Como parte dessa alteração, a configuração no nível do espaço de trabalho para habilitar ou desabilitar warehouses SQL sem servidor foi removida da interface do usuário de configurações do espaço de trabalho.
Alterações nas configurações de computação sem servidor para contas e espaços de trabalho
3 a 12 de maio de 2023
Todos os espaços de trabalho agora estão habilitados para warehouses SQL sem servidor se a região oferecer suporte a ele.
O Azure Databricks notifica cada administrador de espaço de trabalho uma vez na interface do usuário SQL do Databricks para cada espaço de trabalho.
Para que os espaços de trabalho recém-habilitados ofereçam suporte a warehouses SQL sem servidor, cada espaço de trabalho deve atender aos requisitos e pode exigir uma atualização para o Firewall de Armazenamento do Azure de cada espaço de trabalho.
O Databricks SQL Sem Servidor está em GA
3 a 12 de maio de 2023
O SQL sem servidor do Databricks agora está disponível para regiões com suporte. Warehouses SQL sem servidor fornecem computação instantânea, gerenciamento mínimo e otimização de custos para consultas SQL. Crie warehouses SQL sem servidor ou converta warehouses SQL profissionais ou clássicos para sem servidor.
Atualizar um espaço de trabalho existente com conectividade de cluster segura ou Link Privado do Azure (Visualização Pública)
3 de maio de 2023
Você pode habilitar SCC (conectividade de cluster seguro) em um espaço de trabalho existente para fazer com que sua rede virtual não tenha portas abertas e os nós de cluster do Databricks Runtime não tenham endereços IP públicos. Esse recurso é configurado em modelos do Azure usando o nome sem IP público (enableNoPublicIp).
Você pode Habilitar ou desabilitar o Link Privado do Azure em um espaço de trabalho existente para conectividade privada entre usuários e seus espaços de trabalho do Databricks e também entre recursos de computação e o plano de controle da infraestrutura do Azure Databricks.
Ambas as atualizações exigem que o espaço de trabalho use injeção de rede virtual e a camada de preços Premium.
Substituição de scripts de inicialização com escopo de cluster no DBFS
2 de maio de 2023
Os scripts de inicialização no escopo do cluster no DBFS foram preteridos. Em vez disso, eles devem ser armazenados como arquivos de espaço de trabalho. Consulte Armazenar scripts de inicialização em arquivos do espaço de trabalho.
Navegação unificada (Visualização Pública)
1 de maio de 2023
A nova experiência de navegação unificada está na Visualização Pública. A navegação unificada reduz os cliques e as opções de contexto necessárias para concluir tarefas em áreas do produto. Para obter mais informações, consulte Navegar no espaço de trabalho.