Março de 2023
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em março de 2023.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
O provedor Databricks Terraform foi atualizado para a versão 1.14.0
31 de março de 2023
A versão 1.14.0 adiciona um exemplo para girar automaticamente um token de acesso, uma run_if condição e um gatilho de chegada de arquivo para o databricks_job recurso e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.14.0.
Fim do suporte para o Databricks Runtime 7.3 LTS ML
31 de março de 2023
O suporte para o Databricks Runtime 7.3 LTS para Machine Learning terminou em 31 de março. Confira Ciclos de vida de suporte do Databricks Runtime.
Treinamento distribuído com o TorchDistributor
27 de março de 2023
Com o Databricks Runtime 13.0 ML e superior, você pode executar treinamento distribuído em modelos de ML do PyTorch usando TorchDistributor. Confira Treinamento distribuído com TorchDistributor.
O TorchDistributor é um módulo de software livre no PySpark que ajuda o treinamento distribuído com o PyTorch em seus clusters Spark. Com ele, você pode iniciar trabalhos de treinamento do PyTorch como trabalhos do Spark.
Databricks Runtime 13.0 (Beta)
24 de março de 2023
O Databricks Runtime 13.0 e o Databricks Runtime 13.0 ML já estão disponíveis como versões Beta.
Confira Databricks Runtime 13.0 (sem suporte) e Databricks Runtime 13.0 para Machine Learning (sem suporte).
Editor de arquivos aprimorado
24 de março de 2023
O editor de arquivos foi atualizado para trazer muitos dos recursos do notebook para sua experiência de edição de arquivo. Além disso, agora você pode executar diretamente arquivos Python, SQL, R e Scala do editor de arquivos. Para obter detalhes, consulte Usar o notebook e o editor de arquivos do Databricks.
Altere a Redundância de Armazenamento Raiz do DBFS para os Espaços de Trabalho do Azure Databricks existentes
23 de março de 2023
Os usuários agora têm a opção de alterar a redundância de sua conta de armazenamento raiz do DBFS. Consulte Alterar opções de redundância de armazenamento do espaço de trabalho.
Suporte para notebook .ipynb (Jupyter) no Azure Repos (versão prévia)
22 de março de 2023
O suporte para notebooks do Jupyter (arquivos .ipynb) está disponível no Repos. Você pode clonar repositórios com notebooks .ipynb, trabalhar na interface do usuário do Databricks e, em seguida, confirmá-los e enviá-los por push como notebooks .ipynb. Os metadados, como o painel de um notebook, são preservados. Os administradores podem controlar se as saídas podem ser confirmadas ou não.
Também é possível:
- Crie novos notebooks .ipynb.
- Converter notebooks para o formato de arquivo .ipynb.
- Visualize os diffs como Code diff (alterações de código em células) ou Raw diff (alterações de código em JSON, incluindo metadados).
Confira Permitir confirmação de saída de notebooks .ipynb.
Suporte para reload4j
21 de março de 2023
O Reload4j 1.2.19 está substituindo log4j nas versões 10.4 e anteriores do Databricks Runtime.
Novos endereços IP para a região do Pacífico Asiático
15 de março de 2023
O Azure Databricks adicionou um novo plano de controle dedicado para a região eastasia. Se você hospedar um workspace do Azure Databricks em sua própria VNet (também conhecida como injeção de VNet) na região Leste da Ásia, provavelmente gerenciará o tráfego de rede para seu workspace usando rotas personalizadas (UDR). Nesse caso, você deve atualizar essas rotas usando os endereços IP e domínios adicionais listados em endereços IP e domínios.
Executar células SQL no notebook em paralelo
15 de março de 2023
Agora você pode executar células SQL em notebooks do Azure Databricks em paralelo enquanto estiver conectado a um cluster interativo. Confira Executar células SQL em paralelo.
Crie tarefas de trabalho usando o código Python armazenado em um repositório do Git
14 de março de 2023
Agora você pode recuperar o código Python de um provedor Git ao adicionar uma tarefa python a um trabalho do Azure Databricks, simplificando a integração de seus trabalhos com seus fluxos de trabalho de CI/CD. Consulte Usar código Python de um repositório Git remoto.
O provedor Databricks Terraform foi atualizado para a versão 1.13.0
14 de março de 2023
A versão 1.13.0 adiciona um recurso databricks_sql_alert e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.13.0.
O provedor Databricks Terraform foi atualizado para a versão 1.12.0
9 de março de 2023
A versão 1.12.0 adiciona um recurso databricks_model_serving, elimina o bloco schedule dentro do recurso databricks_sql_query e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.12.0.
Console de administração do SQL e console de administração do espaço de trabalho combinados
9 de março de 2023
O console de administração do SQL foi combinado com as configurações gerais de administrador para criar uma experiência unificada para os usuários administradores. Todas as configurações de administrador do SQL serão acessadas no console de administração.
O Serviço de Modelo está em GA
7 de março de 2023
O Serviço de Modelo, anteriormente sem servidor Real-Time Inferência, agora está disponível em geral.
O Serviço de Modelo fornece um serviço altamente disponível e de baixa latência para implantar modelos. O serviço aumenta ou reduz verticalmente automaticamente para atender às alterações de demanda dentro do intervalo de simultaneidade escolhido. Consulte Serviço de modelo com o Azure Databricks.
Pesquisa automática de recursos é GA
7 de março de 2023
A pesquisa automática de recursos com o Serviço de Modelo agora está em disponibilidade geral. Para obter detalhes, consulte Pesquisa automática de recursos com modelos do MLflow no Databricks.
Para novos espaços de trabalho que usam UDRs, o IP de armazenamento do Azure precisa de um UDR adicional
6 de março de 2023
Devido a alterações no armazenamento raiz do DBFS para novos workspaces, novos workspaces que usam injeção de VNet e definem UDRs (rotas definidas pelo usuário) usando endereços IP em vez das marcas de serviço recomendadas devem adicionar uma UDR adicional do Azure para cada VNet. Para configurar as duas UDRs, consulte Endereço IP de armazenamento raiz do DBFS. Essa alteração não afeta os workspaces existentes.
O armazenamento raiz do Azure Databricks DBFS usa o Azure Data Lake Storage Gen2 para novos espaços de trabalho
6 de março de 2023
Novos workspaces do Azure Databricks usam Azure Data Lake Storage Gen2 contas de armazenamento para a raiz do DBFS. Os workspaces existentes do Azure Databricks continuam a usar o Armazenamento de Blobs para a raiz DBFS. Confira Introdução ao Azure Data Lake Storage Gen2.
Disponibilidade do novo Explorador do Catálogo
6 de março de 2023
Uma nova versão do Explorador do Catálogo já está disponível em todos os workspaces que usam uma versão com suporte do Databricks Runtime 7.3 ou posterior.
Exibir consultas frequentes e usuários de uma tabela usando a guia Insights
6 de março de 2023
Agora você pode usar a guia Insights do Explorador do Catálogo para visualizar os usuários e as consultas mais frequentes de qualquer tabela registrada no Catálogo do Unity. Você deve ter o privilégio SELECT em uma tabela para ver esses dados e só vê consultas que tem permissão para exibir. Consulte Exibir usuários e consultas frequentes de um tabela.
A pesquisa de correspondência exata está disponível na pesquisa global
3 de março de 2023
Agora você pode pesquisar frases exatas usando aspas em pesquisa global. Consulte Pesquisar objetos do espaço de trabalho.
Exibir informações de linhagem para seus trabalhos do Azure Databricks
3 de março de 2023
Se o Catálogo do Unity estiver habilitado em seu workspace, você poderá exibir informações de linhagem para seus trabalhos na interface do usuário de Trabalhos do Azure Databricks, incluindo upstream tabelas nas quais o trabalho lê e tabelas downstream nas quais o trabalho grava. Consulte Exibir informações de linhagem para um trabalho.
Databricks Runtime 12.2 LTS e Databricks Runtime 12.2 LTS ML estão em GA
2 de março de 2023
O Databricks Runtime 12.2 LTS e o Databricks Runtime 12.2 LTS ML estão disponíveis ao público em geral.
Consulte Databricks Runtime 12.2 LTS e Databricks Runtime 12.2 LTS para Machine Learning.
Os arquivos do Espaço de Trabalho agora estão em Visualização Pública
6 de março de 2023
Agora você pode trabalhar com arquivos que não são de notebook no Azure Databricks. Os arquivos de workspaces são habilitados por padrão em todos os workspaces. Consulte O que são Arquivos de workspace?.