Outubro de 2023
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em outubro de 2023.
Observação
As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Conectividade segura sem servidor para Databricks SQL Serverless (Visualização Pública)
31 de outubro de 2023
Novas ferramentas de conectividade segura sem servidor ajudam você a controlar o acesso à rede de SQL warehouses sem servidor para suas fontes de dados no Armazenamento do Microsoft Azure. Você pode escolher um firewall de armazenamento usando IDs de sub-rede ou habilitar a conectividade privada com o Link Privado do Azure. Para ingressar na Visualização Pública, entre em contato com sua equipe de conta do Azure Databricks. Veja Rede de plano de computação sem servidor.
Se você tiver firewalls de armazenamento que foram configurados usando IDs de sub-rede listadas na documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomendará que você atualize suas configurações de firewall para cada uma das regiões do workspace usando uma das novas ferramentas. Isso pode ajudá-lo a aplicar uma implantação consistente em todos os workspaces. Se você optar por não atualizar as configurações existentes, os workspaces continuarão funcionando.
Exibir a fonte YAML para um trabalho do Azure Databricks
30 de outubro de 2023
Agora você pode visualizar e copiar a fonte YAML de um trabalho clicando em 
na página de detalhes do trabalho e selecionando Visualizar YAML/JSON. Você pode usar a fonte YAML para criar fluxos de trabalho de CI/CD com Databricks Asset Bundles. Confira O que são Pacotes de Ativos do Databricks?.
Adicionar lógica condicional aos fluxos de trabalho do Azure Databricks
30 de outubro de 2023
Agora você pode usar a tarefa If/else condition para executar condicionalmente tarefas em um trabalho do Azure Databricks com base nos resultados de uma expressão booliana. Consulte Adicionar lógica de ramificação ao seu trabalho com a tarefa de condição If/else.
Configurar parâmetros em um trabalho do Azure Databricks que pode ser referenciado por todas as tarefas de trabalho
30 de outubro de 2023
Agora você pode adicionar parâmetros aos trabalhos do Azure Databricks que são passados automaticamente para todas as tarefas de trabalho que aceitem pares chave-valor. Consulte Adicionar parâmetros para todas as tarefas de trabalho. Além disso, agora você pode usar um conjunto expandido de referências de valor para passar contexto e estado entre tarefas de trabalho. Consulte Passar o contexto sobre as execuções de trabalho para as tarefas de trabalho.
Habilitar vetores de exclusão automaticamente
30 de outubro de 2023
Agora você pode habilitar vetores de exclusão em todas as novas tabelas Delta no Databricks Runtime 14.0 e superior com a configuração de administrador do workspace Habilitar automaticamente vetores de exclusão. No momento, esse comportamento é opcional, mas será obrigatório no futuro. O Databricks recomenda configurar manualmente uma opção para essa configuração. Consulte Habilitar automaticamente os vetores de exclusão.
O suporte ao Unity Catalog para UNDROP TABLE está em disponibilidade geral
25 de outubro de 2023
Você pode soltar uma tabela gerenciada ou externa removida em um esquema existente dentro de sete dias após a remoção. Requer o Databricks Runtime 12.1 e superior. Confira NÃO REMOVER TABELA e MOSTRAR TABELAS REMOVIDAS.
OPartner Connect dá suporte ao Dataiku
25 de outubro de 2023
Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao Dataiku. Consulte Conectar-se ao Dataiku.
Os notebooks gerados pelo AutoML do Databricks agora são salvos como artefatos do MLflow
24 de outubro de 2023
Os notebooks gerados pelo AutoML do Databricks agora são salvos como artefatos do MLflow em todas as versões do Databricks Runtime para Machine Learning.
Nova região: Catar Central
23 de outubro de 2023
O Azure Databricks agora está disponível no Qatar Central. Confira Regiões do Azure Databricks.
Volumes do Catálogo do Unity compatíveis com o Firewall do Azure e o Link Privado
23 de outubro de 2023
Agora você pode usar volumes do Catálogo do Unity em conjunto com as contas de armazenamento do Azure configuradas com o Firewall do Azure ou com o Link Privado. Isso remove uma limitação anterior.
Otimização preditiva (Visualização Pública)
24 de outubro de 2023
A otimização preditiva remove a necessidade de gerenciar manualmente as operações de manutenção de Tabelas Delta. As operações de manutenção são executadas apenas quando necessário, eliminando tanto as execuções desnecessárias de operações de manutenção quanto a carga associada ao acompanhamento e à solução de problemas de desempenho. Consulte Otimização preditiva para o Delta Lake.
As tabelas do sistema de computação já estão disponíveis (Visualização Pública)
23 de outubro de 2023
O esquema system.compute contém duas novas tabelas que você pode usar para monitorar os recursos de computação em sua conta: clusters e node_types.
A tabela de clusters é uma tabela de dimensões de alteração lenta que contém o histórico completo das configurações de cluster ao longo do tempo para clusters de uso geral e de trabalhos. A tabela de tipos de nó captura os tipos de nó disponíveis no momento com suas informações básicas de hardware. Se você não tiver acesso a essas tabelas do sistema, certifique-se de ter habilitado o esquema de computação em sua conta (confira Habilitar esquemas de tabelas do sistema).
Para obter mais informações sobre tabelas de sistemas de computação, consulte Referência de tabelas de sistemas de computação.
A computação de recursos sob demanda está em GA
19 de outubro de 2023
Agora os recursos de machine learning podem ser computados sob demanda no momento da inferência. Isso permite que os modelos calculem recursos usando entradas que estão disponíveis apenas no momento da inferência, como a localização atual de um usuário, ou para usar recursos que são proibitivos em termos de custo para pré-computar, armazenar e atualizar. O código de treinamento de modelo pode definir um grafo arbitrário de pesquisas de recursos e cálculos executados durante o treinamento e a inferência do modelo.
A lógica de computação de recursos, os modelos e os dados são todos regidos pelo Catálogo do Unity. Para obter mais informações, confira Recursos de computação sob demanda usando funções do Python definidas pelo usuário.
A definição de recursos no Catálogo do Unity está em GA
19 de outubro de 2023
Com a Engenharia de Recursos no Catálogo do Unity, o Catálogo do Unity se torna seu repositório de recursos. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelo. O Catálogo do Unity fornece descoberta e governança de recursos.
Comentários de tabela gerados por IA (Visualização Pública)
18 de outubro de 2023
Como parte da iniciativa de usar IA para ajudar você enquanto trabalha com o Azure Databricks, o Azure Databricks está introduzindo comentários de tabelas e colunas gerados por IA na Visualização pública. No Gerenciador de Catálogos, você pode exibir, editar e adicionar um comentário gerado por IA em qualquer tabela ou coluna de tabela gerenciada pelo Unity Catalog. Os comentários gerados por IA podem usar parceiros de modelos externos para fornecer respostas. Os dados enviados a esses serviços não são usados para o treinamento do modelo.
Confira, Adicionar comentários gerados por IA em uma tabela.
Os modelos no Catálogo do Unity estão em GA
17 de outubro de 2023
Os modelos de ML no Catálogo do Unity agora estão em disponibilidade geral. O Catálogo do Unity fornece controle de acesso centralizado, auditoria, linhagem, compartilhamento de modelos entre workspaces e melhores fluxos de trabalho de implantação do MLOps. O Azure Databricks recomenda o uso de modelos no Catálogo do Unity em vez do Registro de Modelo do Workspace. Consulte Gerenciar o ciclo de vida do modelo no Catálogo do Unity para obter detalhes.
As bibliotecas agora têm suporte nas políticas de computação (Visualização Pública)
17 de outubro de 2023
Os administradores do workspace agora podem adicionar bibliotecas a políticas de computação. A computação que usa a política instalará automaticamente a biblioteca. Os usuários não podem instalar ou desinstalar bibliotecas com escopo de computação na computação que usa a política. As bibliotecas instaladas anteriormente serão desinstaladas.
O Databricks recomenda a migração de todas as bibliotecas instaladas com scripts de inicialização para usar políticas de computação. Confira Adicionar bibliotecas a uma política.
O Partner Connect dá suporte ao Monte Carlo
16 de outubro de 2023
Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao Monte Carlo. Para obter mais informações, consulte Conectar o Azure Databricks ao Monte Carlo.
Pesquisa semântica (Visualização Pública)
16 de outubro de 2023
Agora você pode usar a linguagem natural para pesquisar tabelas do Catálogo do Unity na caixa de diálogo Pesquisa avançada. Confira Pesquisa semântica.
Habilitar o Assistente do Databricks no nível do espaço de trabalho
11 de outubro de 2023
Um administrador do espaço de trabalho agora pode habilitar ou desabilitar o Assistente do Databricks para um espaço de trabalho individual se o administrador da conta o tiver permitido. Para obter detalhes, consulte Como habilitar o Assistente do Databricks?.
Novos padrões do Photon
11 de outubro de 2023
Ao criar um novo cluster por meio da interface do usuário, o mecanismo padrão do Databricks Runtime é o Photon habilitado. Isso se aplica a clusters para todas as finalidades e clusters de trabalho.
Os novos clusters criados com uma política de cluster compatível com o Photon têm o Photon habilitado por padrão. Uma política de cluster é compatível com o Photon se o Databricks Runtime der suporte a ela, o tipo de nó tiver suporte e o runtime_engine não estiver explicitamente definido como STANDARD.
O Databricks Runtime 14.1 é GA
11 de outubro de 2023
O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML já estão em disponibilidade geral.
Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.
As notas sobre a versão das ferramentas de desenvolvedor foram movidas
10 de outubro de 2023
As notas sobre a versão das ferramentas de desenvolvedor do Azure Databricks após 10 de outubro de 2023 agora são postadas nas notas sobre a versão das ferramentas de desenvolvedor e do SDKs do Azure Databricks em vez das notas sobre a versão da plataforma do Azure Databricks.
Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.5
09 de outubro de 2023
A extensão Databricks para Visual Studio Code versão 1.1.5 contém algumas correções secundárias. Para obter detalhes, consulte o log de alterações da versão 1.1.5.
A E/S preditiva para atualizações está em disponibilidade geral
09 de outubro de 2023
A E/S preditiva para atualizações agora está em disponibilidade geral no Databricks Runtime 14.0 e superior. Confira O que é E/S preditiva?.
Os vetores de exclusão estão em disponibilidade geral
09 de outubro de 2023
Os vetores de exclusão agora estão em disponibilidade geral no Databricks Runtime 14.0 e superior. Confira O que são vetores de exclusão?
O Partner Connect dá suporte ao RudderStack
5 de outubro de 2023
Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao RudderStack. Para obter mais informações, consulte Conectar-se ao RudderStack.
CLI do Databricks atualizada para a versão 0.207.0 (Versão prévia pública)
4 de outubro de 2023
A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.207.0. Esta versão contém atualizações de recursos e correções para os Pacotes de Ativos do Databricks, faz acréscimos e alterações em vários comandos e grupos de comandos, e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.207.0.
Executar as células selecionadas em um notebook
4 de outubro de 2023
Você já pode executar apenas células selecionadas em um notebook. Confira Executar células selecionadas.
Usar a vinculação de dados do catálogo da área de trabalho para dar acesso somente leitura a um catálogo
4 de outubro de 2023
Agora, ao usar a associação workspace-catálogo para limitar o acesso do catálogo a workspaces específicos em sua conta, você pode tornar esse acesso somente leitura. A associação somente leitura do workspace-catálogo é útil para alguns cenários, como conceder aos usuários um acesso somente leitura aos dados de produção de um workspace de desenvolvedor para habilitar o desenvolvimento e o teste.
Essa atualização também substitui o ponto de extremidade da API /api/2.1/unity-catalog/workspace-bindings/, substituindo-o por /api/2.1/unity-catalog/bindings/.
Consulte (Opcional) Atribuir um catálogo a workspaces específicos.
Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.4
2 de outubro de 2023
A extensão Databricks para o Visual Studio Code versão 1.1.4 adiciona suporte para os workspaces personalizados do Azure Databricks e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.1.4.
SDK do Databricks para Python atualizado para a versão 0.10.0 (Beta)
3 de outubro de 2023
A versão 0.10.0 do SDK do Databricks para Python apresenta 7 alterações interruptivas, adiciona 10 classes de dados, adiciona 6 campos e adiciona um serviço. Para obter detalhes, consulte o log de alterações da versão 0.10.0.
SDK do Databricks para Go atualizado para a versão 0.22.0 (beta)
3 de outubro de 2023
A versão 0.22.0 do SDK do Databricks para Go introduz uma alteração interruptiva na API e adiciona uma API. Para obter detalhes, consulte o log de alterações da versão 0.22.0.
Volumes do Catálogo Unity já em versão prévia pública no Azure China
2 de outubro de 2023
Os volumes do Catálogo Unity já estão disponíveis como uma versão prévia pública do recurso nas regiões do Azure China. Confira Criar e trabalhar com volumes.