Setembro de 2023
Esses recursos e aprimoramentos na plataforma Azure Databricks foram lançados em setembro de 2023.
Observação
As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Federação do Lakehouse disponível em clusters de usuário único
29 de setembro de 2023
A Federação do Lakehouse agora está disponível em clusters de usuário único usando o Databricks Runtime 13.1 e superior. Somente o proprietário da conexão pode executar consultas em catálogos federados. Veja O que é a Federação Lakehouse.
Delegar a capacidade de criar uma credencial de armazenamento no Catálogo do Unity
29 de setembro de 2023
Agora você pode conceder aos usuários as permissões para criar uma credencial de armazenamento em um metastore do Catálogo do Unity usando o novo privilégio CREATE STORAGE CREDENTIAL. Consulte CREATE STORAGE CREDENTIAL.
Databricks Runtime 14.1 (Beta)
28 de setembro de 2023
O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML já estão disponíveis como versões Beta.
Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.
Modelo de serviço de modelo de GPU otimizado para LLMs em Visualização pública
28 de setembro de 2023
O modelo de serviço no Azure Databricks dá suporte à implantação de modelos PyTorch e Tensorflow utilizando recursos de computação de GPU. Essa funcionalidade está em Visualização Pública em regiões selecionadas e também se aplica à implantação da GPU de modelos registrados em log com os tipos mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow e mlflow.transformers. Consulte os Tipos de carga de trabalho de GPU.
Essa prévia também inclui suporte à implantação de GPU otimizada para o serviço de modelos de linguagem grande. Consulte Serviço de modelo de linguagem grande (LLM) otimizado
Impedir que execuções de um trabalho sejam ignoradas quando você atingir limites de simultaneidade
27 de setembro de 2023 - 02 de outubro de 2023
Para evitar que execuções de um trabalho do Azure Databricks sejam ignoradas devido a limites de simultaneidade, agora você pode habilitar o enfileiramento no trabalho. Quando o enfileiramento está habilitado, se um limite de simultaneidade for atingido, o trabalho é colocado em uma fila até que haja capacidade disponível para executar o trabalho. Consulte E se meu trabalho não puder ser executado devido aos limites de simultaneidade?.
Provedor Terraform do Databricks atualizado para a versão 1.27.0
27 de setembro de 2023
Provedor do Databricks Terraform versão 1.27.0 adiciona owner e force_destroy no databricks_metastore_data_access, inclui várias melhorias adicionais e correções de bugs, e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.27.0.
CLI do Databricks atualizada para a versão 0.206.0 (versão prévia pública)
27 de setembro de 2023
A Interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.206.0. Esta versão permite fazer substituições de destino em clusters de pipeline nos Pacotes de Ativos do Databricks, aprimora a experiência de inicialização do modelo de pacote, entre outros. Para obter detalhes, consulte o log de alterações da versão 0.206.0.
SDK do Databricks para Go atualizado para a versão 0.21.0 (beta)
27 de setembro de 2023
O SDK do Databricks para Go versão 0.21.0 apresenta mais de uma dúzia de alterações de API interruptivas, adiciona mais de uma dúzia de APIs e adiciona uma dúzia de campos. Para obter detalhes, consulte o log de alterações da versão 0.21.0.
As tabelas de inferência para pontos de extremidade de modelos de serviço estão em Visualização Pública
26 de setembro de 2023
Habilitar as tabelas de inferência nos seus pontos de extremidade de modelos de serviço para capturar solicitações de entrada e respostas de saída para esses pontos de extremidade e registrá-los como uma tabela Delta do Catálogo do Unity. Consequentemente, você pode utilizar os dados dessa tabela para monitorar, depurar e melhorar os modelos de ML. Consulte Tabelas de inferência para modelos de monitoramento e depuração.
Para se inscrever na Visualização Pública, entre em contato com a equipe da sua conta do Azure Databricks.
Driver ODBC do Databricks 2.7.5
23 de setembro de 2023
Lançamos a versão 2.7.5 do driver ODBC do Databricks (baixar). Esta versão adiciona os seguintes novos recursos e aprimoramentos:
- Aprimoramento da autenticação do cliente OAuth 2.0 e suporte à descoberta de pontos de extremidade OIDC.
- Criptografia do lado do servidor com chaves fornecidas pelo cliente.
- Função Timedate.
- Mensagens de erro aprimoradas para Busca na Nuvem.
- Atualizações de segurança.
Esta versão também resolve a seguinte regressão na versão 2.7.3:
- A função
SQLForeignKeysretorna um resultado vazio se o chamador passar um valorNULLpara o catálogo da tabela primária ou da tabela estrangeira.
A versão 2.7.5 agora retorna todas as chaves primárias ou estrangeiras associadas à tabela relacionada se o catálogo da outra tabela estiver definido como NULL.
Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.3
21 de setembro de 2023
A Extensão Databricks para Visual Studio Code versão 1.1.3 adiciona algumas correções secundárias. Para obter detalhes, consulte o log de alterações da versão 1.1.3.
A execução de trabalhos usando uma entidade de serviço está em disponibilidade geral
21 de setembro de 2023
As funções nas entidades de serviço e a configuração do trabalho para executar trabalhos usando a identidade da entidade de serviço agora estão em disponibilidade geral.
Consulte Funções para gerenciar entidades de serviço e Executar um trabalho como uma entidade de serviço.
CLI do Databricks atualizada para a versão 0.205.2 (versão prévia pública)
21 de setembro de 2023
A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.205.2. Esta versão contém algumas pequenas atualizações. Para obter detalhes, consulte o log de alterações da versão 0.205.2.
CLI do Databricks atualizada para a versão 0.205.1 (versão prévia pública)
20 de setembro de 2023
A Interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.205.1. Esta versão permite fazer substituições de destino em tarefas de trabalho nos Pacotes de Ativos do Databricks, entre outros. Para obter detalhes, consulte o log de alterações da versão 0.205.1.
SDK do Databricks para Go atualizado para a versão 0.20.0 (beta)
20 de setembro de 2023
o SDK do Databricks para Go versão 0.20.0 adiciona mais de uma dúzia de APIs, adiciona meia dúzia de campos, altera alguns campos e métodos, e remove algumas APIs. Para obter detalhes, consulte o log de alterações da versão 0.20.0.
SDK do Databricks para Python atualizado para a versão 0.9.0 (Beta)
20 de setembro de 2023
A versão 0.9.0 do SDK do Databricks para Python altera alguns métodos e campos, adiciona cerca de 10 campos, adiciona cerca de 20 classes de dados e introduz outras alterações e remoções. Para obter detalhes, consulte o log de alterações da versão 0.9.0.
SDK do Databricks para Python atualizado para a versão 0.7.1 (Beta)
20 de setembro de 2023
A versão 0.7.1 do SDK do Databricks para Python inclui uma pequena correção para melhorar o desempenho do download de arquivos. Para obter detalhes, consulte o log de alterações da versão 0.7.1.
Provedor Terraform do Databricks atualizado para a versão 1.26.0
20 de setembro de 2023
O Provedor Terraform do Databricks versão 1.26.0 adiciona suporte para o scripts de inicialização de volumes do Catálogo do Unity, inclui várias melhorias adicionais e correções de bugs, e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.26.0.
Databricks Connect para Databricks Runtime 14.0
20 de setembro de 2023
O Databricks Connect para Databricks Runtime 14.0 dá suporte a fluxo estruturado completo (incluindo foreachBatch) e consultas de execução prolongada que se conectam novamente à consulta após a interrupção.
Painéis do Lakeview em Visualização Pública
20 de setembro de 2023
Os painéis do Lakeview permitem compartilhar visualizações e conjuntos de dados usando um modelo de governança de dados simplificado e unificado. Consulte Dashboards.
O Databricks Connect V2 está em Visualização Pública para Scala
19 de setembro de 2023
O Databricks Connect para Databricks Runtime 13.3 LTS agora dá suporte ao Scala em Visualização Pública, incluindo DataFrames, Delta, fluxo estruturado e muito mais.
Para o Python, agora há suporte para cancelamento de consulta e a classe DatabricksSession agora pode ser usada em notebooks e trabalhos do Azure Databricks.
Modelo de serviço de GPU em Visualização Pública
19 de setembro de 2023
O modelo de serviço no Azure Databricks dá suporte à implantação de modelos PyTorch e Tensorflow utilizando recursos de computação de GPU. Essa funcionalidade está em [Visualização Pública] em regiões selecionadas e também se aplica à implantação da GPU de modelos registrados em log com os tipos mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow e mlflow.transformers. Consulte os Tipos de carga de trabalho de GPU.
Computação de recursos sob demanda já disponível no Unity Catalog (Visualização Pública)
14 de setembro de 2023
Agora, os recursos de aprendizado de máquina podem ser computados sob demanda em tempo de inferência. A lógica de computação de recursos, os modelos e os dados são todos regidos pelo Catálogo do Unity. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis em tempo de inferência, como o local atual de um usuário. Para obter mais informações, confira Recursos de computação sob demanda usando funções definidas pelo usuário do Python.
O Databricks Runtime 14.0 está em disponibilidade geral
14 de setembro de 2023
O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML agora estão em disponibilidade geral.
Confira Databricks Runtime 14.0 (sem suporte) e Databricks Runtime 14.0 para Machine Learning (sem suporte).
Atualização de notificações por email da conta
14 de setembro de 2023
O Databricks não envia mais notificações por email quando os usuários são adicionados a uma conta do Azure Databricks. Os usuários continuarão a receber notificações por email quando receberem acesso a um workspace.
Provedor Terraform do Databricks atualizado para a versão 1.25.1
13 de setembro de 2023
O Provedor Terraform do Databricks versão 1.25.1 foi lançado com pequenas melhorias e correções de bugs. Para obter detalhes, consulte a caixa de alteração da versão 1.25.1.
SDK do Databricks para Go atualizado para a versão 0.19.2 (beta)
13 de setembro de 2023
O SDK do Databricks para Go versão 0.19.2 contém uma correção secundária. Para obter detalhes, consulte o log de alterações da versão 0.19.2.
CLI do Databricks atualizada para a versão 0.205.0 (Visualização Pública)
13 de setembro de 2023
A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.205.0. Esta é a primeira versão da CLI do Databricks a dar suporte aos Pacotes de Ativos do Databricks na Visualização Pública. Para obter detalhes, confira o log de alterações da versão 0.205.0.
Local reservado para /Workspace
13 de setembro de 2023
O local /Workspace agora está reservado. Você não pode mais definir um diretório nomeado /Workspace em relação ao caminho raiz no Azure Databricks.
Pacotes de Ativos do Databricks (Visualização Pública)
12 de setembro de 2023
Os Pacotes de Ativos do Databricks, agora em Visualização Pública, permitem que dados de ponta a ponta, análises e projetos de ML sejam expressos como uma coleção de arquivos de origem. Isso torna mais simples aplicar as práticas recomendadas de engenharia de dados, como controle do código-fonte, revisão de código, teste e CI/CD.
Provedor Terraform do Databricks atualizado para a versão 1.25.0
12 de setembro de 2023
O provedor Terraform do Databricks versão 1.25.0 inclui a adição de permissão IS_OWNER para warehouses SQL do Databricks, correções secundárias, atualizações de documentação e muito mais. Para obter detalhes, confira o log de alterações da versão 1.25.0.
Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.2
12 de setembro de 2023
A extensão do Databricks para Visual Studio Code versão 1.1.2 adiciona suporte experimental para %run e # MAGIC em notebooks do Azure Databricks, corrige problemas de caminho com várias instalações locais da CLI do Databricks e muito mais. Para obter detalhes, confira o log de alterações da versão 1.1.2.
O Partner Connect dá suporte ao Snowplow
12 de setembro de 2023
Agora você pode usar o Partner Connect para conectar seu workspace do Azure Databricks ao Snowplow. Para obter mais informações, confira Conectar-se ao Snowplow.
CLI do Databricks atualizada para a versão 0.204.1 (Visualização Pública)
11 de setembro de 2023
A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.204.1. Para obter detalhes, confira o log de alterações da versão 0.204.1.
Filtrar dados confidenciais com filtros de linha e máscaras de coluna (Visualização Pública)
11 de setembro de 2023
Agora você pode aplicar filtros de linha e máscaras de coluna às tabelas para impedir o acesso a dados confidenciais por determinados usuários. Esses filtros e máscaras são implementados como funções definidas pelo usuário (UDFs) do SQL. Consulte Filtrar dados confidenciais da tabela usando filtros de linha e máscaras de coluna.
As tabelas do sistema agora incluem o esquema do Marketplace (Visualização Pública)
8 de setembro de 2023
As tabelas do sistema agora incluem um esquema marketplace que armazena dados do provedor do Marketplace. Você pode consultar a tabela marketplace.listing_access_events para recuperar as informações do consumidor quanto às ações executadas em suas listagens. Para obter mais informações, confira Referência das tabelas do sistema do Marketplace.
A tabela do sistema de preços já está disponível (Visualização Pública)
8 de setembro de 2023
As tabelas do sistema agora incluem uma tabela de preços (system.billing.list_prices) em que você pode monitorar o custo de um SKU ao longo do tempo. Esses logs podem ajudá-lo a executar a análise de custos e monitorar as alterações de preços. Confira a Referência da tabela do sistema de preços.
SDK do Databricks para Go atualizado para a versão 0.19.1 (beta)
7 de setembro de 2023
O SDK do Databricks para Go versão 0.19.1 continua algumas pequenas atualizações e correções. Para obter detalhes, consulte a caixa de alteração da versão 0.19.1.
Driver ODBC do Databricks 2.7.3
7 de setembro de 2023
Lançamos a versão 2.7.3 do driver ODBC do Databricks (download). Esta versão inclui os seguintes recursos e correções:
- Correções de vulnerabilidade, através da atualização de dependências de terceiros.
- Suporte a
SQL_ATTR_MAX_ROWS, que permite que um cliente limite o número de linhas a serem buscadas em uma consulta para agilizar o carregamento rápido (como visualização). - Suporte ao MacOS atualizado. O driver agora dá suporte ao Apple Silicon/M1.
- Suporte à autenticação baseada em navegador OAuth2 para facilitar o logon único (SSO).
Importante
Se você usar APIs de chave primária e chave estrangeira, a função SQLForeignKeys retornará um resultado vazio se o chamador passar um valor NULL para o catálogo da tabela primária ou da tabela estrangeira. Esse problema é conhecido pelos desenvolvedores.
CLI do Databricks atualizada para a versão 0.204.0 (Visualização Pública)
September 6, 2023
A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.204.0. Esta versão inclui o agrupamento de comandos relacionados à permissão, a adições e alterações em vários comandos e muito mais. Para obter detalhes, confira o log de alterações da versão 0.204.0.
O Data Explorer agora é o Catalog Explorer
September 6, 2023
O Data Explorer foi renomeado para Catalog Explorer para reconhecer o fato de que você pode usá-lo para trabalhar com todos os objetos seguros no Catálogo do Unity, não apenas com objetos de dados. Confira O que é o Gerenciador de Catálogos?.
SDK do Databricks para Go atualizado para a versão 0.19.0 (beta)
4 de setembro de 2023
O SDK do Databricks para Go versão 0.19.0 renomeia APIs de permissões, adiciona 8 APIs, adiciona 5 campos, altera e remove alguns campos, e altera alguns métodos. Para obter detalhes, consulte os logs de alterações da versão 0.19.0.
SDK do Databricks para Python atualizado para a versão 0.8.0 (Beta)
4 de setembro de 2023
A versão 0.8.0 do SDK do Databricks para Python renomeia as APIs de permissões, adiciona meia dúzia de campos, adiciona meia dúzia de classes de dados e introduz várias alterações e remoções. Para obter detalhes, consulte o log de alterações da versão 0.8.0.
Delegar privilégios da lista de permissões no Unity Catalog
1º de setembro de 2023
Agora você pode delegar privilégios para gerenciar itens na lista de permitidos do Catálogo do Unity. Confira Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.
A integração dos aplicativos do GitHub no Repos está em disponibilidade geral
1º de setembro de 2023
A integração de aplicativos do GitHub no Repos está em disponibilidade geral. O recurso permite o gerenciamento mais simples de credenciais do Git quando você se integra ao GitHub no Azure Repos.
Importante
Não há suporte para aplicativos do GitHub no GitHub Enterprise Server.