Agosto de 2023
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em agosto de 2023.
Observação
As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Agora as tabelas são exibidas na pesquisa de navegação
31 de agosto de 2023
Agora, as tabelas registradas no Catálogo do Unity aparecem na pesquisa de navegação na barra superior. Consulte Pesquisar objetos do espaço de trabalho.
CLI do Databricks atualizada para a versão 0.203.3 (Visualização Pública)
30 de agosto de 2023
A CLI (interface de linha de comando) do Databricks foi atualizada para a versão 0.203.3. Para obter detalhes, consulte o log de alterações da versão 0.203.3.
Databricks JDBC driver 2.6.34
30 de agosto de 2023
Lançamos a versão 2.6.34 do driver JDBC do Databricks (download). Esta versão resolve vários problemas de vulnerabilidade atualizando bibliotecas de terceiros. Além disso, esta versão corrige os seguintes problemas:
- Vazamento de thread quando uma consulta falha ao se conectar ao servidor.
- Comentários ausentes na coluna
REMARKSdos metadados da tabela. - Quando uma operação de fechamento do conjunto de resultados retorna um erro, o conector não limpa as entradas do identificador de operação do thread de pulsação.
A versão também melhora o tratamento de mensagens de erro, honrando SQLState e códigos de erro do servidor, e verifica a versão do protocolo do servidor corretamente.
SDK do Databricks para Go atualizado para a versão 0.18.0 (beta)
29 de agosto de 2023
O SDK do Databricks para Go versão 0.18.0 apresenta 17 alterações de API interruptivas, adiciona 30 APIs e adiciona cerca de uma dúzia de campos. Para obter detalhes, consulte o log de alterações da versão 0.18.0.
SDK do Databricks para Python atualizado para a versão 0.7.0 (Beta)
29 de agosto de 2023
SDK do Databricks para Python versão 0.7.0 apresenta uma alteração significativa para a API de arquivos, bem como 17 alterações de falha adicionais. Esta versão também adiciona 14 campos e adiciona 27 classes de dados. Para obter detalhes, consulte o log de alterações da versão 0.7.0.
Provedor Terraform do Databricks atualizado para a versão 1.24.1
29 de agosto de 2023
O provedor Terraform do Databricks versão 1.24.1 inclui uma correção para verificação da acessibilidade do workspace. Para obter detalhes, consulte o log de alterações da versão 1.24.1.
Scripts de inicialização no fim da vida útil do DBFS estendido até 1º de dezembro de 2023
29 de agosto de 2023
A Databricks anunciou anteriormente que os scripts de inicialização no DBFS chegariam ao fim da vida útil em 1º de setembro de 2023. A data de fim de vida foi prorrogada para 1º de dezembro de 2023.
Databricks Runtime 14.0 (Beta)
29 de agosto de 2023
O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML agora estão disponíveis como versões Beta.
Confira Databricks Runtime 14.0 (sem suporte) e Databricks Runtime 14.0 para Machine Learning (sem suporte).
A experiência de navegação unificada é em GA
28 de agosto de 2023
A experiência de navegação unificada do Azure Databricks agora está disponível para o público geral. Os usuários não podem mais reverter para a experiência de navegação clássica. Para obter mais informações, consulte Navegar no espaço de trabalho.
Provedor Terraform do Databricks atualizado para a versão 1.24.0
25 de agosto de 2023
O provedor Terraform do Databricks versão 1.24.0 adiciona suporte à API no nível da conta para objetos do Catálogo do Unity, adiciona acl_principal_id a várias fontes de dados e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.24.0.
A configuração do Databricks Runtime for Genomics foi removida da página de configurações do administrador do espaço de trabalho
25 de agosto de 2023
Os administradores do espaço de trabalho não podem mais habilitar ou desabilitar o Databricks Runtime for Genomics na página de configurações do administrador do espaço de trabalho ou na API de configuração do espaço de trabalho. O tempo de execução do Databricks Genomics foi preterido e o suporte para o Databricks Runtime for Genomics foi removido em 24 de setembro de 2022.
O runtime do Databricks Genomics foi preterido. Para equivalentes de código aberto, consulte repositórios para genomics-pipelines e Glow.
Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Versões compatíveis com o Databricks Runtime LTS.
Configuração dos Serviços de Contêiner removida da página de configurações de administrador do espaço de trabalho
25 de agosto de 2023
Os administradores do espaço de trabalho não podem mais habilitar ou desabilitar os Serviços de Contêiner na página de configurações de administração do espaço de trabalho. Os Serviços de Contêiner permitem que você use contêineres de clientes em seus clusters. Ele é habilitado por padrão em todos os novos espaços de trabalho. Os Serviços de Contêiner ainda podem ser habilitados ou desabilitados usando a API de configuração do Espaço de Trabalho. Para obter mais informações, consulte Habilitar serviços de contêiner.
CLI do Databricks atualizada para a versão 0.203.2 (Visualização Pública)
24 de agosto de 2023
A CLI (interface de linha de comando) do Databricks foi atualizada para a versão 0.203.2. Para obter detalhes, consulte o log de alterações da versão 0.203.2.
Acessar definições das funções e variáveis nos notebooks do Python
24 de agosto de 2023
No Databricks Runtime 12.2 LTS e superior, quando um notebook Python é anexado a um cluster, é possível navegar automaticamente para a definição de uma variável ou função definida nesse notebook. Consulte Ir para definição para obter detalhes.
O navegador de esquema unificado é em GA
24 de agosto de 2023
O navegador de esquema unificado agora está disponível para o público geral no Explorador de Catálogos, no Editor SQL e nos notebooks. Confira O que é o Explorador de Catálogos?.
Databricks Runtime 13.3 LTS é em GA
22 de agosto de 2023
O Databricks Runtime 13.3 LTS e o Databricks Runtime 13.3 LTS ML agora estão disponíveis para o público em geral.
Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Machine Learning.
Apresentando tags com o Catálogo do Unity
22 de agosto de 2023
Agora você pode aplicar tags aos seus objetos protegíveis no Catálogo do Unity. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags.
A lista de permissões para scripts de inicialização, JARs e coordenadas Maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública
23 de agosto de 2023
Agora você pode usar o Catálogo do Unity allowlist para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven na computação com modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Confira Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.
O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
23 de agosto de 2023
Agora você pode usar volumes do Catálogo Unity para armazenar scripts de inicialização e JARs em computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Veja Bibliotecas com escopo de cluster e Instalar bibliotecas de um volume.
Confirmações de saída de arquivo .ipynb mais fáceis do repositório Databricks
21 de agosto de 2023
O repositório do Databricks adicionou recursos para tornar as confirmações de saída de arquivo .ipynb mais fáceis de controlar e ver:
- Os repositórios podem criar um arquivo de configuração commit_output para você.
- As notificações na interface do usuário permitem que você saiba o status das confirmações de saída.
- No menu Arquivo, você pode controlar se as saídas do notebook são confirmadas.
Confira Controlar commits de saída do notebook .ipynb.
Suporte a notebook IPYNB no repositório do Databricks é em GA
21 de agosto de 2023
O suporte a arquivos de notebook IPYNB no repositório do Databricks é em GA. Para obter mais informações sobre repositórios, consulte:
SDK do Databricks para Go atualizado para a versão 0.17.0 (beta)
18 de agosto de 2023
O SDK do Databricks para Go versão 0.17.0 adiciona mais de 30 APIs e renomeia cerca de 10 APIs. Para obter detalhes, consulte o log de alterações da versão 0.17.0.
SDK do Databricks para Python atualizado para a versão 0.6.0 (Beta)
18 de agosto de 2023
SDK do Databricks para Python versão 0.6.0 adiciona cerca de 20 classes de dados, adiciona cerca de 10 APIs e inclui cerca de 20 renomeações. Para obter detalhes, consulte o log de alterações da versão 0.6.0.
CLI do Databricks atualizada para a versão 0.203.1 (Versão Prévia Pública)
16 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.1. Para obter detalhes, consulte o log de alterações da versão 0.203.1.
O navegador de esquema unificado é em GA
16 de agosto de 2023
Uma maneira unificada de navegar pelos dados agora está disponível para notebooks, Editor SQL e Explorador de Catálogos, incluindo os seguintes novos recursos:
- Versão condensada da árvore.
- Exibição da contagem de objetos do Catálogo do Unity no nível do esquema durante a filtragem.
- Clique com o botão direito do mouse no menu para exibir ações.
As alterações de sub-rede sem servidor podem afetá-lo se você codificar IDs em um script ou modelo
15 de agosto de 2023
Se você usar um firewall de Armazenamento do Azure, até o final de agosto, algumas IDs de sub-rede serão alteradas. Isso não afeta a maioria dos clientes porque o Azure migra automaticamente IDs de sub-rede em regras de firewall de armazenamento existentes. Essa migração não afeta as cargas de trabalho existentes.
Se você codificar a lista de sub-redes sem servidor em um modelo ou script que atualize suas regras de firewall de armazenamento do Azure, deverá obter a lista mais recente de IDs de sub-rede antes de tentar atualizar as regras. Para obter as IDs mais recentes para cada região, confira Regiões do Azure Databricks.
SDK do Databricks para Go atualizado para a versão 0.16.0 (beta)
14 de agosto de 2023
O SDK do Databricks para Go versão 0.16.0 adiciona cerca de uma dúzia de campos, remove cerca de meia dúzia de campos e altera as assinaturas de cerca de meia dúzia de APIs. Para obter detalhes, consulte o log de alterações da versão 0.16.0.
O Partner Connect oferece suporte ao Census
14 de agosto de 2023
Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao Census. Para obter mais informações, consulte Conectar-se ao Census.
As chaves HSM gerenciadas do Azure Key Vault agora têm suporte para chaves gerenciadas pelo cliente
14 de agosto de 2023
Alguns serviços e dados do Azure Databricks dão suporte à adição de uma chave gerenciada pelo cliente para ajudar a proteger e controlar o acesso a dados criptografados. O Azure Databricks tem três recursos-chave gerenciados pelo cliente que envolvem diferentes tipos de dados e locais. Todos esses três recursos agora oferecem suporte a chaves gerenciadas pelo cliente do HSM gerenciado do Azure Key Vault (Módulos de Segurança de Hardware) junto com os cofres do Azure Key Vault. Consulte Chaves gerenciadas pelo cliente para criptografia.
SDK do Databricks para Python atualizado para a versão 0.5.0 (Beta)
11 de agosto de 2023
SDK do Databricks para Python versão 0.5.0 altera as assinaturas de meia dúzia de APIs, adiciona uma dúzia de campos, remove meia dúzia de campos e adiciona algumas classes de dados. Para obter detalhes, consulte o log de alterações da versão 0.5.0.
Suporte de gravação programática para arquivos de espaço de trabalho
11 de agosto de 2023
Os clusters que usam o Databricks Runtime 11.2 e superior oferecem suporte à gravação em arquivos de espaço de trabalho. Você pode programaticamente criar, atualizar e excluir arquivos e diretórios em seu espaço de trabalho.
CLI do Databricks atualizada para a versão 0.203.0 (visualização pública)
10 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) versão 0.203.0 melhora o comando auth login e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.203.0.
Provedor Terraform do Databricks atualizado para a versão 1.23.0
9 de agosto de 2023
O provedor Terraform do Databricks versão 1.23.0 estende RunJobTask com mais campos compatíveis no databricks_job, adiciona compatibilidade de exportador para databricks_model_serving e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.23.0.
Os grupos agora podem ser renomeados
8 de agosto de 2023
Agora você pode renomear grupos de contas existentes e grupos locais de espaço de trabalho. Consulte Alterar o nome de um grupo.
Databricks SDK for Go atualizado para a versão 0.15.0 (Beta)
7 de agosto de 2023
O Databricks SDK for Go versão 0.15.0 refatora APIs relacionadas a permissões para torná-las mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o log de alterações da versão 0.15.0.
Databricks SDK para Python atualizado para a versão 0.4.0 (Beta)
7 de agosto de 2023
O Databricks SDK para Python versão 0.4.0 refatora APIs relacionadas a permissões para torná-las mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o log de alterações da versão 0.4.0.
A definição de configuração de prevenção de iFraming de terceiros foi removida
7 de agosto de 2023
O Azure Databricks reduz o risco de domínios de terceiros do iFraming Azure Databricks adicionando cabeçalhos HTTP apropriados. A prevenção de iFraming de terceiros ainda está habilitada por padrão, mas o Azure Databricks removeu a configuração de administrador do espaço de trabalho para desabilitá-la. Se você desabilitou anteriormente o iFraming de terceiros para um espaço de trabalho, o recurso continuará sendo desabilitado para esse espaço de trabalho. Para habilitar novamente o iFraming de terceiros, entre em contato com sua equipe de conta do Azure Databricks.
Extensão Databricks para Visual Studio Code atualizado para a versão 1.1.1
4 de agosto de 2023
A versão 1.1.1 da extensão Databricks para o Visual Studio Code fornece várias correções secundárias, por exemplo, o tratamento correto da variável de ambiente HOME no Windows, entre outras. Para obter detalhes, consulte o log de alterações da versão 1.1.1.
LangChain disponível em 13.1 e superior
4 de agosto de 2023
O LangChain está disponível como uma variante experimental do MLflow que permite que os clientes do LangChain aproveitem as ferramentas robustas e os recursos de acompanhamento de experimentos do MLflow diretamente do ambiente do Azure Databricks.
LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam grandes modelos de linguagem (LLMs) e combiná-los com dados externos para trazer mais contexto de treinamento para LLMs.
O Databricks Runtime para Machine Learning inclui o langchain no Databricks Runtime 13.1 ML e superior.
A engenharia de recursos no Unity Catalog é uma Visualização Pública
03 de agosto de 2023
Com a Engenharia de Recursos no Catálogo do Unity, o Catálogo do Unity se torna seu repositório de recursos. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelo. O Catálogo do Unity fornece descoberta e governança de recursos.
Tratamento de erros aprimorado para falhas repetidas de trabalho contínuo
03 de agosto de 2023
Os trabalhos contínuos que excedem um limite para falhas consecutivas agora usam um esquema de retirada exponencial para repetir com eficiência as execuções de trabalho e permitir que os trabalhos se recuperem de problemas transitórios. Anteriormente, os trabalhos contínuos que excediam o limite de falha eram pausados e não repetidos.
Warehouses SQL sem servidor agora disponíveis em regiões adicionais
03 de agosto de 2023
Warehouses SQL sem servidor disponíveis em regiões adicionais: Leste da Austrália, Canadá Central, Oeste dos EUA 2, Centro-Sul dos EUA e Sudeste Asiático. Confira Regiões do Azure Databricks.
Se você planeja usar um firewall de Armazenamento do Azure, configure o firewall para permitir o acesso de sub-redes do warehouse SQL sem servidor. Confira Regiões do Azure Databricks.
Compartilhar esquemas usando o compartilhamento Delta (visualização pública)
2 de agosto de 2023
Agora você pode usar o compartilhamento Delta para compartilhar um esquema inteiro, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que o compartilhar, juntamente com todas as tabelas e exibições adicionadas ao esquema no futuro. Para adicionar esquemas a um compartilhamento com o uso de comandos SQL, é necessário ter um SQL warehouse ou um cluster que execute o Databricks Runtime 13.2 ou superior. Para fazer o mesmo usando o Explorador de catálogos, você não precisa de computação. Consulte Adicionar esquemas a um compartilhamento.
Executar tarefas condicionalmente em seus trabalhos do Azure Databricks
2 de agosto de 2023
Você pode usar a nova condição Run if para executar uma tarefa de trabalho com base no status das dependências da tarefa, fornecendo mais flexibilidade ao implementar um fluxo de trabalho com um trabalho do Azure Databricks. Por exemplo, você pode usar a condição Run if para executar uma tarefa quando algumas ou todas as dependências da tarefa falharem. Consulte Executar tarefas condicionalmente em um trabalho do Azure Databricks.
Provedor Databricks Terraform atualizado para a versão 1.22.0
1 de agosto de 2023
O provedor do Databricks Terraform versão 1.22.0 adiciona um recursodatabricks_access_control_rule_set, adiciona fontes de dados databricks_metastore e databricks_metastore e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.22.0.
Recursos aprimorados de segurança e conformidade
1 de agosto de 2023
Você pode habilitar a conformidade do perfil de segurança, que fornece monitoramento adicional, uma imagem de computação reforçada e outros recursos em seus espaços de trabalho. O perfil de segurança de conformidade é necessário para usar o Azure Databricks para processar dados regulados pelo PCI-DSS, mas você pode optar por habilitar o perfil se não estiver processando esses dados. Você é o único responsável por garantir sua própria conformidade com todas as leis e regulamentos aplicáveis.
Alternativamente, você pode habilitar separadamente o monitoramento de segurança aprimorado, que fornece monitoramento adicional e uma imagem de computação protegida.
Ambos os recursos estão disponíveis como parte do novo complemento Segurança e conformidade avançadas. Se você habilitar qualquer um desses recursos em um espaço de trabalho, será cobrado pelo novo complemento, conforme descrito na página de preços. Ambos os recursos exigem o nível de preços Premium.
O monitoramento da Lakehouse está em visualização pública
1 de agosto de 2023
O Monitoramento do Databricks Lakehouse integra dados e monitoramento de qualidade de modelos na plataforma Databricks. Ele fornece métricas de qualidade prontas para uso, como estatísticas resumidas, alterações na distribuição ao longo do tempo e desempenho do modelo, incluindo imparcialidade e desvio. O Monitoramento do Lakehouse gera automaticamente um resumo dashboard para ajudar você a visualizar a qualidade dos dados ao longo do tempo. Você também pode configurar alertas com base nos dados.
Databricks Runtime 13.3 LTS (Beta)
1 de agosto de 2023
O Databricks Runtime 13.3 LTS e o Databricks Runtime 13.3 LTS ML agora estão disponíveis como versões Beta.
Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Machine Learning.
As novas operações Git estão disponíveis para o público em geral: mesclar ramificações, rebasear e efetuar pull com resolução de conflitos
1 de agosto de 2023
As seguintes operações do Git agora estão disponíveis no repositório do Databricks:
- Mesclar e rebasear: agora você pode mesclar Git ou rebasear duas ramificações diretamente no Azure Databricks. Isso simplifica o processo de combinação de ramificações e fornece a capacidade de resolver conflitos que surgem durante a operação.
- Pull com resolução de conflitos: agora você pode usar o Databricks Repos para gerenciar e resolver conflitos que acontecem quando você extrai de um repositório Git remoto usando o Azure Databricks.
Com essas novas e poderosas ferramentas de resolução de conflitos, a colaboração em código usando o repositório Databricks se torna ainda mais simplificada e eficiente.