Agosto de 2023
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2023.
Nota
Os lançamentos são encenados. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
As tabelas agora aparecem na pesquisa de navegação
31 de agosto de 2023
As tabelas registradas no Catálogo Unity agora aparecem na pesquisa de navegação na barra superior. Consulte Pesquisar objetos de espaço de trabalho.
CLI do Databricks atualizada para a versão 0.203.3 (Visualização pública)
30 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.3. Para obter detalhes, consulte o changelog para a versão 0.203.3.
Driver JDBC Databricks 2.6.34
30 de agosto de 2023
Lançamos a versão 2.6.34 do driver JDBC Databricks (download). Esta versão aborda uma série de problemas de vulnerabilidade atualizando bibliotecas de terceiros. Além disso, esta versão corrige os seguintes problemas:
- Vazamento de thread quando uma consulta não consegue se conectar ao servidor.
- Comentários ausentes na
REMARKScoluna dos metadados da tabela. - Quando uma operação de fechamento do conjunto de resultados retorna um erro, o conector não limpa as entradas do identificador de operação do thread de pulsação.
A versão também melhora o tratamento de mensagens de erro, honrando SQLState e códigos de erro do servidor, e verifica a versão do protocolo do servidor corretamente.
Databricks SDK for Go atualizado para a versão 0.18.0 (Beta)
29 de agosto de 2023
O Databricks SDK for Go versão 0.18.0 introduz 17 alterações de API de quebra, adiciona 30 APIs e adiciona cerca de uma dúzia de campos. Para obter detalhes, consulte o changelog para a versão 0.18.0.
Databricks SDK para Python atualizado para a versão 0.7.0 (Beta)
29 de agosto de 2023
O Databricks SDK para Python versão 0.7.0 introduz uma alteração de quebra para a API de arquivos, bem como 17 alterações de quebra adicionais. Esta versão também adiciona 14 campos e adiciona 27 classes de dados. Para obter detalhes, consulte o changelog da versão 0.7.0.
Databricks Terraform provedor atualizado para a versão 1.24.1
29 de agosto de 2023
Databricks Terraform provider versão 1.24.1 inclui uma correção para verificação da acessibilidade do espaço de trabalho. Para obter detalhes, consulte o changelog para a versão 1.24.1.
Scripts de inicialização no fim da vida útil do DBFS estendido até 1º de dezembro de 2023
29 de agosto de 2023
A Databricks anunciou anteriormente que os scripts init no DBFS chegariam ao fim da vida útil em 1º de setembro de 2023. A data de fim de vida foi prorrogada para 1º de dezembro de 2023.
Databricks Runtime 14.0 (Beta)
29 de agosto de 2023
O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML já estão disponíveis como versões Beta.
Consulte Databricks Runtime 14.0 e Databricks Runtime 14.0 para Machine Learning.
A experiência de navegação unificada é GA
28 de agosto de 2023
A experiência de navegação unificada do Azure Databricks agora está disponível ao público em geral. Os usuários não podem mais reverter para a experiência de navegação clássica. Para obter mais informações, consulte Navegar no espaço de trabalho.
Databricks Terraform provedor atualizado para a versão 1.24.0
25 de agosto de 2023
O provedor Databricks Terraform versão 1.24.0 adiciona suporte à API no nível da conta para objetos do Unity Catalog, adiciona acl_principal_id várias fontes de dados e muito mais. Para obter detalhes, consulte o changelog para a versão 1.24.0.
Configuração do Databricks Runtime for Genomics removida da página de configurações de administração do espaço de trabalho
25 de agosto de 2023
Os administradores de espaço de trabalho não podem mais habilitar ou desabilitar o Databricks Runtime for Genomics na página de configurações de administração do espaço de trabalho ou na API de configuração do espaço de trabalho. O tempo de execução do Databricks Genomics foi preterido e o suporte para o Databricks Runtime for Genomics foi removido em 24 de setembro de 2022.
O tempo de execução do Databricks Genomics foi preterido. Para equivalentes de código aberto, consulte repos para pipelines de genômica e Glow. As bibliotecas de bioinformática que faziam parte do tempo de execução foram lançadas como um contêiner do Docker, que pode ser extraído da página do ProjectGlow Dockerhub .
Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Versões LTS do Databricks Runtime suportadas.
Configuração de Serviços de Contêiner removida da página de configurações de administração do espaço de trabalho
25 de agosto de 2023
Os administradores do espaço de trabalho não podem mais habilitar ou desabilitar os Serviços de Contêiner na página de configurações de administração do espaço de trabalho. Os Serviços de Contêiner permitem que você use contêineres de clientes em seus clusters. Ele é habilitado por padrão em todos os novos espaços de trabalho. Os Serviços de Contêiner ainda podem ser habilitados ou desabilitados usando a API de configuração do Espaço de Trabalho. Para obter mais informações, consulte Habilitar serviços de contêiner.
CLI do Databricks atualizada para a versão 0.203.2 (Visualização pública)
24 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.2. Para obter detalhes, consulte o changelog para a versão 0.203.2.
Ir para definição de funções e variáveis em blocos de anotações Python
24 de agosto de 2023
No Databricks Runtime 12.2 LTS e superior, quando um bloco de anotações Python é conectado a um cluster, você pode navegar automaticamente até a definição de uma variável ou função definida nesse bloco de anotações. Consulte Ir para a definição para obter detalhes.
O navegador de esquema unificado é GA
24 de agosto de 2023
O navegador de esquema unificado agora está disponível em geral no Gerenciador de Catálogos, no editor SQL e em blocos de anotações. Consulte O que é o Catalog Explorer?.
Databricks Runtime 13.3 LTS é GA
22 de agosto de 2023
Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML estão agora disponíveis para o público em geral.
Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Machine Learning.
Apresentando tags com o Unity Catalog
22 de agosto de 2023
Agora você pode aplicar tags aos seus objetos protegíveis no Unity Catalog. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags.
A lista de permissões para scripts init, JARs e coordenadas Maven em clusters compartilhados do Unity Catalog está em Visualização Pública
23 de agosto de 2023
Agora você pode usar o Catálogo allowlist Unity para controlar a instalação de scripts init, JARs e coordenadas Maven na computação com o modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Consulte Bibliotecas Allowlist e scripts init em computação compartilhada.
O suporte a volumes para scripts init e JARs está em Visualização Pública
23 de agosto de 2023
Agora você pode usar os volumes do Catálogo Unity para armazenar scripts de inicialização e JARs em computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Consulte Bibliotecas com escopo de cluster e Instalar bibliotecas de um volume.
Confirmações de saída de arquivo .ipynb Databricks Repos mais fáceis
21 de agosto de 2023
O Databricks Repos adicionou recursos para tornar as confirmações de saída do arquivo .ipynb mais fáceis de controlar e ver:
- Os repositórios podem criar um arquivo de configuração commit_output para você.
- As notificações na interface do usuário informam o status das confirmações de saída.
- No menu Arquivo, você pode controlar se as saídas noteook são confirmadas.
Consulte Controlar confirmações de saída do bloco de anotações .ipynb.
Suporte de notebook IPYNB no Databricks Repos é GA
21 de agosto de 2023
O suporte a arquivos de notebook IPYNB no Databricks Repos é GA. Para obter mais informações sobre Repos, consulte:
Databricks SDK for Go atualizado para a versão 0.17.0 (Beta)
18 de agosto de 2023
O Databricks SDK for Go versão 0.17.0 adiciona mais de 30 APIs e renomeia cerca de 10 APIs. Para obter detalhes, consulte o changelog para a versão 0.17.0.
Databricks SDK para Python atualizado para a versão 0.6.0 (Beta)
18 de agosto de 2023
O Databricks SDK para Python versão 0.6.0 adiciona cerca de 20 classes de dados, adiciona cerca de 10 APIs e inclui cerca de 20 renomeações. Para obter detalhes, consulte o changelog para a versão 0.6.0.
CLI do Databricks atualizada para a versão 0.203.1 (Visualização pública)
16 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.1. Para obter detalhes, consulte o changelog para a versão 0.203.1.
O Unified Schema Browser agora é GA
16 de agosto de 2023
Uma maneira unificada de navegar em seus dados agora está disponível para blocos de anotações, Editor SQL e Gerenciador de Catálogos, incluindo os seguintes novos recursos:
- Versão condensada da árvore.
- Exibição da contagem de objetos do Unity Catalog no nível do esquema durante a filtragem.
- Clique com o botão direito do rato no menu para ver as ações.
As alterações de sub-rede sem servidor podem afetá-lo se você codificar IDs em um script ou modelo
15 de agosto de 2023
Se você usar um firewall de Armazenamento do Azure, até o final de agosto, algumas IDs de sub-rede serão alteradas. Isso não afeta a maioria dos clientes porque o Azure migra automaticamente IDs de sub-rede em regras de firewall de armazenamento existentes. Essa migração não afeta as cargas de trabalho existentes.
Se você codificar a lista de sub-redes sem servidor em um modelo ou script que atualize suas regras de firewall de armazenamento do Azure, deverá obter a lista mais recente de IDs de sub-rede antes de tentar atualizar as regras. Para obter as IDs mais recentes para cada região, consulte Segurança de rede do SQL warehouse sem servidor.
Databricks SDK for Go atualizado para a versão 0.16.0 (Beta)
14 de agosto de 2023
O Databricks SDK for Go versão 0.16.0 adiciona cerca de uma dúzia de campos, remove cerca de meia dúzia de campos e altera as assinaturas de cerca de meia dúzia de APIs. Para obter detalhes, consulte o changelog para a versão 0.16.0.
O Partner Connect suporta o Census
14 de agosto de 2023
Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao Census. Para obter mais informações, consulte Conectar-se ao censo.
Chaves HSM gerenciadas do Azure Key Vault agora com suporte para chaves gerenciadas pelo cliente
14 de agosto de 2023
Alguns serviços e dados do Azure Databricks suportam a adição de uma chave gerenciada pelo cliente para ajudar a proteger e controlar o acesso a dados criptografados. O Azure Databricks tem três recursos principais gerenciados pelo cliente que envolvem diferentes tipos de dados e locais. Todos esses três recursos agora oferecem suporte a chaves gerenciadas pelo cliente do Azure Key Vault Managed HSM (Módulos de Segurança de Hardware) juntamente com os cofres do Azure Key Vault. Consulte Chaves gerenciadas pelo cliente para criptografia.
Databricks SDK para Python atualizado para a versão 0.5.0 (Beta)
11 de agosto de 2023
O Databricks SDK para Python versão 0.5.0 altera as assinaturas de meia dúzia de APIs, adiciona uma dúzia de campos, remove meia dúzia de campos e adiciona algumas classes de dados. Para obter detalhes, consulte o changelog para a versão 0.5.0.
Suporte de gravação programática para arquivos de espaço de trabalho
11 de agosto de 2023
Os clusters que usam o Databricks Runtime 11.2 e superior suportam a gravação em arquivos de espaço de trabalho. Você pode criar, atualizar e excluir arquivos e diretórios programaticamente em seu espaço de trabalho.
CLI do Databricks atualizada para a versão 0.203.0 (Public Preview)
10 de agosto de 2023
A interface de linha de comando Databricks (Databricks CLI) versão 0.203.0 melhora o auth login comando e muito mais. Para obter detalhes, consulte o changelog para a versão 0.203.0.
Databricks Terraform provedor atualizado para a versão 1.23.0
9 de agosto de 2023
Databricks Terraform provider versão 1.23.0 se estende RunJobTask com campos suportados adicionais em databricks_job, adiciona suporte de exportador para databricks_model_serving, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.23.0.
Os grupos agora podem ser renomeados
8 de agosto de 2023
Agora você pode renomear grupos de contas existentes e grupos locais de espaço de trabalho. Consulte Alterar o nome de um grupo.
Databricks SDK for Go atualizado para a versão 0.15.0 (Beta)
7 de agosto de 2023
O Databricks SDK for Go versão 0.15.0 refatora APIs relacionadas a permissões para torná-las mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o changelog para a versão 0.15.0.
Databricks SDK para Python atualizado para a versão 0.4.0 (Beta)
7 de agosto de 2023
O Databricks SDK para Python versão 0.4.0 refatora APIs relacionadas a permissões para torná-las mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o changelog da versão 0.4.0.
A definição de configuração de prevenção de iFraming de terceiros foi removida
7 de agosto de 2023
O Azure Databricks reduz o risco de domínios de terceiros do iFraming Azure Databricks adicionando cabeçalhos HTTP apropriados. A prevenção de iFraming de terceiros ainda está habilitada por padrão, mas o Azure Databricks removeu a configuração de administrador do espaço de trabalho para desativá-la. Se você desabilitou anteriormente o iFraming de terceiros para um espaço de trabalho, o recurso continua a ser desabilitado para esse espaço de trabalho. Para reativar o iEnquadramento de terceiros, entre em contato com sua equipe de conta do Azure Databricks.
Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.1
4 de agosto de 2023
A extensão Databricks para Visual Studio Code versão 1.1.1 fornece várias correções secundárias, por exemplo, manipulação correta da variável de HOME ambiente no Windows e muito mais. Para obter detalhes, consulte o changelog para a versão 1.1.1.
LangChain disponível em 13.1 e superior
4 de agosto de 2023
O LangChain está disponível como um sabor experimental de MLflow que permite que os clientes do LangChain aproveitem as ferramentas robustas e os recursos de rastreamento de experimentos do MLflow diretamente do ambiente do Azure Databricks.
LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam grandes modelos de linguagem (LLMs) e combiná-los com dados externos para trazer mais contexto de treinamento para LLMs.
O Databricks Runtime for Machine Learning inclui langchain no Databricks Runtime 13.1 ML e superior.
Engenharia de recursos no catálogo Unity é visualização pública
3 de agosto de 2023
Com a Engenharia de Recursos no Unity Catalog, o Unity Catalog se torna sua loja de recursos. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelos. O Unity Catalog fornece descoberta e governança de recursos.
Tratamento de erros melhorado para repetidas falhas contínuas de trabalho
3 de agosto de 2023
Trabalhos contínuos que excedem um limite para falhas consecutivas agora usam um esquema de backoff exponencial para repetir execuções de trabalho de forma eficiente e permitir que os trabalhos se recuperem de problemas transitórios. Anteriormente, os trabalhos contínuos que excediam o limite de falha eram pausados e não repetidos.
Armazéns SQL sem servidor agora disponíveis em regiões adicionais
3 de agosto de 2023
Armazéns SQL sem servidor disponíveis em regiões adicionais: Leste da Austrália, Canadá Central, Oeste dos EUA 2, Centro-Sul dos EUA e Sudeste Asiático. Consulte Regiões do Azure Databricks.
Se você planeja usar um firewall do Armazenamento do Azure, configure o firewall para permitir o acesso de sub-redes do SQL warehouse sem servidor. Consulte Segurança de rede do SQL warehouse sem servidor.
Compartilhar esquemas usando o Compartilhamento Delta (Visualização Pública)
2 de agosto de 2023
Agora você pode usar o Compartilhamento Delta para compartilhar um esquema inteiro, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você compartilhá-lo, juntamente com quaisquer tabelas e exibições que forem adicionadas ao esquema no futuro. Adicionar esquemas a um compartilhamento usando comandos SQL requer um SQL warehouse no SQL compute versão 2023.35 ou superior, ou um cluster executando o Databricks Runtime 13.2 ou superior. Fazer o mesmo usando o Catalog Explorer não tem requisitos de computação. Consulte Adicionar esquemas a um compartilhamento.
Executar tarefas condicionalmente em seus trabalhos do Azure Databricks
2 de agosto de 2023
Você pode usar a nova Run if condição para executar uma tarefa de trabalho com base no status das dependências da tarefa, fornecendo mais flexibilidade ao implementar um fluxo de trabalho com um trabalho do Azure Databricks. Por exemplo, você pode usar a Run if condição para executar uma tarefa quando algumas ou todas as dependências da tarefa falharem. Consulte Executar tarefas condicionalmente em um trabalho do Azure Databricks.
Databricks Terraform provedor atualizado para a versão 1.22.0
1 de agosto de 2023
O provedor Databricks Terraform versão 1.22.0 adiciona um databricks_access_control_rule_set recurso, adiciona databricks_metastore fontes de databricks_metastore dados e muito mais. Para obter detalhes, consulte o changelog para a versão 1.22.0.
Recursos aprimorados de segurança e conformidade
1 de agosto de 2023
Você pode habilitar o perfil de segurança de conformidade, que fornece monitoramento adicional, uma imagem de computação reforçada e outros recursos em seus espaços de trabalho. O perfil de segurança de conformidade é necessário para usar o Azure Databricks para processar dados regulados pelo PCI-DSS, mas você pode optar por habilitar o perfil se não estiver processando esses dados. Você é o único responsável por garantir sua própria conformidade com todas as leis e regulamentos aplicáveis.
Como alternativa, você pode habilitar separadamente o monitoramento de segurança aprimorado, que fornece monitoramento adicional e uma imagem de computação reforçada.
Ambos os recursos estão disponíveis como parte do novo complemento Segurança e Conformidade Aprimoradas. Se você habilitar qualquer um desses recursos em um espaço de trabalho, será cobrado pelo novo complemento conforme descrito na página de preços. Ambos os recursos exigem o nível de preço Premium.
Lakehouse Monitoring é visualização pública
1 de agosto de 2023
O Databricks Lakehouse Monitoring integra o monitoramento de dados e qualidade do modelo na plataforma Databricks. Ele fornece métricas de qualidade prontas para uso, como estatísticas resumidas, mudanças na distribuição ao longo do tempo e desempenho do modelo, incluindo equidade e parcialidade. O Lakehouse Monitoring gera automaticamente um painel de resumo para ajudá-lo a visualizar a qualidade dos dados ao longo do tempo. Você também pode configurar alertas com base nos dados.
Databricks Runtime 13.3 LTS (Beta)
1 de agosto de 2023
Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML estão agora disponíveis como versões Beta.
Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Machine Learning.
Novas operações Git estão geralmente disponíveis: mesclar ramificações, rebasear e puxar com resolução de conflitos
1 de agosto de 2023
As seguintes operações do Git agora estão geralmente disponíveis no Databricks Repos:
- Mesclar e rebasear: agora você pode mesclar ou rebasear duas ramificações diretamente no Azure Databricks. Isso simplifica o processo de combinação de ramificações e fornece a capacidade de resolver conflitos que surgem durante a operação.
- Pull com resolução de conflitos: agora você pode usar o Databricks Repos para gerenciar e resolver conflitos que acontecem quando você extrai de um repositório Git remoto usando o Azure Databricks.
Com essas novas e poderosas ferramentas de resolução de conflitos, a colaboração em código usando o Databricks Repos torna-se ainda mais simplificada e eficiente.