Novembro de 2023

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em novembro de 2023.

Observação

As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.

A Busca em Vetores do Databricks está Visualização Pública

30 de novembro de 2023

A Busca em Vetores do Databricks é um mecanismo de pesquisa de similaridade sem servidor que permite armazenar uma representação de vetor de seus dados, incluindo metadados, em um banco de dados de vetor. Como parte dessa funcionalidade, você pode criar índices de busca em vetores de atualização automática a partir de dados do Catálogo do Unity e consultá-los com uma API simples para retornar os vetores mais semelhantes como parte de seus fluxos de trabalho RAG. Consulte Busca em Vetores do Databricks.

As listas de controle de acesso não podem mais ser desabilitadas

29 de novembro de 2023

As seguintes configurações estão habilitadas em todos os espaços de trabalho do plano Premium e não podem mais ser desabilitadas na página de configurações de administrador do espaço de trabalho ou na API de Configuração do Espaço de trabalho:

  • Controle de acesso do espaço de trabalho: permite que os usuários configurem permissões para objetos de espaço de trabalho.
  • Controle de acesso de clusters, pools e trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
  • Controle de visibilidade do cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
  • Controle de visibilidade de trabalhos: impede que trabalhos fiquem visíveis a usuários que não têm permissões para eles.
  • Configuração de controle de visibilidade do espaço de trabalho: impede que notebooks e pastas fiquem visíveis a usuários que não têm permissões para eles.

As configurações de controle de acesso foram habilitadas em novos espaços de trabalho por padrão desde março de 2018 e as configurações de controle de visibilidade estão habilitadas por padrão desde dezembro de 2020.

Para obter mais informações, consulte Listas de controle de acesso.

Novos comportamentos e ações no Gerenciador de Catálogos para volumes

22 de novembro de 2023

Agora você pode criar um novo volume no esquema de destino, se não houver nenhum, na interface de usuário Carregar no volume. Consulte Carregar arquivos em um volume do Catálogo do Unity.

Ações como Excluir arquivo e Baixar arquivo foram adicionadas ao Gerenciador de Catálogos para arquivos em volumes.

O Databricks Runtime 14.2 está em disponibilidade geral

22 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML agora estão em disponibilidade geral.

Confira Databricks Runtime 14.2 e Databricks Runtime 14.2 para Machine Learning.

Conector do SQL do Databricks para Python versão 3.0.0

17 de novembro de 2023

Agora você pode executar pip install databricks-sql-connector==3.0.0.

Esta versão:

  • Remove o suporte ao Python 3.7
  • Adiciona suporte a consultas SQL parametrizadas nativas. Requer o DBR 14.2 e superior. Para obter mais informações, consulte Usando parâmetros nativos no repositório databricks-sql-python do GitHub.
  • Inclui nosso dialeto SQLAlchemy completamente reescrito:
    • Adiciona suporte ao SQLAlchemy >= 2.0 e elimina o suporte do SQLAlchemy 1.x
    • Cobertura completa dos testes de ponta a ponta de todos os recursos com suporte
    • Notas de uso detalhadas disponíveis aqui
    • Adiciona suporte para:
      • Novos tipos: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Escala e precisão do tipo Numeric, como Numeric(10,2)
      • Leitura e gravação de PrimaryKeyConstraint e ForeignKeyConstraint
      • Leitura e gravação de chaves compostas
      • Leitura e gravação de exibições
      • Gravando Identity em tabelas (chaves primárias com incremento automático)
      • LIMIT e OFFSET para paginação através dos resultados
      • Cache de chamadas de metadados
  • Habilita a Busca na Nuvem por padrão. Para desabilitar, defina use_cloud_fetch=False ao criar databricks.sql.client.
  • Adicionar testes de integração para consultas de ingestão de volumes do Catálogo do Unity do Azure Databricks
  • Tentativas:
    • Adicionar configuração _retry_max_redirects
    • Defina _enable_v3_retries=True e avise se os usuários o substituírem.
  • Segurança: aumenta a versão mínima do pyarrow para 14.0.1 (CVE-2023-47248)

Bibliotecas em arquivos de workspace com suporte em clusters compartilhados sem isolamento

15 de novembro de 2023

Agora você pode instalar bibliotecas armazenadas como arquivos de workspace para computação configurada com modo de acesso compartilhado sem isolamento no Databricks Runtime 14.1 e superior.

Substituição de bibliotecas de workspace

15 de novembro de 2023

As bibliotecas de workspace agora foram preteridas e a criação de novas bibliotecas de workspace foi desabilitada. As bibliotecas de workspace existentes continuam funcionando. Observe que o armazenamento de bibliotecas como arquivos de espaço de trabalho é diferente das bibliotecas de espaço de trabalho e ainda é totalmente suportado. Você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho diretamente em tarefas de computação ou de trabalho. Consulte Bibliotecas.

O suporte para tipos de VM de computação confidencial do Azure agora está em disponibilidade geral

15 de novembro de 2023

O suporte do Azure Databricks para tipos de VM de computação confidencial do Azure agora está disponível em geral. A computação confidencial do Azure ajuda a proteger os dados em uso, impedindo que o provedor de nuvem tenha acesso a dados confidenciais. Consulte VMs de computação confidencial do Azure

13 de novembro de 2023

Agora você pode encontrar conjuntos de dados, modelos de IA e Aceleradores de Solução do Databricks no Databricks Marketplace usando a barra de pesquisa global na interface do usuário do workspace do Azure Databricks. Consulte O que é o Databricks Marketplace? e Pesquisar objetos de workspace.

Consumir produtos de dados no Databricks Marketplace usando plataformas externas

10 de novembro de 2023

Os consumidores sem um workspace do Azure Databricks habilitado para catálogo do Unity agora podem acessar produtos de dados no Databricks Marketplace. Você pode usar conectores de compartilhamento aberto do Delta Sharing para acessar dados do Marketplace usando várias plataformas comuns, incluindo Microsoft Power BI, Microsoft Excel, pandas, Apache Spark e workspaces do Databricks que não são do catálogo do Unity. Somente conjuntos de dados tabulares estão disponíveis em plataformas externas (não notebooks ou modelos do Databricks, por exemplo). Consulte Solicitar e acessar produtos de dados no Databricks Marketplace usando plataformas externas.

Suporte para SQL warehouses sem servidor adicionados em várias regiões do Azure

9 de novembro de 2023

As seguintes regiões do Azure já dão suporte a SQL warehouses sem servidor:

  • Sul do Brasil (brazilsouth)
  • Índia Central (centralindia)
  • Leste do Japão (japaneast)
  • Centro-Norte dos EUA (northcentralus)
  • Sul do Reino Unido (uksouth)

Confira Regiões do Azure Databricks e Habilitar SQL warehouses sem servidor.

Ativação automática do Catálogo do Unity para novos espaços de trabalho

9 de novembro de 2023

O Databricks começou a habilitar o Catálogo do Unity automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Catálogo do Unity depois que um espaço de trabalho é criado. A implantação prosseguirá gradualmente em todas as contas. Confira Habilitação automática do Catálogo do Unity.

Databricks Runtime 14.2 (Beta)

8 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML agora estão disponíveis como versões beta.

Confira Databricks Runtime 14.2 e Databricks Runtime 14.2 para Machine Learning.

O Databricks Marketplace inclui Aceleradores de Solução do Databricks

7 de novembro de 2023

O Databricks Marketplace agora fornece acesso a Aceleradores de Solução do Databricks, guias criados com finalidade que fornecem notebooks totalmente funcionais, diretrizes de práticas recomendadas e dados de exemplo para que você se configure rapidamente com muitos casos de uso populares no Azure Databricks. Confira Obter acesso aos aceleradores de solução do Databricks.

Federação do Lakehouse adiciona suporte ao Google BigQuery

3 de novembro de 2023

Agora você pode configurar a Federação do Lakehouse para executar consultas federadas com o tipo de conector BigQuery. O novo conector do BigQuery é aceito nos warehouses SQL Pro e Sem Servidor e no Databricks Runtime 13.3 LTS e superior. Consulte Executar consultas federadas no BigQuery do Google.