Maio de 2021

  • Artigo

Esses recursos e melhorias da plataforma Azure Databricks foram lançados em maio de 2021.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Machine Learning do Databricks: uma solução colaborativa e nativa de dados para o ciclo de vida completo do ML

27 de maio de 2021

A nova persona do Machine Learning, selecionável na barra lateral da interface do usuário do Azure Databricks, oferece acesso fácil a um novo ambiente desenvolvido para ML, incluindo o registro de modelo e quatro novos recursos na visualização pública:

  • Uma nova página de painel com recursos convenientes, recentes e links de introdução.
  • Uma nova página Experimentos que centraliza a descoberta e o gerenciamento de experimentos.
  • O AutoML permite gerar automaticamente modelos de machine learning com base nos dados e agilizar a produção.
  • O Repositório de recursos permite catalogar recursos de ML e disponibilizá-los para treinamento e veiculação, aumentando a reutilização. Com uma pesquisa de recursos baseada em linhagem de dados, que aproveita as fontes de dados registradas automaticamente, você pode disponibilizar recursos para treinamento e veiculação com uma implantação de modelo simplificada, sem alterações no aplicativo cliente.

Para obter detalhes, confira IA e aprendizado de máquina no Databricks.

A Análise de SQL foi renomeada para Databricks SQL

27 de maio de 2021

A Análise de SQL foi renomeada para Databricks SQL. Para obter mais informações, consulte a Nota de versão do Databricks SQL.

Criar e gerenciar pipelines de ETL usando o Delta Live Tables (versão prévia pública)

26 de maio de 2021

O Databricks tem o prazer de introduzir tabelas Delta em tempo real, um serviço de nuvem que torna o desenvolvimento de ETL (extração, transformação e carregamento) simples, confiável e escalonável. Delta Live Tables:

  • Fornece uma interface declarativa intuitiva e familiar para criar pipelines.
  • Permite monitorar pipelines de processamento de dados, visualizar dependências e gerenciar pipelines e dependências em diferentes ambientes.
  • Habilita o desenvolvimento controlado por testes, a imposição de restrições de qualidade de dados e a aplicação de políticas de tratamento de erros de dados uniformes
  • Automatiza a implantação de seus pipelines de processamento de dados para que você possa atualizar, reverter e reprocessar os dados de maneira incremental.

Consulte O que é o Delta Live Tables para obter mais informações.

As VMs Spot do Azure estão em GA

24 de maio de 2021

A capacidade de criar clusters Azure Databricks com máquinas virtuais do Azure Spot agora está disponível para o público geral. Agora você pode obter o benefício de instâncias especiais do Azure de custo significativamente mais baixo e reduzir o TCO (custo total de propriedade) de Azure Databricks. Você pode optar por usar as instâncias especiais do Azure ao:

Criptografar as consultas e o histórico de consultas do Databricks SQL usando sua própria chave (versão prévia pública)

20 de maio de 2021

Para obter detalhes, confira as Notas de versão do Databricks SQL.

Maior limite para o número de clusters de uso geral encerrados

18 de maio de 2021: versão 3.46

Agora você pode ter até 150 de clusters de uso final encerrado em um espaço de trabalho Azure Databricks. Anteriormente, o limite era de 120. Para obter detalhes, consulte Encerrar uma computação. O limite no número de clusters para todas as finalidades encerrados e retornados pela solicitação da API de Clusters agora também é de 150.

Maior limite para o número de clusters fixados

18 de maio de 2021: versão 3.46

Agora você pode ter até 70 clusters fixados em um espaço de trabalho Azure Databricks. Anteriormente, o limite era de 50. Para obter detalhes, consulte Fixar uma computação

Gerenciar onde os resultados do notebook são armazenados (Versão Prévia Pública)

18 de maio de 2021: versão 3.46

Agora você pode optar por armazenar todos os resultados do bloco de notas em sua instância raiz Armazenamento do Azure, independentemente do tamanho ou do tipo de execução. Por padrão, alguns resultados de blocos de anotações interativos são armazenados em Azure Databricks. Uma nova configuração permite que você as armazene na instância raiz Armazenamento do Azure em sua própria conta. Para mais detalhes, consulte Configurar o local de armazenamento de resultados do notebook.

Esse recurso não tem impacto sobre os trabalhos executados no bloco de anotações, cujos resultados são sempre armazenados na instância raiz Armazenamento do Azure.

Criptografar dados secretos e de notebook no painel de controle com sua própria chave (visualização pública)

10 de maio de 2021

Um workspace do Azure Databricks consiste em um painel de controle hospedado em uma assinatura gerenciada do Azure Databricks e um plano de computação que é implantado na sua assinatura do Azure. O plano de controle armazena seus dados de serviços gerenciados, que incluem comandos de bloco de anotações, segredos e outros dados de configuração de espaço de trabalho. Por padrão, esses dados são criptografados com uma chave gerenciada pelo Azure Databricks, mas agora você pode adicionar uma chave de sua instância do Azure Key Vault para criptografar esses dados. Confira Habilitar chaves gerenciadas pelo cliente para serviços gerenciados.

Fim do suporte para o Databricks Runtime série 7.4

3 de maio de 2021

O suporte para o Databricks Runtime 7.4, o Databricks Runtime 7.4 para Machine Learning e o Databricks Runtime 7.4 para Genomics terminou em 3 de maio. Confira Ciclos de vida de suporte do Databricks Runtime.

Agora, os usuários de repositórios podem se integrar ao Azure DevOps usando tokens de acesso pessoal

3 a 10 de maio de 2021: Versão 3.45

Além dos tokens de acesso do Microsoft Entra ID, agora você pode usar um token de acesso pessoal para autenticar com Azure DevOps. Para obter detalhes, veja Configurar pastas Git do Databricks (Repos).