Agosto de 2020

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em agosto de 2020.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Importante

A versão 3.26 foi lançada somente para os clientes nas regiões Canadá Central e Índia Central. Todas as outras regiões receberão os recursos da 3.26 ao mesmo tempo em que a 3.27 for lançada.

A API de Gerenciamento de Token está em GA e os administradores podem usar o Console de Administração para conceder e revogar o acesso do usuário aos tokens

26 de agosto – 1º de setembro de 2020: versão 3.27

O gerenciamento de tokens já está em disponibilidade geral. Os administradores do Azure Databricks podem usar a API de Gerenciamento de Tokens e o Console de Administração para gerenciar os tokens de acesso pessoal do Azure Databricks dos usuários. Como administrador, você pode:

  • Monitorar e revogar tokens de acesso pessoal dos usuários.
  • Controlar o tempo de vida de tokens futuros no seu workspace.
  • Controle os usuários que podem criar e usar tokens por meio da API de Permissões ou no Console de Administração.

Na transição da versão prévia pública para a GA, o parâmetro created_by da API de Gerenciamento de Tokens foi alterado para created_by_id, e um novo parâmetro, created_by_username, foi adicionado.

Para obter mais informações, confira Monitorar e gerenciar tokens de acesso pessoal.

Os limites de tamanho de mensagem para aplicativos Shiny foram aumentados

26 de agosto – 1º de setembro de 2020: versão 3.27

O tamanho máximo do aplicativo para aplicativos do Shiny foi aumentado de 10 MB para 20 MB. Se o tamanho total do seu aplicativo exceder esse limite, veja as recomendações nas Perguntas frequentes sobre o Shiny.

Instruções aprimoradas para configurar um cluster no modo local

26 de agosto – 1º de setembro de 2020: versão 3.27

Na interface do usuário do cluster:

  • Se você criar um cluster sem nenhum trabalho, uma dica de ferramenta será exibida recomendando que você use o modo local e mostrando o parâmetro de configuração associado (spark.master local[*]).
  • Não é mais possível definir spark.master local[*] para um cluster, a menos que o cluster não tenha nenhum trabalho.

Exibir a versão do notebook associada a uma execução

26 de agosto – 1º de setembro de 2020: versão 3.27

Na barra lateral Experimentos, você já pode ver a versão de um notebook associado a uma execução. Para obter detalhes, confira Exibir o experimento de notebook.

GA do Databricks Runtime 7.2

20 de agosto de 2020

O Databricks Runtime 7.2 traz muitos recursos adicionais e aprimoramentos em relação ao Databricks Runtime 7.1, incluindo:

  • O Carregador Automático está em disponibilidade geral: o Carregador Automático é um método eficiente para ingestão incremental de um grande número de arquivos no Delta Lake. Ele já está em GA e adiciona os seguintes recursos:
    • Opção de modo de listagem de diretório: o Carregador Automático adiciona um novo modo de listagem de diretório ao modo de notificação de arquivo existente para determinar quando há novos arquivos.
    • API de gerenciamento de recursos de nuvem: você já pode usar nossa API do Scala para gerenciar recursos de nuvem criados pelo Carregador Automático. Liste os serviços de notificação e subdivida serviços de notificação específicos usando essa API.
    • Opção de limitação de taxa: você já pode usar a opção cloudFiles.maxBytesPerTrigger para limitar o volume de dados processados em cada microlote.
    • Validação de opção: o Carregador Automático já valida as opções que você fornece.validation falhará. Para ignorar a validação da opção, defina cloudFiles.validateOptions como false.
  • Copie com eficiência uma tabela Delta com o clone.
  • Aprimoramentos:
    • O conector do Snowflake foi atualizado para a versão 2.8.1, que inclui o suporte do Spark 3.0.
    • Aprimoramentos na passagem de credenciais
    • Aprimoramentos do TensorBoard
    • Bibliotecas do Python e do R atualizadas

Para obter detalhes, consulte as notas de versão completas Databricks Runtime 7.2 (sem suporte).

GA do Databricks Runtime 7.2 ML

20 de agosto de 2020

O Databricks Runtime 7.2 para Machine Learning foi desenvolvido com base no Databricks Runtime 7.2 e traz bibliotecas do sistemas e do Python novas e aprimoradas. Para obter detalhes, consulte as notas de versão completas Databricks Runtime 7.2 (sem suporte).

GA do Databricks Runtime 7.2 Genomics

20 de agosto de 2020

O Databricks Runtime 7.2 para Genomics foi desenvolvido com base no Databricks Runtime 7.2 e acelera significativamente a conversão de ndarrays literais tipados em float 1D e 2D do numpy em matrizes Java. A documentação do estudo de associação de todo o genoma da Glow reflete o uso.

API de Permissões (Versão prévia pública)

18 de agosto de 2020

O Databricks tem o prazer de anunciar a versão prévia pública da API de Permissões, que permite gerenciar permissões para:

  • Tokens
  • Clusters
  • Pools
  • Trabalhos
  • Notebooks
  • Pastas (diretórios)
  • Modelos registrados do MLflow

Para obter mais informações, confira API de Permissões.

Databricks Connect 7.1 (GA)

12 de agosto de 2020

O Databricks Connect já dá suporte ao Databricks Runtime 7.1.

No Databricks Runtime 7.1, o Databricks recomenda que você sempre use a versão de patch mais recente do Databricks Connect.

Ordem de instalação repetível para bibliotecas de cluster

12 a 25 de agosto de 2020: versão 3.26

Em um cluster que executa o Databricks Runtime 7.2 ou superior, o Azure Databricks já processa todas as bibliotecas de cluster na ordem em que foram instaladas.

Criar modelo da página de modelos registrados do MLflow (Versão Prévia Pública)

12 a 25 de agosto de 2020: versão 3.26

Você já pode criar um modelo na página de modelos registrados do MLflow. Para ver detalhes, confira Criar um modelo registrado e atribuir um modelo registrado em log a ele.

Os Serviços de Contêiner do Databricks são compatíveis com imagens GPU

12 a 25 de agosto de 2020: versão 3.26

Você já pode usar os Serviços de Contêiner do Databricks em clusters com as GPUs para criar ambientes de aprendizado profundo portáteis com bibliotecas personalizadas.

Para obter detalhes, confira Serviços de contêiner do Databricks na computação de GPU.