Agosto de 2020

  • Artigo

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2020.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Importante

A versão 3.26 foi disponibilizada apenas para clientes nas regiões da Índia Central e Central do Canadá. Todas as outras regiões receberão os recursos 3.26 ao mesmo tempo em que o 3.27 é lançado.

A API de Gestão de Tokens está acessível em modo de disponibilidade geral e os administradores podem utilizar a Consola de Administração para conceder e revogar o acesso dos utilizadores aos tokens

26 de agosto a 1 de setembro de 2020: Versão 3.27

O gerenciamento de tokens agora está disponível para o público em geral. Os administradores do Azure Databricks podem usar a API de Gerenciamento de Tokens e o Admin Console para gerenciar os tokens de acesso pessoal do Azure Databricks de seus usuários. Como administrador, você pode:

  • Monitore e revogue os tokens de acesso pessoais dos usuários.
  • Controle o tempo de vida dos tokens futuros em seu espaço de trabalho.
  • Controle quais usuários podem criar e usar tokens por meio da API de permissões ou no Admin Console.

Na transição de Public Preview para GA, o parâmetro created_by Token Management API foi alterado para created_by_id, e um novo parâmetro created_by_username foi adicionado.

Para obter mais informações, consulte Monitorar e gerenciar tokens de acesso pessoal.

Aumento dos limites de tamanho das mensagens para aplicações Shiny

26 de agosto a 1 de setembro de 2020: Versão 3.27

O tamanho máximo do aplicativo para aplicativos Shiny foi aumentado de 10 MB para 20 MB. Se o tamanho total da sua aplicação exceder este limite, reveja as recomendações nas Perguntas frequentes do Shiny.

Instruções melhoradas para a configuração de um cluster no modo local

26 de agosto a 1 de setembro de 2020: Versão 3.27

Na interface do usuário do cluster:

  • Se você criar um cluster com 0 trabalhadores, uma dica de ferramenta será exibida recomendando que você use o modo local e mostrando a definição de configuração associada (spark.master local[*]).
  • Não é mais possível definir spark.master local[*] para um cluster, a menos que o cluster tenha 0 trabalhadores.

Ver versão de bloco de notas associado a uma execução

26 de agosto a 1 de setembro de 2020: Versão 3.27

Na barra lateral Experimentos, agora você pode exibir a versão de um bloco de anotações associada a uma execução. Para obter detalhes, consulte Exibir experiência de bloco de anotações.

Databricks Runtime 7.2 Disponibilidade Geral

20 de agosto de 2020

O Databricks Runtime 7.2 traz muitos recursos e melhorias adicionais em relação ao Databricks Runtime 7.1, incluindo:

  • Auto Loader está geralmente disponível: Auto Loader é um método eficiente para ingerir incrementalmente um grande número de arquivos no Delta Lake. Agora é GA e adiciona os seguintes recursos:
    • Opção de modo de listagem de diretório: o Auto Loader adiciona um novo modo de listagem de diretórios, além do modo de notificação de arquivo existente, para determinar quando há novos arquivos.
    • API de gerenciamento de recursos na nuvem: agora você pode usar nossa API Scala para gerenciar recursos de nuvem criados pelo Auto Loader. Você pode listar serviços de notificação e desmontar serviços de notificação específicos usando essa API.
    • Opção de limitação de taxa: agora você pode usar a cloudFiles.maxBytesPerTrigger opção para limitar a quantidade de dados processados em cada microlote.
    • Validação de opções: O Auto Loader agora valida as opções fornecidas.validation falhará. Para ignorar a validação da opção, defina cloudFiles.validateOptions como false.
  • Copie eficientemente uma tabela Delta com clone.
  • Melhorias:
    • O conector Snowflake foi atualizado para a versão 2.8.1, que inclui suporte ao Spark 3.0.
    • Melhorias na passagem de credenciais
    • Melhorias no TensorBoard
    • Bibliotecas Python e R atualizadas

Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 7.2 (sem suporte).

Databricks Runtime 7.2 ML Disponibilidade Geral

20 de agosto de 2020

O Databricks Runtime 7.2 for Machine Learning é construído sobre o Databricks Runtime 7.2 e traz Python e bibliotecas de sistema novas e aprimoradas. Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 7.2 (sem suporte).

Databricks Runtime 7.2 Genomics Disponibilidade Geral

20 de agosto de 2020

O Databricks Runtime 7.2 for Genomics é construído sobre o Databricks Runtime 7.2 e acelera significativamente a conversão de ndarrays literais numpy 1D e 2D float-typed em arrays Java. A documentação do estudo de associação genômica Glow reflete o uso.

API de Permissões (Pré-visualização Pública)

18 de agosto de 2020

A Databricks tem o prazer de anunciar a visualização pública da API de Permissões, que permite gerenciar permissões para:

  • Tokens
  • Clusters
  • Conjuntos
  • Tarefas
  • Notebooks
  • Pastas (diretórios)
  • Modelos registrados MLflow

Para obter mais informações, consulte API de permissões.

Databricks Connect 7.1 (disponibilidade geral)

12 de agosto de 2020

O Databricks Connect agora suporta o Databricks Runtime 7.1.

No Databricks Runtime 7.1, o Databricks recomenda que você sempre use a versão mais recente do Databricks Connect.

Ordem de instalação repetível para bibliotecas de clusters

12 a 25 de agosto de 2020: Versão 3.26

Em um cluster que executa o Databricks Runtime 7.2 ou superior, o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que foram instaladas.

Criar um modelo a partir da página de modelos registados do MLflow (Pré-visualização Pública)

12 a 25 de agosto de 2020: Versão 3.26

Agora você pode criar um novo modelo na página de modelos registrados MLflow. Para obter detalhes, consulte Criar um novo modelo registrado e atribuir um modelo registrado a ele.

O Databricks Container Services suporta imagens da GPU

12 a 25 de agosto de 2020: Versão 3.26

Agora você pode usar o Databricks Container Services em clusters com GPUs para criar ambientes portáteis de aprendizado profundo com bibliotecas personalizadas.

Para obter detalhes, consulte Databricks Container Services on GPU compute.