Fevereiro de 2020

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em fevereiro de 2020.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Disponibilidade geral do Databricks Runtime 6.4 para Genomics

26 de fevereiro de 2020

O Databricks Runtime 6.4 para Genomics foi desenvolvido com base no Databricks Runtime 6.4. Ele inclui muitos aprimoramentos e atualizações do Databricks Runtime 6.3 para Genomics.

Os principais recursos são:

  • Agora você pode personalizar os usuários do pipeline de DNASeq, onde os usuários podem desabilitar seletivamente qualquer combinação legítima dos estágios de alinhamento de leitura, de chamada variante e de anotação de variante. Os usuários também podem executar o alinhamento de leitura de fim único.
  • A versão do Brilho incluída no Databricks Runtime 6.4 para Genomics agora fornece APIs do Python e do Scala para funções expostas anteriormente apenas por meio de expressões SQL. Essas funções estão disponíveis para operações de DataFrame, fornecendo segurança aprimorada em tempo de compilação.

Disponibilidade geral do Databricks Runtime 6.4 ML

26 de fevereiro de 2020

O Databricks Runtime 6.4 ML GA traz atualizações de biblioteca, incluindo:

  • PyTorch: 1.3.1 a 1.4.0.
  • Horovod: 0.18.2 a 1.19.0

Para ver detalhes, confira as notas completas sobre a versão do Databricks Runtime 6.4 para ML (sem suporte).

Disponibilidade geral do Databricks Runtime 6.4

26 de fevereiro de 2020

O Databricks Runtime 6.4 GA traz novos recursos, melhorias e muitas correções de bugs.

  • Processar novos arquivos de dados de maneira incremental com o Carregador Automático (Visualização Pública). O Carregador Automático oferece uma forma mais eficiente de processar novos arquivos de dados de maneira incremental conforme eles chegam em um armazenamento de blobs de nuvem durante o ETL. Esse é um aprimoramento em relação ao streaming estruturado baseado em arquivo, que identifica novos arquivos listando repetidamente o diretório de nuvem e acompanhando os arquivos que foram vistos e que pode ser muito ineficiente à medida que o diretório cresce.
  • Carregar dados no Delta Lake com repetições idempotentes (Visualização Pública). O comando SQL COPY INTO permite carregar dados no Delta Lake com as repetições idempotentes (Visualização Pública). Para carregar dados no Delta Lake hoje, você precisa usar a API de DataFrame do Apache Spark. Se houver falhas durante as cargas, você precisará lidar com elas com eficiência.
  • As métricas de operação para todas as gravações, atualizações e exclusões em uma tabela Delta já são mostradas no histórico de tabelas.
  • As figuras em linha da Matplotlib já estão habilitadas por padrão nos notebooks do Azure Databricks (Visualização Pública).

Para ver detalhes, confira as notas completas sobre a versão do Databricks Runtime 6.4 (sem suporte).

Novos gráficos interativos oferecem interações avançadas do lado do cliente

25de fevereiro a 3 de março de 2019: versão 3.14

Esta versão apresenta dois novos tipos de gráfico interativos que substituem as implementações de gráfico de barras e de gráfico de linhas. Além da funcionalidade de gráfico existente, o gráfico de linhas tem algumas novas opções de plotagem personalizadas: definir um intervalo de eixo Y, mostrar ou ocultar marcadores e aplicar escala logarítmica ao eixo Y. Os gráficos de barras têm uma barra de ferramentas interna compatível com um conjunto avançado de interações do lado do cliente.

Chart toolbar

Se você quiser usar as implementações de gráfico existentes, poderá selecioná-las no menu suspenso Gráficos Herdados. Os gráficos existentes continuarão a usar as implementações disponíveis anteriormente.

Legacy chart types

Nova rede de ingestão de dados adiciona integrações de parceiros com o Delta Lake (versão prévia pública)

24 de fevereiro de 2020

Agora você pode popular facilmente seu "lakehouse" (seu data lake capacitado pelos tipos de estruturas de dados e recursos de gerenciamento de dados que você normalmente obtém com um data warehouse) de centenas de fontes de dados para o delta Lake. No centro dessa rede está a nova galeria de integrações de parceiros, acessível do seu workspace e fornecendo acesso a uma grande rede de fontes de dados por meio de nossos parceiros Fivetran, Qlik Sense, InfoWorks, StreamSets e SyncSort.

Partner integrations portal

Para obter uma visão geral, confira nosso blog. Para obter detalhes, consulte Parceiros de tecnologia.

Criador do workspace adicionado automaticamente como administrador do Azure Databricks

24 de fevereiro de 2020

Antes de 24 de fevereiro de 2020, o usuário que criou um workspace do Azure Databricks só seria adicionado como administrador do workspace se também clicasse no botão Iniciar workspace no portal do Azure ou se fosse adicionado como administrador por um usuário que já fosse administrador no workspace (qualquer colaborador do Azure na assinatura que clicasse no botão Iniciar workspace seria criado como um usuário administrador no workspace). Agora, o usuário que cria o workspace é adicionado automaticamente como administrador do workspace.

Para obter detalhes sobre como criar e iniciar workspaces, confira Gerenciar sua assinatura

Sinalizadores para gerenciar a segurança do workspace e os recursos do notebook disponíveis agora

4 a 11 de fevereiro de 2020: versão 3.12

Esta versão apresenta novos sinalizadores para gerenciar cabeçalhos de segurança enviados para impedir ataques no workspace, bem como o acesso a downloads de resultados do notebook e ao controle de versão do Git. Todas essas opções administrativas estão habilitadas por padrão.