Maio de 2018

  • Artigo

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Regulamento Geral de Proteção de Dados (RGPD)

24 de maio de 2018: Versão 2.72

Para atender aos requisitos do Regulamento Geral de Proteção de Dados (GDPR) da União Europeia, que entra em vigor em 25 de maio de 2018, fizemos várias modificações na plataforma Azure Databricks para fornecer mais controle da retenção de dados no nível da conta e do usuário. As atualizações incluem:

  • Exclusão de cluster: exclua permanentemente uma configuração de cluster usando a interface do usuário ou a API de clusters. Consulte Excluir um cálculo.
  • Limpeza do espaço de trabalho (lançado na versão 2.71): exclua permanentemente objetos do espaço de trabalho, como blocos de anotações inteiros, células individuais do bloco de anotações, comentários individuais do bloco de anotações e histórico de revisão do bloco de anotações. Consulte Limpar armazenamento do espaço de trabalho.
  • Limpeza do histórico de revisões do bloco de notas:
    • Exclua permanentemente o histórico de revisões de todos os blocos de anotações em um espaço de trabalho por um período de tempo definido. Consulte Limpar armazenamento do espaço de trabalho.
    • Exclua permanentemente uma única revisão de bloco de anotações ou todo o histórico de revisões de um bloco de anotações. Consulte Histórico de versões.

Para obter informações sobre como excluir seu serviço Azure Databricks ou cancelar sua conta do Azure, consulte Gerenciar sua assinatura.

Os usuários do Azure Databricks devem pertencer ao locatário do Microsoft Entra ID

24 de maio de 2018: Versão 2.72

Os usuários agora podem entrar no Azure Databricks somente se pertencerem ao locatário do Microsoft Entra ID (anteriormente Azure Ative Directory) do espaço de trabalho do Azure Databricks. Se você tiver usuários que não pertencem ao locatário do Microsoft Entra ID, poderá adicioná-los como usuários padrão ou convidados.

HorovodEstimator

29 de maio de 2018: Versão 2.72

Adicionada documentação e um notebook para o HorovodEstimator, uma API de estimador no estilo MLlib que aproveita a estrutura Horovod da Uber. O HorovodEstimator facilita o treinamento distribuído e multi-GPU de redes neurais profundas no Spark DataFrames, simplificando a integração do ETL no Spark com o treinamento de modelos no TensorFlow.

Exportação de Modelos de ML do MLeap

24 de maio de 2018: Versão 2.72

Documentação e blocos de anotações adicionados sobre como usar o MLeap no Azure Databricks. O MLeap permite que você implante pipelines de aprendizado de máquina do Apache Spark e scikit-learn para um formato portátil e mecanismo de execução. Consulte Exportação do modelo MLeap ML.

Ainda mais tipos de clusters de GPU

24 de maio de 2018: Versão 2.72

Além dos tipos de instância NC do Azure (NC12 e NC24) que adicionamos na versão 2.71, agora damos suporte à série de tipos de instância NCv3 (NC6s_v3, NC12s_v3 e NC24s_v3) em clusters do Azure Databricks. As instâncias NC e NCv3 fornecem GPUs para impulsionar o processamento de imagens, análise de texto e outras tarefas de aprendizado de máquina e aprendizado profundo que são computacionalmente desafiadoras e exigem desempenho superior.

Consulte Computação habilitada para GPU.

Células dos blocos de notas: ocultar e mostrar

24 de maio de 2018: Versão 2.72

Novos indicadores e mensagens facilitam a exibição do conteúdo das células do Bloco de Anotações depois que elas ficam ocultas. Consulte Ocultar e mostrar o conteúdo da célula.

Maio 22, 2018

Substituímos a nossa pesquisa no site de documentos por uma melhor ferramenta de pesquisa. Você verá ainda mais melhorias na pesquisa nas próximas semanas.

Nota

A pesquisa pode parecer quebrada se você tentar logo após a nova pesquisa ser implantada. Basta limpar o cache do navegador para ver a nova experiência de pesquisa.

Databricks Runtime 4.1 ML para Machine Learning (Beta)

Maio 17, 2018

O Databricks Runtime ML (Beta) fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, incluindo TensorFlow, Keras e XGBoost.

O Databricks Runtime ML permite iniciar um cluster Databricks com todas as bibliotecas necessárias para o treinamento distribuído do TensorFlow. Ele garante a compatibilidade das bibliotecas incluídas no cluster (entre TensorFlow e CUDA / cuDNN, por exemplo) e diminui substancialmente o tempo de inicialização do cluster em comparação com o uso de scripts init.

Nota

O Databricks Runtime 4.1 ML está disponível apenas no Premium SKU.

Consulte as notas de versão completas do Databricks Runtime 4.1 ML (sem suporte).

Databricks Delta

Maio 17, 2018

O Databricks Delta agora está disponível na Visualização Privada para usuários do Azure Databricks. Contacte o seu gestor de conta ou registe-se em https://databricks.com/product/databricks-delta. Esta versão representa uma versão candidata em antecipação à próxima versão do GA.

Para obter mais informações, consulte Databricks Runtime 4.1 (sem suporte) e O que é Delta Lake?.

Suporte para display() para tipos de dados de imagens

Maio 17, 2018

No Databricks Runtime 4.1, display() agora renderiza colunas contendo tipos de dados de imagem como HTML avançado.

Consulte Visualizações em blocos de anotações Databricks.

Tipos de clusters de GPU

15 de maio de 2018: Versão 2.71

Temos o prazer de anunciar o suporte para tipos de instância do Azure NC (NC12 e NC24) em clusters do Azure Databricks. As instâncias NC fornecem GPUs para impulsionar o processamento de imagens, análise de texto e outras tarefas de aprendizado de máquina e aprendizado profundo que são computacionalmente desafiadoras e exigem desempenho superior.

O Azure Databricks também fornece drivers NVIDIA pré-instalados e bibliotecas configuradas para GPUs, juntamente com material para começar a usar várias bibliotecas populares de aprendizado profundo.

Consulte também:

Gestão de Segredos em Disponibilidade Geral

15 de maio de 2018: Versão 2.71

A gestão secreta, que estava em pré-visualização privada, agora é GA. Ele fornece ferramentas poderosas para gerenciar as credenciais necessárias para autenticação em fontes de dados externas. Em vez de digitar suas credenciais diretamente em um bloco de anotações, use o gerenciamento secreto do Databricks para armazenar e referenciar suas credenciais em blocos de anotações e trabalhos. Para gerenciar segredos, você pode usar a CLI de Segredos (legado) para acessar a API de Segredos.

Nota

O gerenciamento secreto requer o Databricks Runtime 4.0 ou superior e o Databricks CLI 0.7.1 ou superior.

Consulte Gestão secreta.

Alterações ao ponto final da API e aos comandos da CLI de Segredos

15 de maio de 2018: Versão 2.71

As seguintes alterações foram feitas nos pontos de extremidade da API Secrets:

  • Para todos os pontos de extremidade, o caminho raiz foi alterado de /secret para /secrets.
  • Para o ponto final dos segredos, o foi recolhido /secret/secrets para /secrets/.
  • O write método foi alterado para put.

A CLI 0.7.1 do Databricks inclui atualizações para comandos Secrets para alinhamento com esses pontos de extremidade de API atualizados.

Consulte API de segredos e Gerenciamento de segredos.

Afixação de clusters

15 de maio de 2018: Versão 2.71

Agora você pode fixar um cluster na lista Clusters. Isso permite manter a configuração de clusters encerrados com mais de 30 dias.

Agrupamento de pinos

Além disso, a página Clusters agora exibe todos os clusters que foram encerrados dentro de 30 dias (aumentado de 7 dias).

Consulte Fixar um cálculo.

Início automático de clusters

15 de maio de 2018: Versão 2.71

Antes desta versão, os trabalhos agendados para execução em Terminated clusters falharam. Para clusters criados no Azure Databricks versão 2.71 e superior, os comandos de uma interface JDBC/ODBC ou uma execução de trabalho atribuída a um cluster terminado existente reinicia automaticamente esse cluster. Consulte JDBC connect e Create a job.

O início automático permite configurar clusters para encerramento automático, sem a necessidade de intervenção manual para reiniciar os clusters para trabalhos agendados. Além disso, você pode agendar a inicialização do cluster agendando um trabalho que reinicia os clusters encerrados em um horário especificado.

O controle de acesso ao cluster é imposto e as permissões do proprietário do trabalho são verificadas como de costume.

Purga das áreas de trabalho

15 de maio de 2018: Versão 2.71

Como parte de nosso esforço contínuo para cumprir o Regulamento Geral de Proteção de Dados da União Europeia (GDPR), adicionamos a capacidade de limpar objetos de espaço de trabalho, como blocos de anotações inteiros, células de bloco de anotações individuais, comentários individuais de blocos de anotações e histórico de revisão de blocos de anotações. Nas próximas semanas, lançaremos mais funcionalidades e documentação para dar suporte à conformidade com o GDPR.

Consulte Limpar armazenamento do espaço de trabalho.

CLI 0.7.1 do Databricks

Maio 10, 2018

A CLI 0.7.1 do Databricks inclui atualizações para comandos Secrets para alinhamento com pontos de extremidade de API atualizados.

Consulte Databricks CLI (legado) e Gerenciamento secreto.