Maio de 2018
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Regulamentação de Proteção Geral de Dados (GDPR)
24 de maio de 2018: Versão 2.72
Para atender aos requisitos do RGPD (União Europeia Regulamento Geral sobre a Proteção de Dados), que entra em vigor em 25 de maio de 2018, fizemos várias modificações na plataforma do Azure Databricks para fornecer mais controle da retenção de dados no nível da conta e do usuário. As atualizações incluem:
- Exclusão de cluster: exclua permanentemente uma configuração de cluster usando a interface do usuário ou a API de Clusters. Consulte Excluir uma computação.
- Limpeza do workspace (lançada na versão 2.71): exclua permanentemente objetos de workspace, como notebooks inteiros, células individuais do notebook, comentários individuais do notebook e histórico de revisão do notebook. Confira como Limpar o armazenamento do workspace.
- Limpar o histórico de revisões do notebook:
- Exclua permanentemente o histórico de revisões de todos os notebooks em um workspace para um período definido. Confira como Limpar o armazenamento do workspace.
- Exclua permanentemente uma única revisão de notebook ou todo o histórico de revisões de um notebook. Confira Histórico de versão.
Para obter informações sobre como excluir seu Azure Databricks ou cancelar sua conta do Azure, consulte Gerenciar sua assinatura.
Os usuários do Azure Databricks devem pertencer ao locatário Microsoft Entra ID
24 de maio de 2018: Versão 2.72
Agora, os usuários podem entrar no Azure Databricks somente se pertencer ao locatário do Microsoft Entra ID (anterior conhecido como Azure Active Directory) do workspace do Azure Databricks. Se você tiver usuários que não pertencem ao locatário do Microsoft Entra ID, poderá adicioná-los como usuários padrão ou convidados.
HorovodEstimator
29 de maio de 2018: Versão 2.72
Adicionada documentação e um notebook para HorovodEstimator, uma API de estimador de estilo MLlib que aproveita a estrutura Horovod do Uber. O HorovodEstimator facilita o treinamento distribuído e multi GPU de redes neurais profundas em DataFrames do Spark, simplificando a integração do ETL no Spark com o treinamento de modelo no TensorFlow.
Exportação de modelo do MLeap ML
24 de maio de 2018: Versão 2.72
Adicionada documentação e notebooks sobre como usar o MLeap Azure Databricks. O MLeap permite que você implante pipelines de aprendizado de máquina do Apache Spark e scikit-learn em um mecanismo de execução e formato portátil. Consulte Exportação de modelos de ML do MLeap.
Ainda mais tipos de cluster GPU
24 de maio de 2018: Versão 2.72
Além dos tipos de instância NC do Azure (NC12 e NC24) que adicionamos na Versão 2.71, agora damos suporte à série de tipos de instância NCv3 (NC6s_v3, NC12s_v3e NC24s_v3) em clusters do Azure Databricks. As instâncias NC e NCv3 fornecem GPUs para fornecer processamento de imagem, análise de texto e outras tarefas de aprendizado de máquina e aprendizado profundo que são computacionalmente desafiadoras e exigem um desempenho superior.
Consulte Computação habilitada para GPU.
Células do bloco de anotações: ocultar e mostrar
24 de maio de 2018: Versão 2.72
Novos indicadores e mensagens facilitam a exibição do conteúdo da célula do Notebook depois que eles ficam ocultos. Consulte Ocultar e mostrar conteúdo da célula.
Pesquisa de site do documento
22 de maio de 2018
Substituímos nossa pesquisa de site de documentos por uma ferramenta de pesquisa melhor. Você verá ainda mais melhorias de pesquisa nas próximas semanas.
Observação
A pesquisa poderá parecer interrompida se você tentar logo depois que a nova pesquisa for implantada. Basta limpar o cache do navegador para ver a nova experiência de pesquisa.
Databricks Runtime 4.1 ML para Machine Learning (Beta)
17 de maio de 2018
O Databricks Runtime do ML (Beta) fornece um ambiente pronto para uso em aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, inclusive TensorFlow, Keras e XGBoost.
O Databricks Runtime do ML permite iniciar um cluster do Databricks com todas as bibliotecas necessárias para treinamento distribuído do TensorFlow. Ele garante a compatibilidade das bibliotecas incluídas no cluster (entre TensorFlow e CUDA/cuDNN, por exemplo) e diminui substancialmente o tempo de início do cluster em comparação com o uso de scripts de inicialização.
Observação
O Databricks Runtime 4.1 do ML está disponível somente no SKU Premium.
Confira as notas completas sobre a versão do Databricks Runtime 4.1 ML (sem suporte).
Delta do Databricks
17 de maio de 2018
O Databricks Delta agora está disponível na Versão Prévia Privada para usuários do Azure Databricks. Entre em contato com seu gerente de conta ou inscreva-se em https://databricks.com/product/databricks-delta. Esta versão representa uma versão candidata em antecipação à próxima versão de GA.
Para obter mais informações, veja Databricks Runtime 4.1 (sem suporte) e O que é o Delta Lake?.
Exibir suporte () para tipos de dados de imagem
17 de maio de 2018
No Databricks Runtime 4.1, display() agora renderiza colunas que contêm tipos de dados de imagem como HTML avançado.
Confira Visualizações em notebooks do Databricks.
Tipos de cluster de GPU
Maio de 15, 2018: versão 2.71
Temos o prazer de anunciar o suporte para tipos de instância NC do Azure (NC12 e NC24) em clusters do Azure Databricks. As instâncias NC fornecem GPUs para potencializar o processamento de imagem, análise de texto e outras tarefas de aprendizado de máquina e aprendizado profundo que são computacionalmente desafiadoras e exigem um desempenho superior.
O Azure Databricks também fornece bibliotecas e drivers NVIDIA pré-instalados configurados para GPUs, juntamente com material para começar a trabalhar com várias bibliotecas populares de aprendizado profundo.
Consulte também:
GA de gerenciamento de segredos
Maio de 15, 2018: versão 2.71
O gerenciamento de segredos, que estava em versão prévia privada, agora é GA. Ele fornece ferramentas poderosas para gerenciar as credenciais necessárias para autenticação em fontes de dados externas. Em vez de digitar suas credenciais diretamente em um notebook, use o gerenciamento secreto do Databricks para armazenar e referenciar suas credenciais em notebooks e trabalhos. Para gerenciar segredos, você pode usar a CLI de Segredos (herdada) para acessar a API de Segredos.
Observação
O gerenciamento de segredo exige o Databricks Runtime 4.0 ou superior e a CLI do Databricks 0.7.1 ou superior.
Confira Gerenciamento de segredos.
Alterações de ponto de extremidade de API de segredos e comandos da CLI
Maio de 15, 2018: versão 2.71
As seguintes alterações foram feitas nos pontos de extremidade da API de Segredos:
- Para todos os pontos de extremidade, o caminho raiz foi alterado de
/secretpara/secrets. - Para o ponto de extremidade de segredos, o
/secret/secretsfoi recolhido para/secrets/. - O método
writefoi alterado paraput.
A CLI do Databricks 0.7.1 inclui atualizações aos comandos de Segredos para se alinhar com esses pontos de extremidade de API atualizados.
Confira API de Segredos e Gerenciamento de segredos.
Fixação de cluster
Maio de 15, 2018: versão 2.71
Agora você pode fixar um cluster na lista de Clusters. Isso permite manter a configuração de clusters encerrados há mais de 30 dias.
Além disso, a página dos Clusters agora exibe todos os clusters que foram encerrados dentro de 30 dias (aumento de 7 dias).
Consulte Fixar uma computação.
Inicialização automática de cluster
Maio de 15, 2018: versão 2.71
Antes desta versão, os trabalhos agendados para execução em Terminated clusters falharam. Para clusters criados no Azure Databricks versão 2.71 e superior, os comandos de uma interface JDBC/ODBC ou uma execução de trabalho atribuída a um cluster encerrado existente reinicia automaticamente esse cluster. Consulte JDBC Connect e Criar um trabalho.
O AutoStart permite que você configure clusters para encerramento automática, sem a necessidade de intervenção manual para reiniciar os clusters para trabalhos agendados. Além disso, você pode agendar a inicialização do cluster agendando um trabalho que reinicia os clusters finalizados em um horário especificado.
O controle de acesso ao cluster é imposto e as permissões de proprietário do trabalho são verificadas como de costume.
Limpeza do espaço de trabalho
Maio de 15, 2018: versão 2.71
Como parte do nosso esforço contínuo em cumprir o GDPR (Regulamento Geral sobre a Proteção de Dados) da União Europeia, adicionamos a capacidade de limpar objetos do espaço de trabalho, como notebooks inteiros, células individuais do bloco de anotações, Comentários individuais do bloco de anotações e histórico de revisão do notebook. Liberaremos mais funcionalidade e documentação para dar suporte à conformidade do GDPR nas próximas semanas.
Confira como Limpar o armazenamento do workspace.
CLI do Databricks 0.7.1
10 de maio de 2018
A CLI do Databricks 0.7.1 inclui atualizações aos comandos de Segredos para se alinhar com pontos de extremidade de API atualizados.
Confira CLI do Databricks (herdada) e Gerenciamento de segredos.