Janeiro de 2018

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Pontos de montagem para contêineres de armazenamento de Blobs do Azure e Data Lake Stores

16 a 23 de janeiro de 2018: Versão 2.63

Fornecemos instruções de montagem de contêineres de armazenamento de Blobs do Azure e Data Lake Stores por meio do DBFS (Sistema de Arquivos do Databricks). Isso permite a todos os usuários no mesmo espaço de trabalho acessar o contêiner de armazenamento de Blobs ou o Data Lake Store (ou pasta no contêiner ou no armazenamento) por meio do ponto de montagem. O DBFS gerencia as credenciais usadas para acessar um contêiner de armazenamento de Blobs ou Data Lake Store montado e manipula automaticamente a autenticação com o armazenamento de Blobs do Azure ou o Data Lake Store em segundo plano.

A montagem de contêineres de armazenamento de Blobs e de Data Lake Stores requer Databricks Runtime 4.0 e superiores. Após a montagem de um contêiner ou repositório, você poderá usar o Runtime 3.4 ou superiores para acessar o ponto de montagem.

Confira Conectar ao Azure Data Lake Storage Gen2 e ao Armazenamento de Blobs e Acessar o Azure Data Lake Storage Gen1 por meio do Azure Databricks para obter mais informações.

Tags de cluster

4 a 11 de janeiro de 2018: Versão 2.62

Agora você pode especificar marcas de cluster que serão propagadas para todos os recursos do Azure (VMs, discos, NICs etc.) associadas a um cluster. Além das marcas fornecidas pelo usuário, os recursos serão automaticamente marcados com o nome do cluster, a ID do cluster e o nome de usuário do criador do cluster.

Para obter mais informações, consulteMarcações.

Controle de acesso de tabela para SQL e Python (Versão prévia privada)

4 a 11 de janeiro de 2018: Versão 2.62

Observação

Este recurso está em versão prévia privada. Entre em contato com seu gerente de conta para solicitar acesso. Esse recurso requer Databricks Runtime 3.5 ou superior.

No ano passado, introduzimos o controle de acesso de objeto de dados para usuários do SQL. Hoje, temos o prazer de anunciar a versão prévia privada do ACL (Controle de Acesso à Tabela) para usuários do SQL e do Python. Com o Controle de Acesso à Tabela, você pode restringir o acesso a objetos protegíveis, como tabelas, bancos de dados, exibições ou funções. Pode também fornecer controle de acesso refinado (para linhas e colunas que correspondam a condições específicas, por exemplo), definindo permissões em exibições derivadas que contenham consultas arbitrárias.

Confira Privilégios e objetos protegidos do metastore do Hive (herdados) para mais informações.

Exportando resultados de execução de trabalho de bloco de anotações via API

4 a 11 de janeiro de 2018: Versão 2.62

Para ampliar sua capacidade de compartilhar e colaborar com os resultados de trabalhos, agora temos um novo ponto de extremidade de API de Trabalhos, jobs/runs/export, que permite recuperar a representação HTML estática dos resultados da execução de um trabalho de bloco de anotações nas exibições de código e de painel.

Consulte Exportação de execuções para obter mais informações.

O Apache Flow 1.9.0 inclui a integração do Databricks

2 de janeiro de 2018

No ano passado, lançamos a versão prévia de um recurso no Airflow (solução popular de gerenciamento de agendamento de ETL) que permite que os clientes criem nativamente tarefas que disparam execuções do Databricks em um DAG do Airflow. Temos o prazer de anunciar que essas integrações foram lançadas para o público em geral na versão 1.9.0 do Airflow.

Consulte Trabalhos do Orchestrate Azure Databricks com o Apache Airflow para obter mais informações.