Outubro de 2020
Esses recursos e melhorias da plataforma Azure Databricks foram lançados em outubro de 2020.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Novo conector do Power BI para Azure Databricks disponível no serviço do Power BI online (Versão Prévia Pública)
28 de outubro de 2020
O novo conector de Power BI do Azure Databricks, lançado no Power BI Desktop em setembro (visualização pública), agora também está disponível no serviço de Power BI (também conhecido como Power BI online).
O conector nativo permite que você se conecte ao Azure Databricks do Power BI Desktop usando credenciais do Microsoft Entra ID e o serviço de Power BI usando SSO. Com suporte para DirectQuery, o conector nativo permite que você acesse dados diretamente no Azure Databricks, consultando dados atualizados e impondo controles de segurança do data lake. Se você usar o serviço de Power BI, o SSO garantirá que todos os usuários de relatório acessem o Azure Databricks com suas próprias credenciais, sem a necessidade de duplicar os controles de segurança no Power BI. O conector é baseado no driver ODBC do Databricks, que foi otimizado para acelerar a transferência de resultados.
Para obter mais informações, confira Conectar o Power BI ao Azure Databricks.
Databricks Runtime 7.4 (Beta)
21 de outubro de 2020
O Databricks Runtime 7.4, o Databricks Runtime 7.4 para ML e o Databricks Runtime 7.4 para Genomics estão agora disponíveis como versões Beta.
Para obter informações, confira as notas completas sobre a versão em Databricks Runtime 7.4 (sem suporte) e Databricks Runtime 7.4 para ML (sem suporte).
Usar chaves gerenciadas pelo cliente para a raiz do DBFS (GA)
21 de outubro de 2020
A capacidade de usar sua própria chave de criptografia no Azure Key Vault para criptografar a conta de armazenamento do DBFS agora está disponível para o público geral. Esse recurso requer o plano Premium. Consulte Chaves gerenciadas pelo cliente da raiz do DBFS.
ACLs (listas de controle de acesso) de experimento expandidas
De 20 a 27 de outubro de 2020: versão 3.31
As permissões de experimento expandidas introduzidas com a plataforma Azure Databricks versão 3.29 (de 23 a 29 de setembro de 2020) agora estão habilitadas para todas as implantações.
Para obter mais informações, confira ACLs de experimento do MLFlow.
Importação e exportação de alta fidelidade de arquivos do Jupyter Notebook (ipynb)
De 20 a 27 de outubro de 2020: versão 3.31
O Azure Databricks agora fornece importação e exportação de alta fidelidade de notebooks para o formato de arquivo do notebook Jupyter (ipynb). Quando você importa arquivos do notebook Jupyter que foram exportados originalmente do Azure Databricks, os resultados e os painéis são preservados. Anteriormente, isso só era possível com o formato externo DBC. Com essa atualização para a manipulação de notebooks Jupyter, os notebooks do Azure Databricks agora são compatíveis com ferramentas como GitHub, nbformat, nbdime e nbconvert.
Aprimoramento da API do SCIM: grupos indiretos e diretos retornados na resposta de registro do usuário
De 20 a 27 de outubro de 2020: versão 3.31
Os registros de usuário retornados pela API do SCIM agora estão em conformidade com o padrão SCIM RFC-7643 no modo como a resposta lista os grupos aos quais o usuário pertence. O SCIM RFC-7643 define dois tipos de associação de grupo: direta e indireta. A API estava retornando apenas a associação direta. Agora, ela retorna a associação direta e indireta. Ela também inclui um novo campo type para distinguir entre as duas. Confira API de grupos.
A ID de solicitação do Azure agora está incluída nas exceções
De 20 a 27 de outubro de 2020: versão 3.31
A ID de solicitação do Azure (x-ms-client-request-id) agora está incluída nos logs a seguir para auxiliar na solução de problemas:
- Eventos do cluster
- Logs de serviço quando o Azure gera exceções
- Logs de uso de
AzureLaunchException
Término do suporte do Databricks Runtime série 6.5
14 de outubro de 2020
O suporte para o Databricks Runtime 6.5, o Databricks Runtime 6.5 para Machine Learning e o Databricks Runtime 6.5 para Genomics terminou em 14 de outubro. Confira Ciclos de vida de suporte do Databricks Runtime.
Conectividade de cluster seguro (sem IPs públicos) em versão prévia pública
13 de outubro de 2020: versão 3.30
A conectividade de cluster seguro permite que você inicie clusters nos quais todos os nós têm apenas endereços IP privados, fornecendo segurança avançada. Você pode habilitar a conectividade de cluster seguro para novos workspaces. Caso tenha workspaces com IPs públicos que deseja migrar, crie workspaces habilitados para proteger a conectividade do cluster e migre seus recursos para os novos workspaces. Entre em contato com a equipe de conta da Microsoft ou do Databricks para obter detalhes.
Para obter mais informações, confira Conectividade segura do cluster.
Aprimoramento da API do SCIM: resposta do campo
De 7 a 13 de outubro de 2020: versão 3.30
Em respostas do SCIM, o campo $ref estava retornando um nome de host interno no URI. De acordo com o SCIM RFC-7463, as respostas do SCIM agora retornam um URI relativo no campo $ref.
Os logs de diagnóstico (auditoria) agora são entregues com baixa latência
De 7 a 13 de outubro de 2020: versão 3.30
Os logs de auditoria de diagnóstico agora são fornecidos com baixa latência, com 99% dos logs entregues em 15 minutos nas regiões comerciais do Azure. Nenhuma ação é necessária para habilitar a entrega de baixa latência. Confira Configurar entrega do log de diagnóstico.
LTS (Suporte a Longo Prazo) declarado do Databricks Runtime 7.3, 7.3 ML e 7.3 Genomics
8 de outubro de 2020
O Databricks Runtime 7.3, o Databricks Runtime 7.3 para Machine Learning e o Databricks Runtime 7.3 para Genomics foram declaradas versões LTS (suporte a longo prazo).
O Azure Databricks fornece dois anos completos de suporte para versões LTS. Essas versões tiveram suporte até 24 de setembro de 2022.
Para mais informações sobre essas versões do Databricks Runtime, confira as notas sobre a versão do Databricks Runtime 7.3 LTS (sem suporte), Databricks Runtime 7.3 LTS para Machine Learning (sem suporte), e Databricks Runtime 12.1 (sem suporte).
Renderizar imagens com uma resolução mais alta usando o matplotlib
De 7 a 13 de outubro de 2020: versão 3.30
Agora é possível renderizar imagens do matplotlib em notebooks Python ao dobrar a resolução padrão (também conhecida como resolução de retina), fornecendo aos usuários com telas de alta resolução uma melhor experiência de visualização. Confira Renderizar imagens com uma resolução mais alta.
Usar a CLI do Databricks ou a API do Databricks para criar escopos de segredos com o backup do Azure Key Vault
De 7 a 13 de outubro de 2020: versão 3.30
Agora é possível usar a CLI do Databricks ou a API REST do Databricks para criar escopos de segredos com suporte do Azure Key Vault. Confira Escopos de segredo e API de segredos.
Use tokens do Microsoft Entra ID para autenticar no Databricks CLI
De 7 a 13 de outubro de 2020: versão 3.30
Agora é possível usar tokens do Microsoft Entra ID para autenticar na CLI do Databricks. Confira Configurar a autenticação.
Novas regiões do Azure (versão prévia pública)
1° de outubro de 2020
O Azure Databricks agora está disponível nas regiões Norte da Suíça, Leste da China 2 e Norte da China 2 como visualização pública.