Julho de 2022

Esses recursos e melhorias da plataforma Azure Databricks foram lançados em julho de 2022.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

O suporte para o Databricks Runtime 11.1 e 11.1 ML foi encerrado

27 de julho de 2022

O Databricks Runtime 11.1 e o Databricks Runtime 11.1 ML estão em disponibilidade geral.

Confira Databricks Runtime 11.1 (sem suporte) e Databricks Runtime 11.1 para Machine Learning (sem suporte).

Photon é GA

27 de julho de 2022

O Photon agora está disponível em geral, começando com o Databricks Runtime 11.1.

O Photon é o mecanismo de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark, de modo que funcione com o seu código já existente. Ele foi desenvolvido em C++, para aproveitar componentes de hardware modernos, e usa as técnicas mais recentes no processamento de consultas vetorizadas para aproveitar o paralelismo de dados e de nível de instrução em CPUs, aprimorando o desempenho em dados e aplicativos do mundo real, tudo de forma nativa no seu data lake.

O Photon integra um runtime de alto desempenho que executa suas atuais chamadas de SQL e de DataFrame API mais rapidamente e reduz o custo total por carga de trabalho. O Photon é usado por padrão em SQL warehouses do Databricks.

Veja o Photon é GA nas notas de versão do Databricks Runtime 11.1.

Notificação após a conclusão do notebook

27 de julho a 15 de agosto de 2022

Se você navegar para longe de um bloco de anotações enquanto ele estiver em execução, uma notificação agora será exibida quando ela for concluída. Você pode habilitar ou desabilitar essas notificações no navegador.

Aumento do limite para o número de trabalhos nos workspaces do Azure Databricks

19 a 22 de julho de 2022

Agora você pode criar até 10.000 trabalhos em um workspace do Azure Databricks ao habilitar o aumento do número de trabalhos no console de administração do Azure Databricks. Esse recurso também habilita uma lista de trabalhos paginados quando você vê trabalhos na interface do usuário trabalhos, reduzindo o tempo necessário para carregar o modo de exibição de lista Trabalhos.

O Databricks recomenda a API de Trabalhos 2.1 se você habilitar o limite de trabalhos aumentado. O uso da API jobs 2.0 resulta em desempenho degradado ao retornar um grande número de trabalhos.

Os logs de auditoria detalhados agora são registrados quando as consultas do Databricks SQL são executadas

14 de julho de 2022

Agora você pode configurar logs de auditoria para registrar quando as consultas do Databricks SQL são executadas. Para fazer isso, use a configuração logs de auditoria detalhados do workspace. Confira Habilitar logs de auditoria detalhados. Há um registro de log de auditoria para enviar uma consulta e outro registro para conclusão de consulta (incluindo cancelamento).

Se os logs de auditoria detalhados já estiverem habilitados para seu workspace registrar os comandos do notebook, os logs de auditoria detalhados agora incluem automaticamente consultas do Databricks SQL para o workspace.

Driver JDBC do Databricks 2.6.27

11 de julho de 2022

Lançamos a versão 2.6.27 do driver JDBC para Databricks (baixar). Esta versão atualiza as bibliotecas de terceiros, como o Apache Arrow 7.0.0. Esta versão também inclui atualizações para o arquivo de licença e o guia de instalação de configuração.

Além disso, essa versão resolve os seguintes problemas:

• Em alguns casos, quando uma conexão HTTP estiver ativa por um longo período, o conector retornará um erro NoHttpResponseException.
• Em alguns casos, classes sem sombra Log4j no arquivo JAR do conector entram em conflito com arquivos implantados no ambiente do usuário final. As classes sem sombra foram removidas do arquivo JAR do conector.
• Ao usar uma classe DataSource, os nomes de subprotocolo estão incorretos.

Driver ODBC do Databricks 2.6.25

11 de julho de 2022

Lançamos a versão 2.6.25 do driver ODBC do Databricks (baixar). Esta versão adiciona suporte para configurar o conector para atenuar as operações de download de arquivo de resultado disperso.

Databricks Runtime 11.1 (Beta)

8 de julho de 2022

O Databricks Runtime 11.1, o Photon 11.1 e o ML 11.1 já estão disponíveis como versões Beta.

Confira as notas completas sobre a versão em Databricks Runtime 11.1 (sem suporte) e Databricks Runtime 11.1 para Machine Learning (sem suporte).

Visualizações aprimoradas do notebook

5 a 11 de julho de 2022: versão 3.75

O suporte interno para gráficos e visualizações em notebooks agora dá suporte a vários gráficos e perfis de dados. Quando você executa uma célula SQL em um notebook ou usa a função display em um DataFrame, o notebook mostra resultados com guias, semelhantes aos resultados exibidos no Databricks SQL. Agora você pode criar as mesmas visualizações avançadas em um notebook que você pode criar no Databricks SQL. Confira Visualizações em notebooks do Databricks.