Novembro de 2021
Esses recursos e melhorias da plataforma Azure Databricks foram lançados em novembro de 2021.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Criar marcas para tabelas de recursos (Visualização Pública)
De 30 de novembro a 6 de dezembro de 2021: versão 3.60
Agora você pode criar marcas para tabelas de recursos e usá-las para pesquisar.
Realce de sintaxe e preenchimento automático para comandos SQL em células do Python
De 30 de novembro a 6 de dezembro de 2021: versão 3.60
O realce de sintaxe e o preenchimento automático do SQL ficam disponíveis quando você usa o SQL em um comando do Python, como em um comando spark.sql.
Renomear, excluir e alterar permissões para experimentos do MLflow da página de experimento (Visualização Pública)
De 30 de novembro a 6 de dezembro de 2021: versão 3.60
Agora você pode renomear, excluir e alterar permissões para um experimento do MLflow de sua página de experimento. Para obter detalhes, consulte Gerenciar experimentos.
Novos perfis de dados em notebooks: resumos de tabelas e gráficos de seus dados (Visualização Pública)
De 30 de novembro a 6 de dezembro de 2021: versão 3.60
Quando você usa display(<dataframe>) no Scala ou no Python, ou executa uma consulta SQL, o painel de resultados mostra uma nova guia Data Profile que apresenta um resumo de tabela e gráfico interativo do DataFrame ou da tabela. Para obter detalhes, consulte Criar um novo perfil de dados e Criar uma nova visualização.
Você também pode usar o comando de utilitários do Databricks dbutils.data.summarize.
Registro em log aprimorado quando os esquemas evoluem durante a execução de um pipeline do Delta Live Tables
De 30 de novembro a 6 de dezembro de 2021: versão 3.60
Se o pipeline do Delta Live Tables ler dados com o carregador automático e o esquema dos dados de entrada for alterado durante a execução de uma atualização, a atualização será registrada como CANCELED e automaticamente repetida. A nova atualização é registrada com o estado SCHEMA_CHANGE. Anteriormente, quando o esquema de entrada era alterado, a atualização seria registrada como FAILED mesmo que o Delta Live Tables repetisse a atualização automaticamente.
GA do Databricks Partner Connect
18 de novembro de 2021
O Databricks Partner Connect agora está em disponibilidade geral. Você pode usar o Partner Connect para descobrir e conectar com rapidez e facilidade dados populares e ferramentas de IA ao seu lakehouse do Azure Databricks. Consulte O que é o Databricks Partner Connect?.
Alteração interruptiva: remova a saída e as aspas de $ em valores de variáveis de ambiente para a criação do cluster
De 15 a 30 de novembro de 2021: versão 3.59
Observação
Essa alteração será revertida em 3 de dezembro de 2021 das 01:00 às 03:00 UTC.
Ao criar um cluster, você pode especificar variáveis de ambiente. Antes dessa alteração, para usar um $ dentro de um valor de variável de ambiente, você precisava usar caractere de escape ou colocá-lo entre aspas. Com essa alteração, não são mais necessários caracteres de escape ou aspas. Essa alteração introduz um comportamento de interrupção, já que caracteres de escape ou aspas $ em valores de variáveis de ambiente não são mais interpretados como $. Por exemplo, agora, dadas as seguintes declarações de variável de ambiente:
WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123
Imprimindo esses valores de um notebook, por exemplo:
%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}
Retorna os seguintes valores:
\\$123
"$123"
$123
driver23
$123
Observação
Essa alteração se aplica somente a variáveis de ambiente. Não é aplicável a segredos.
Facilidade de uso das melhorias para Arquivos no Repos
De 15 a 30 de novembro de 2021: versão 3.59
Novos recursos foram adicionados ao editor de texto de arquivos:
- Uma marca de fechamento é gerada automaticamente quando você cria uma marca.
- O dobramento de código agora está disponível.
Além disso, para arquivos de texto, agora você pode copiar o caminho completo do repositório, além do caminho da raiz do repositório. Para ver detalhes, confira Interagir programaticamente com arquivos de espaço de trabalho.
O suporte para widgets herdados do SQL termina em 15 de janeiro de 2022
15 de novembro de 2021
O Databricks encerrará o suporte para widgets herdados do SQL em 15 de janeiro de 2022. Após essa data, os notebooks deixarão de renderizar os widgets herdados do SQL na interface do usuário, mas os parâmetros passados pelo %run continuarão funcionando com a API de widget herdado do SQL. Para garantir que seus widgets continuem a renderizar na interface do usuário, atualize seu código para usar os widgets de SQL.
Melhorias na interface do usuário para trabalhos do Azure Databricks
De 15 a 30 de novembro de 2021: versão 3.59
Esta versão inclui os seguintes aprimoramentos à interface do usuário de trabalhos:
- Agora você pode clonar uma única tarefa, facilitando a adição de novas tarefas a um trabalho existente. Consulte Criar uma tarefa a partir de uma tarefa existente
- Ao exibir detalhes da execução do trabalho ou detalhes da execução da tarefa, a ID do trabalho e a ID de execução do trabalho agora são links, permitindo que você alterne facilmente entre as exibições de detalhes do trabalho. Confira Exibir detalhes da execução do trabalho.
- Agora você pode copiar o caminho para uma tarefa, por exemplo, um caminho de notebook, ao exibir ou editar uma tarefa. Consulte Copiar um caminho de tarefa.
Conector do Delta Sharing para Power BI
15 de novembro de 2021
Lançamos o conector do Delta Sharing para Power BI que permite aos usuários descobrir, analisar e visualizar conjuntos de dados compartilhados por meio do protocolo aberto Delta Sharing. O protocolo permite a troca segura de conjuntos de dados em produtos e plataformas aproveitando a REST e o armazenamento em nuvem. Para ver detalhes, confira Conector do Delta Sharing para Power BI.
Driver ODBC do Databricks 2.6.19
12 de novembro de 2021
Lançamos a versão 2.6.19 do driver ODBC para Databricks (download). O novo driver propaga condições de erro do SQL (SQLState) retornadas pelo Databricks para o cliente.
O Databricks Runtime 10.1 e 10.1 ML estão em GA. O Photon 10.1 está em versão prévia pública
10 de novembro de 2021
O Databricks Runtime 10.1 e 10.1 ML agora estão disponíveis para o público geral. O 10.1 Photon está em Visualização Pública.
Confira Databricks Runtime 10.1 (sem suporte) e Databricks Runtime 10.1 para ML (sem suporte).
Databricks Runtime 10.1 (Beta)
4 de novembro de 2021
Databricks Runtime 10.1, 10.1 Photon e 10.1 ML agora estão disponíveis como versões Beta.
Consulte as notas de versão completas em Databricks Runtime 10.1 (sem suporte) e Databricks Runtime 10.1 para ML (sem suporte).
Renomear e excluir experimentos do MLflow (Visualização Pública)
De 2 a 8 de novembro de 2021: versão 3.58
Agora você pode renomear, excluir e alterar permissões para um experimento do MLflow da página de Experimentos.
Agora você pode criar uma política de cluster clonando uma política existente
De 2 a 8 de novembro de 2021: versão 3.58
Foi adicionado suporte para a criação de uma nova política de cluster clonando uma política existente. Confira Criar e gerenciar políticas de computação.
Altere o idioma padrão de notebooks e células do notebook com mais facilidade
De 2 a 8 de novembro de 2021: versão 3.58
Um novo botão de idioma aparece na parte superior do notebook e em cada célula. Você pode usar esse botão para selecionar o idioma padrão do notebook e para selecionar o idioma de uma célula específica. Para saber mais, confira Definir idioma padrão e Misturar idiomas.
Usar Arquivos no Repos do terminal da Web
De 2 a 8 de novembro de 2021: versão 3.58
Agora você pode acessar Arquivos no Repos no terminal da Web usando o caminho /Workspace.