Fevereiro de 2022
Esses recursos e melhorias da plataforma Azure Databricks foram lançados em fevereiro de 2022.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Agendamento mais fácil para seus pipelines do Delta Live Tables (Visualização Pública)
28 de fevereiro a 2 de março de 2022
Agora é possível criar um trabalho agendado do Azure Databricks para seus pipelines disparados diretamente pela IU do Delta Live Tables. Anteriormente, era necessário criar o trabalho e o agendamento para executar o trabalho pela IU de trabalhos.
Navegue facilmente pelo histórico de atualizações do pipeline do Delta Live Tables (Visualização Pública)
28 de fevereiro a 2 de março de 2022
Agora é possível ver um histórico de atualizações de pipeline, incluindo status de atualização, detalhes e eventos, com o menu suspenso Histórico de atualizações na IU do Delta Live Tables.
Garantir a idempotência do trabalho para a solicitação Executar API de Trabalhos agora
22 a 28 de fevereiro de 2022: versão 3.66
Agora é possível usar o parâmetro opcional idempotency_token com a operação Executar agora da API de Trabalhos para garantir que apenas uma execução de um trabalho seja iniciada. Anteriormente, o envio de várias solicitações Run now para o mesmo trabalho poderia iniciar mais de uma execução.
Para saber mais sobre a idempotência do trabalho, confira Como garantir a idempotência de trabalhos.
Melhorias de escalabilidade e estabilidade do serviço de trabalhos
22 a 28 de fevereiro de 2022: versão 3.66
As seguintes alterações aumentam a estabilidade e a escalabilidade do serviço de trabalhos:
- Cada novo trabalho recebe um identificador mais longo, exclusivo, numérico e não sequencial. Os clientes que usam a API de trabalhos e dependem de um comprimento de identificador fixo ou de identificadores de aumento sequencial ou monotônico devem ser modificados para aceitar identificadores que sejam mais longos, não sequenciais e não ordenados. O tipo de identificador de
int64permanece inalterado e a compatibilidade é preservada para clientes que usam números de ponto flutuante de IEEE 754 de 64 bits, por exemplo, clientes JavaScript. - O valor do campo
number_in_job, incluído na resposta a algumas solicitações da API de trabalhos, agora está definido como o mesmo valor derun_id.
Comparar as execuções do MLflow de diferentes experimentos
22 a 28 de fevereiro de 2022: versão 3.66
Agora é possível exibir e comparar execuções de diversos experimentos. Confira Comparar execuções de diversos experimentos.
Melhorias na exibição de execuções de comparação do MLflow
22 a 28 de fevereiro de 2022: versão 3.66
A exibição de comparação de execuções foi aprimorada. As visualizações agora aparecem na parte superior da página. Agora é possível rolar ou recolher as tabelas que mostram informações de execução, parâmetros e métricas. Agora também é possível simplificar a exibição ocultando parâmetros e métricas que não variam entre as execuções.
Para obter informações sobre a página comparar execuções, consulte Comparar execuções. Para obter instruções sobre como comparar execuções, confira Comparar execuções.
Visibilidade aprimorada em proprietários de executar trabalho na interface do usuário de clusters
22 a 28 de fevereiro de 2022: versão 3.66
A guia Clusters de trabalho na IU de Computação foi atualizado para mostrar Executar tarefa como usuário em vez de como Proprietário do trabalho. Essa atualização é baseada em alterações no modelo de permissões de trabalhos e fornece visibilidade aprimorada do proprietário de uma execução de trabalho. Consulte Exibir computação.
Soltar colunas do conjuntos de dados no AutoML
22 a 28 de fevereiro de 2022: versão 3.66
No Databricks Runtime 10.3 ML e superior, para problemas de classificação e regressão, agora é possível especificar colunas no conjunto de dados que o AutoML não deve usar para o treinamento. Confira Parâmetros de classificação e regressão.
A página Experimentos é GA
22 a 28 de fevereiro de 2022: versão 3.66
A página de experimentos agora conta com disponibilidade geral.
Suporte para tabelas temporárias na interface de Python do Delta Live Tables
22 a 28 de fevereiro de 2022: versão 3.66
Agora é possível usar a propriedade temporary ao declarar tabelas com a interface Python do Delta Live Tables. Definir uma tabela temporária instrui o Delta Live Tables a não persistir metadados para a tabela e impede a publicação dela quando a configuração target é definida. Confira a especificação de Python para saber como definir tabelas Python.
Melhorias na interface do usuário para o Delta Live Tables (versão prévia pública)
22 a 28 de fevereiro de 2022: versão 3.66
Esta versão inclui os seguintes aprimoramentos para a interface do usuário do Delta Live Tables:
- Agora é possível editar suas configurações de pipeline na caixa de diálogo Configurações da IU do Delta Live Tables com uma interface mais amigável. Anteriormente, você estava limitado a alterar as configurações editando a especificação JSON. Para selecionar a exibição de IU ou JSON a fim de editar as configurações do pipeline, clique no botão IU ou JSON da caixa de diálogo Configurações.
- O log de eventos na página Detalhes do pipeline agora realça os registros de erro, o que facilita a identificação e a solução de erros em seus pipelines.
- A exibição de progresso dos pipelines em execução foi aprimorada. Agora, quando você visualiza o gráfico do pipeline, os nós no estado
RUNNINGtêm uma borda de entrada e uma borda superior animadas.
Término do suporte do Databricks Runtime série 9.0
17 de fevereiro de 2022
O suporte ao Databricks Runtime 9.0 e ao Databricks Runtime 9.0 para Machine Learning foi encerrado em 17 de fevereiro. Confira Ciclos de vida de suporte do Databricks Runtime.
Atualizações da página de aterrissagem de Engenharia de Ciência de Dados
10 de fevereiro de 2022
Atualizamos a aparência da página de aterrissagem de Engenharia de Ciência de Dados. Alguns links foram alterados, mas não há outras alterações de funcionalidade notáveis.
O Databricks Repos agora oferece suporte à integração do AWS CodeCommit para Git
7 a 14 de fevereiro de 2022: Versão 3.65
Agora você pode usar repositórios do AWS CodeCommit com o Databricks Repos.
Visualização aprimorada para seus pipelines do Delta Live Tables (Versão Prévia Pública)
7 a 14 de fevereiro de 2022: Versão 3.65
A visualização de DAG do pipeline foi reprojetada para melhorar a usabilidade e a navegação. As melhorias incluem uma alteração para exibir grafos da esquerda para a direita, e não de cima para baixo, fornecendo uma exibição mais intuitiva da execução do pipeline.
Analisador de Markdown atualizado
7 a 14 de fevereiro de 2022: Versão 3.65
O analisador de Markdown usado em notebooks do Azure Databricks foi atualizado. Alguns dos problemas observados na atualização anterior foram corrigidos. Especificamente, não é mais necessário colocar um espaço entre as hashtags e o texto de um cabeçalho, e links com espaços agora são renderizados corretamente.
O Delta Live Tables agora oferece suporte ao processamento de captura de dados de alterações (Versão Prévia Pública)
7 a 14 de fevereiro de 2022: Versão 3.65
Agora você pode implementar o processamento de CDC (captura de dados de alterações) em seus pipelines do Delta Live Tables. O processamento de CDC tem suporte com as interfaces SQL e Python. Consulte Captura de dados de alterações simplificada com a API APPLY CHANGES no Delta Live Tables.
Metastores adicionais agora disponíveis em várias regiões
08 de fevereiro de 2022
Os metastores a seguir agora estão disponíveis nas seguintes regiões:
brazilsouth:
consolidated-brazilsouth-prod-metastore.mysql.database.azure.com
centralus:
consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com
eastus:
consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-3.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com
eastus2
consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com
francecentral
consolidated-francecentral-prod-metastore.mysql.database.azure.com
northeurope
consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com
southeastasia
consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com
switzerlandnorth
consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com
switzerlandwest
consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com
uksouth
consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com
westeurope
consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com
Inclua sempre todos os nomes de host relevantes para cada região usada nas suas UDRs (rotas definidas pelo usuário). Consulte Configurações de rota definidas pelo usuário para o Azure Databricks.
Selecionar estruturas de algoritmo a serem usadas com o AutoML
7 a 14 de fevereiro de 2022: Versão 3.65
No Databricks Runtime 10.3 ML e superiores, você pode especificar estruturas de algoritmos, como scikit-learn, que o AutoML não deve considerar ao desenvolver modelos. Por padrão, o AutoML considera modelos scikit-learn, XGBoost e LightGBM para problemas de classificação e regressão, e Prophet e Auto-ARIMA para previsão de problemas. Confira Parâmetros de classificação e regressão.
Os modelos do MLflow hospedados no Databricks agora podem pesquisar recursos em armazenamentos online
3 de fevereiro de 2022
Modelos empacotados com metadados do Feature Store podem pesquisar automaticamente valores de recursos em armazenamentos online no momento do serviço.
O Databricks Runtime 10.3 e 10.3 ML estão em GA. O Photon 10.3 está em versão prévia pública
2 de fevereiro de 2022
O Databricks Runtime 10.3 e o Databricks Runtime 10.3 ML estão disponíveis ao público em geral. O Databricks Runtime 10.3 Photon está em Versão Prévia Pública.