Agosto de 2022
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em agosto de 2022.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Os usuários da conta podem acessar o console da conta
1 a 31 de agosto de 2022
Os usuários da conta podem acessar o console da conta do Azure Databricks para exibir uma lista dos workspaces. Os usuários da conta só podem exibir os workspaces aos quais receberam acesso. Consulte Gerenciar a conta do Azure Databricks.
Os usuários dos workspaces são sincronizados automaticamente com a sua conta como usuários da conta. Consulte Como os administradores atribuem usuários à conta?.
Driver ODBC do Databricks 2.6.26
29 de agosto de 2022
Lançamos a versão 2.6.26 do driver ODBC para Databricks (download). Essa versão atualiza o suporte a consultas. Você já pode cancelar de maneira assíncrona as consultas em conexões HTTP após a solicitação de API.
Essa versão também resolve o seguinte problema:
- Ao usar consultas personalizadas no Spotfire, o conector fica sem resposta.
Driver JDBC do Databricks 2.6.29
29 de agosto de 2022
Lançamos a versão 2.6.29 do driver JDBC para Databricks (download). Essa versão resolve os seguintes problemas:
- Ao usar um proxy HTTP com a Busca na Nuvem habilitada, o conector não retorna resultados de conjuntos de dados grandes.
- Problemas de texto secundários no Texto da Licença do Databricks. Os links da documentação estavam ausentes.
- Os nomes do arquivo JAR estavam incorretos. Em vez de SparkJDBC41.jar, deveria ser DatabricksJDBC41.jar. Em vez de SparkJDBC42.jar, deveria ser DatabricksJDBC42.jar.
O cliente do Repositório de Recursos do Databricks agora está disponível no PyPI
26 de agosto de 2022
O cliente do Repositório de recursos agora está disponível no PyPI. O cliente requer o Databricks Runtime 9.1 LTS ou superior e pode ser instalado usando:
%pip install databricks-feature-store
O cliente já está empacotado com o Databricks Runtime para Machine Learning 9.1 LTS e superior.
O cliente não pode ser executado fora do Databricks; no entanto, você pode instalá-lo localmente para auxiliar no teste de unidade e para suporte adicional ao IDE (por exemplo, preenchimento automático). Para mais informações, consulte o Cliente Python do Repositório de Recursos do Databricks
O Catálogo do Unity é GA
25 de agosto de 2022
O Catálogo do Unity está disponível para o público geral. Para acessar anúncios e limitações de recursos em detalhes, consulte Nota sobre a versão de GA do Catálogo do Unity.
O Compartilhamento Delta é GA
25 de agosto de 2022
O Compartilhamento Delta agora está em disponibilidade geral, começando com o Databricks Runtime 11.1. Para obter detalhes, consulte Compartilhar dados e ativos de IA com segurança usando o Compartilhamento Delta.
- O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de trocar tokens.
- Crie e gerencie provedores, destinatários e compartilhamentos com uma interface do usuário fácil de usar.
- Crie e gerencie provedores, destinatários e compartilhamentos com SQL e APIs REST com suporte completo à CLI e ao Terraform.
- Consulte alterações nos dados ou compartilhe versões incrementais com os Feeds de dados de alterações.
- Restrinja o acesso do destinatário ao download de arquivos de credenciais ou à consulta de dados usando listas de acesso IP e restrições de região.
- O uso do Compartilhamento Delta para compartilhar dados na mesma conta do Azure Databricks está habilitado por padrão.
- Imponha a separação de funções delegando o gerenciamento do Compartilhamento Delta a não administradores.
Databricks Runtime 11.2 (Beta)
23 de agosto de 2022
O Databricks Runtime 11.2, o Photon 11.2 e o ML 11.2 já estão disponíveis como versões Beta.
Confira as notas completas sobre a versão em Databricks Runtime 11.2 (sem suporte) e Databricks Runtime 11.2 para Machine Learning (sem suporte).
Redução do volume de mensagens na interface do usuário do Delta Live Tables para pipelines contínuos
22-29 de agosto de 2022: Versão 3.79
Com essa versão, as transições de estado para tabelas dinâmicas em um pipeline contínuo do Delta Live Tables são exibidas na interface do usuário somente até que as tabelas entrem em execução. Todas as transições relacionadas à recomputação bem-sucedida das tabelas não são exibidas na interface do usuário, mas estão disponíveis no log de eventos do Delta Live Tables no nível MÉTRICAS. As transições para estados de falha ainda são exibidas na interface do usuário. Anteriormente, todas as transições de estado eram exibidas na interface do usuário para tabelas dinâmicas. Essa alteração reduz o volume de eventos de pipeline exibidos na interface do usuário e facilita a localização de mensagens importantes para os pipelines. Para saber mais sobre como consultar o log de eventos, confira O que é o log de eventos do Delta Live Tables?.
Configuração mais simples do cluster para os pipelines do Delta Live Tables
22-29 de agosto de 2022: Versão 3.79
Agora você pode selecionar um modo de cluster, com dimensionamento automático ou tamanho fixo, diretamente na interface do usuário do Delta Live Tables ao criar um pipeline. Antes, a configuração de um cluster de dimensionamento automático exigia alterações nas configurações JSON do pipeline. Para obter mais informações sobre como criar um pipeline e a nova configuração do Modo cluster, consulte Executar uma atualização em um pipeline do Delta Live Tables.
Orquestrar tarefas dbt em seus fluxos de trabalho do Databricks (Visualização pública)
22-29 de agosto de 2022: Versão 3.79
Você pode executar seu projeto dbt core como uma tarefa em um trabalho do Azure Databricks com a nova tarefa dbt, permitindo que você inclua suas transformações de dbt em um fluxo de trabalho de processamento de dados. Por exemplo, seu fluxo de trabalho pode ingerir dados com o Carregador Automático, transformar os dados com dbt e analisar os dados com uma tarefa de computador. Para obter mais informações sobre a tarefa dbt, incluindo um exemplo, consulte Usar transformações dbt em um trabalho do Azure Databricks. Para obter mais informações sobre como criar, executar e agendar um fluxo de trabalho que inclua uma tarefa dbt, consulte Criar e executar trabalhos do Azure Databricks.
A federação de identidade é GA
25 de agosto de 2022
A federação de identidade simplifica a administração do Azure Databricks, permitindo que você atribua usuários, entidades de serviço e grupos no nível da conta para workspaces federados por identidade. Agora você pode configurar e gerenciar todos os usuários, entidades de serviço e grupos uma vez no console da conta, em vez de repetir a configuração separadamente em cada workspace. Para saber mais sobre federação de identidade, confira Como os administradores atribuem usuários a workspaces?. Para começar, veja Como os administradores habilitam a federação de identidade em um workspace?.
O Partner Connect dá suporte à conexão com o Stardog
24 de agosto de 2022
Agora é fácil criar uma conexão entre o Stardog e seu workspace do Azure Databricks usando o Partner Connect. O Stardog oferece uma plataforma de grafo de conhecimento para responder a consultas complexas em silos de dados.
Integração do Repositório de Recursos do Databricks com Inferência em Tempo Real sem Servidor
22-29 de agosto de 2022: Versão 3.79
O Databricks Feature Store agora dá suporte à pesquisa automática de recursos para inferência de Real-Time sem servidor. Para obter detalhes, consulte Pesquisa automática de recursos com modelos do MLflow no Databricks.
Suporte de tipo de dados adicional para a pesquisa automática de recursos do Armazenamento de Recursos do Databricks
22-29 de agosto de 2022: Versão 3.79
O Armazenamento de Recursos do Databricks agora dá suporte a BooleanType para pesquisa automática de recursos. Consulte Pesquisa automática de recursos com modelos do MLflow no Databricks.
Traga sua própria chave: Criptografar as credenciais do Git
23-29 de agosto de 2022
Use uma chave de criptografia para as credenciais do Git no Databricks Repos.
Confira Traga sua própria chave: Criptografar as credenciais do Git.
A versão prévia e o acesso da interface do usuário do cluster substitui o modo de segurança
19 de agosto de 2022
A nova interface do usuário Criar Cluster está em Versão Prévia. Consulte Referência de configuração de computação.
Limitações do Catálogo do Unity (Visualização pública)
16 de agosto de 2022
- A Escala, R e as cargas de trabalho usando o Machine Learning Runtime têm suporte apenas em clusters usando o modo de acesso único do usuário. As cargas de trabalho nessas linguagens não são suporte ao uso de exibições dinâmicas para fins de segurança em nível de linha ou de coluna.
- Não há suporte para clones superficiais ao usar o Catálogo do Unity como origem ou destino do clone.
- Não há suporte para o particionamento de memória em tabelas do Catálogo do Unity. Os comandos que tentam criar uma tabela com particionamento de memória no Catálogo do Unity gerarão uma exceção.
- O modo de substituição para operações de gravação de DataFrame no Catálogo do Unity tem suporte apenas para tabelas Delta e não para outros formatos de arquivo. O usuário deve ter o privilégio
CREATEno esquema pai e deve ser o proprietário do objeto existente. - Atualmente, o serviço tem as seguintes limitações:
- Não há suporte em clusters usando o modo de acesso compartilhado. Em cargas de trabalho de streaming, você deve usar o modo de acesso único do usuário.
- Ainda não há suporte para o ponto de verificação assíncrono.
- Consultas de streaming que duram mais de 30 dias em clusters de todas as finalidades ou de trabalhos gerarão uma exceção. Em consultas de streaming de execução prolongada, configure novas tentativas automáticas de trabalho.
- Atualmente, não há suporte para fazer referência a tabelas do Catálogo do Unity de pipelines do Delta Live Tables.
- Os grupos criados anteriormente em um workspace não podem ser usados em instruções GRANT do Catálogo do Unity. Isso serve para garantir uma exibição consistente de grupos que podem se estender entre workspaces. Para usar grupos em instruções GRANT, crie seus grupos no console da conta e atualize qualquer automação para gerenciamento de entidades de segurança ou grupos (como conectores SCIM, Okta e Microsoft Entra ID e Terraform) para referenciar pontos de extremidade de conta em vez de pontos de extremidade de workspace.
O Catálogo Unity está disponível nas seguintes regiões:
canadacentralcentralusfrancecentralgermanywestcentraljapaneastnorwayeastsouthafricanorthswedencentralswitzerlandnorthswitzerlandwestuaenorthwestcentraluswestus3australiaeastbrazilsouthcentralindiaeastuseastus2koreacentralnorthcentralusnortheuropesoutheastasiaukwestwesteuropewestus
Para usar o Catálogo do Unity em outra região, entre em contato com sua equipe de conta.
Inferência em Tempo Real sem Servidor na Visualização Pública
16 de agosto de 2022
A inferência em tempo real sem servidor processa seus modelos de machine learning usando o MLflow e os expõe como pontos de extremidade da API REST. Essa funcionalidade usa a computação sem servidor, o que significa que os pontos de extremidade e os recursos de computação associados são gerenciados e executados na conta de nuvem do Azure Databricks. Os custos de uso e armazenamento incorridos atualmente são gratuitos, mas o Azure Databricks fornecerá aviso ao iniciar a cobrança.
Os administradores do workspace devem habilitar a Inferência em tempo real sem servidor em seu workspace para que você use esse recurso.
Para obter mais informações, confira Serviço de modelo com a Inferência em Tempo Real sem Servidor. Para participar da visualização pública de inferência em tempo real sem servidor, entre em contato com sua equipe de conta do Azure Databricks.
Agora, a pesquisa de workspace aprimorada é GA
9 de agosto de 2022
Agora você pode pesquisar notebooks, bibliotecas, pastas, arquivos e repositórios por nome. Você também pode pesquisar conteúdo em um notebook e obter uma pré-visualização do conteúdo correspondente. Os resultados da pesquisa podem ser filtrados por tipo. Consulte Pesquisar objetos do workspace.
Usar colunas geradas ao criar conjuntos de dados do Delta Live Tables
8-15 de agosto de 2022: Versão 3.78
Agora você pode usar colunas geradas ao definir tabelas em seus pipelines do Delta Live Tables. As colunas geradas têm suporte nas interfaces Delta Live Tables Python e SQL.
Edição aprimorada para blocos de anotações com editor baseado no Monaco (experimental)
8-15 de agosto de 2022
Um novo editor de código baseado em Monaco está disponível para notebooks Python. Para habilitá-lo, marque a opção Ativar o novo editor de notebook na guia Configurações do Editor na página Configurações do Usuário.
O novo editor inclui dicas de tipo de parâmetro, inspeção ao passar o mouse sobre o objeto, dobramento de código, suporte a vários cursores, seleção de coluna (caixa) e diferenciais lado a lado no histórico de revisão do notebook.
Término do suporte do Databricks Runtime série 10.3
2 de agosto de 2022
O suporte ao Databricks Runtime 10.3 e ao Databricks Runtime 10.3 para Machine Learning foi encerrado em 2 de agosto. Confira Ciclos de vida de suporte do Databricks Runtime.
Habilitar a conectividade privada com Link Privado do Azure (Visualização Pública)
2 de agosto de 2022
O Azure Databricks já dá suporte à habilitação de conexões do Link Privado do Azure para conectividade privada entre os usuários e os respectivos workspaces do Azure Databricks, bem como entre clusters no plano de computação e os principais serviços no painel de controle dentro da infraestrutura do workspace do Databricks. O Link Privado do Azure se conecta diretamente aos serviços sem expor o tráfego à rede pública. Esse recurso está disponível em Visualização Pública. Confira Habilitar conexões de back-end e front-end do Link Privado do Azure.
Habilitar os SQL warehouses sem servidor para seu workspace (Visualização Pública)
2 de agosto de 2022
Warehouses SQL sem servidor agora estão disponíveis para contas e workspaces no Azure Databricks como Visualização Pública. Esse recurso requer o tipo de preço Premium. Antes de criar warehouses SQL sem servidor, um administrador precisa habilitá-lo para o workspace.
O Delta Live Tables agora dá suporte à atualização apenas de tabelas selecionadas em atualizações de pipeline
2 a 24 de agosto de 2022
Agora, você pode iniciar uma atualização para apenas tabelas selecionadas em um pipeline do Delta Live Tables. Esse recurso acelera o teste de pipelines e a resolução de erros, permitindo que você inicie uma atualização de pipeline que atualiza apenas as tabelas selecionadas. Para saber como iniciar uma atualização apenas de tabelas selecionadas, consulte Executar uma atualização em um pipeline do Delta Live Tables.
A execução do trabalho agora aguarda as bibliotecas de cluster terminarem de instalar
1º de agosto de 2022
Quando um cluster é iniciado, seus trabalhos do Databricks agora esperam que as bibliotecas de cluster concluam a instalação antes da execução. Antes, as execuções de trabalho esperavam a instalação de bibliotecas em clusters de todos os fins somente se elas fossem especificadas como uma biblioteca dependente para o trabalho. Para obter mais informações sobre como configurar bibliotecas dependentes para trabalhos, consulte Configurar bibliotecas dependentes.
Comentários
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulte https://aka.ms/ContentUserFeedback.
Enviar e exibir comentários de