Janeiro de 2024
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em janeiro de 2024.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
Suporte ao formato de arquivo XML nativo (Visualização Pública)
31 de janeiro de 2024
O suporte ao formato de arquivo XML nativo está agora em Visualização Pública. O suporte ao formato de arquivo XML permite ingestão, consulta e análise de dados XML para processamento em lotes ou streaming. Ele pode inferir e evoluir automaticamente tipos de esquema e dados, dá suporte a expressões SQL como from_xml e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com o Carregador Automático, read_files, COPY INTO e Delta Live Tables. Para obter mais informações, confira Ler e gravar arquivos XML.
Compartilhar modelos de IA usando o Databricks Marketplace (Visualização Pública)
31 de janeiro de 2024
Agora você pode usar o Marketplace para compartilhar modelos registrados no Catálogo do Unity. Os workspaces do provedor e do consumidor devem ser habilitados para o Catálogo do Unity para participar do compartilhamento de modelos.
Confira O que é o Databricks Marketplace? e Adicionar modelos a um compartilhamento.
Atualizações das regras do grupo de segurança de rede
31 de janeiro de 2023
Para melhorar a escalabilidade da plataforma, o painel de controle do Azure Databricks agora requer novos pontos de extremidade para que o plano de dados clássico se conecte. Para workspaces implantados em sua própria rede virtual do Azure, as portas de rede 3306 e 8443-8451 agora são adicionadas à regra de segurança existente ao destino AzureDatabricks impondo o tráfego de saída na porta 443.
Para obter mais informações, confira Regras do grupo de segurança de rede.
Atualização do caminho do workspace
Historicamente, os usuários eram obrigados a incluir o prefixo de caminho /Workspace para algumas APIs do Databricks (%sh), mas não para outras (%run, entradas da API REST). Agora, os usuários podem fornecer caminhos de workspace com o prefixo /Workspace em todos os lugares no Databricks. Referências antigas a caminhos sem o prefixo /Workspace são redirecionadas e continuarão funcionando. O Databricks recomenda que todos os caminhos de workspace usem o prefixo /Workspace para diferenciá-los dos caminhos Volume e DBFS.
O suporte para o firewall de Armazenamento do Azure a partir da computação sem servidor está em disponibilidade geral
30 de janeiro de 2024
O suporte para o firewall do Armazenamento do Microsoft Azure da computação sem servidor do Azure Databricks está em disponibilidade geral. Você pode impor que os SQL warehouses sem servidor usem IDs de sub-rede estáveis para se conectar ao Armazenamento do Microsoft Azure e permitir a lista desses identificadores no firewall de recursos do Azure. Veja Configurar um firewall para acesso computacional sem servidor.
Criação simplificada de trabalhos do Azure Databricks
29 de janeiro de 2024
Um trabalho vazio agora é criado imediatamente depois que você clica no botão para criar um trabalho, permitindo que você edite configurações no nível do trabalho, como marcas, agendamento ou configurações de notificação antes de adicionar a primeira tarefa. Anteriormente, você precisava criar a primeira tarefa antes de obter acesso às configurações de nível de trabalho. Consulte Criar e executar trabalhos do Azure Databricks.
Monitorar um modelo de GPU que atenda às cargas de trabalho usando tabelas de inferência
29 de janeiro de 2024
Agora você pode monitorar o modelo de GPU que atende cargas de trabalho usando tabelas de inferência. Consulte Tabelas de inferência para modelos de monitoramento e depuração.
Acesso baseado em caminho de URI aos volumes externos do Catálogo do Unity
25 de janeiro de 2024
Agora você pode usar URIs de armazenamento em nuvem para acesso baseado em caminho aos dados regidos pelo Catálogo do Unity armazenados em volumes externos. Confira Qual caminho é usado para acessar arquivos em um volume?.
As listas de controles de acesso podem ser habilitadas em workspaces atualizados
24 de janeiro de 2024
As configurações de controle de acesso foram habilitadas em todos os workspaces de plano Premium em novembro de 2023.
Para workspaces que atualizam do plano Standard para o plano Premium, as configurações de controle de acesso são desabilitadas por padrão. Os administradores do workspace agora podem habilitar as seguintes configurações de controle de acesso em workspaces atualizados:
- Controle de acesso do workspace: permite que os usuários configurem permissões para objetos de workspace.
- Controle de acesso de cluster, pool e trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
- Controle de visibilidade do cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
- Controle de visibilidade de trabalhos: impede que os trabalhos fiquem visíveis para usuários que não têm permissões neles.
- Configuração de controle de visibilidade do workspace: impede que notebooks e pastas fiquem visíveis para usuários que não têm permissões neles.
Depois que uma configuração de controle de acesso estiver habilitada, ela não poderá ser desabilitada. Para obter mais informações, consulte Listas de controle de acesso.
A tabela do sistema de eventos de listagem do Marketplace agora está disponível (Visualização Pública)
24 de janeiro de 2024>
O esquema do sistema do Marketplace agora inclui uma tabela de eventos de funil de listagem (system.marketplace.listing_funnel_events) em que você pode monitorar as ações do consumidor em suas listagens. Confira Listagem da tabela de eventos de funil.
Interface do usuário atualizada para células de notebook (versão prévia pública)
24 de janeiro de 2024
Um design de célula do notebook atualizado está disponível. Para habilitar o novo design de célula, abra a página configurações do editor no espaço de trabalho. Na barra lateral, clique em Desenvolvedor. Em Recursos experimentais, alterne a Nova interface do usuário de célula. Para obter detalhes sobre como trabalhar com células de notebook na interface do usuário original e nova, consulte Notebooks do Databricks: orientação para a nova interface do usuário de célula.
Ajuda da Correção Rápida com erros de sintaxe no notebook
24 de janeiro de 2024
Você pode obter ajuda do Assistente do Databricks para erros de sintaxe usando Correção Rápida. Para obter detalhes, confira Ações possíveis em erros de sintaxe e avisos.
Databricks Runtime 14.3 LTS (Beta)
22 de janeiro de 2024
O Databricks Runtime 14.3 LTS e o Databricks Runtime 14.3 LTS ML agora estão disponíveis como versões Beta.
Consulte Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS para Machine Learning.
Compartilhar modelos de IA usando o Compartilhamento Delta (Visualização Pública)
19 de janeiro de 2024
Agora você pode usar o Compartilhamento Delta para compartilhar os modelos registrados no Catálogo do Unity. Os workspaces do provedor e do destinatário precisam estar habilitados para o Catálogo do Unity para que seja possível compartilhar modelos.
Consulte Adicionar modelos a um compartilhamento.
O Databricks Marketplace dá suporte para o compartilhamento de volumes
18 de janeiro de 2023
Agora, o Databricks Marketplace fornece acesso a volumes (dados não tabulares), desde que você tenha um workspace do Databricks habilitado para o Catálogo do Unity. Os volumes são objetos do Unity Catalog que representam um volume lógico de armazenamento em um local de armazenamento de objetos na nuvem e fornecem uma maneira de gerenciar a governança e compartilhamento de ativos de dados não-tabulares.
Crie widgets a partir da interface do usuário do Databricks
18 de janeiro de 2024
Agora você pode criar Widgets do Databricks usando a interface do usuário do Databricks. Para mais detalhes, confira como Criar um widget usando a interface do usuário.
A tabela do sistema de eventos do warehouse agora está disponível (Visualização Pública)
18 de janeiro de 2024
A tabela system.compute.warehouse_events registra quando os warehouses SQL são iniciados, interrompidos, escalam e reduzem verticalmente. Você pode usar a tabela para monitorar e gerenciar os warehouses SQL em seus workspaces. Consulte a Referência de tabela do sistema de eventos do warehouse.
O limite de tamanho do arquivo do workspace agora é de 500 MB
15 de janeiro de 2023
Os arquivos individuais do espaço de trabalho agora são limitados a 500 MB. Anteriormente, o limite era de 200 MB. Para obter mais detalhes, leia Limitações.
Aviso de remoção de recurso para integração herdada do Git no Databricks
12 de janeiro de 2024
Após 31 de janeiro de 2024, o Databricks removerá as integrações herdadas do Git do notebook. Esse recurso está em status herdado há mais de dois anos, e um aviso de depreciação foi exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre a migração para as pastas do Databricks Git (Repos), leia Mudança para o Databricks Repos a partir da integração do Git Herdado. Se essa remoção afetar você e precisar de uma extensão, entre em contato com seu Executivo de Contas do Databricks.
Driver ODBC do Databricks 2.7.7
9 de janeiro de 2024
Lançamos a versão 2.7.7 do driver ODBC do Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:
- Autenticação de Identidade Gerenciada do Azure.
- Suporte para operações de metadados assíncronas. O servidor precisa dar suporte a
SPARK_CLI_SERVICE_PROTOCOL_V9e superior. - Suporte para consulta parametrizada no modo de consulta nativa. O servidor precisa dar suporte a
SPARK_CLI_SERVICE_PROTOCOL_V8e superior. - Aprimoramento do OAuth: o conector agora pode desabilitar o cache de token para o fluxo de autenticação baseado em navegador.
Essa versão também resolve os seguintes problemas na versão 2.7.7:
- O conector ignora a AC raiz privada ao usar o Repositório confiável do Windows.
- Quando uma operação falha, o conector não fecha os threads de pulsação.
- O conector não dá suporte ao token de atualização opcional.
- Ao consultar tabelas com nomes estrangeiros, o conector não consegue lê-las.
- Ao usar a autenticação OAuth, se o comprimento da cadeia de caracteres do HOST for menor que 20, o conector terminará inesperadamente.
Término do suporte do Databricks Runtime série 13.2
6, 2024 de janeiro
O suporte ao Databricks Runtime 13.2 e ao Databricks Runtime 13.2 para Machine Learning foi encerrado em 6 de junho. Confira Ciclos de vida de suporte do Databricks Runtime.
Os recursos de assistência de IA estão habilitados por padrão
2 a 8 de janeiro de 2024
Os recursos assistenciais de IA agora estão habilitados por padrão para workspaces sem o perfil de segurança de conformidade habilitado. Estão incluídos:
- Comentários gerados por IA para tabelas gerenciadas do Catálogo do Unity
- Chatbot de ajuda no produto
- Assistente do Databricks
Os administradores podem recusar recursos assistenciais de IA para todos os workspaces na conta deles ou um subconjunto de workspaces. Confira Habilitar ou desabilitar o Assistente do Databricks.