Junho de 2023

Estes recursos e aprimoramentos da plataforma Azure Databricks foram lançados em junho de 2023.

Observação

As versões são disponibilizadas em fases. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.

Provedor Databricks Terraform atualizado para a versão 1.20.0

29 de junho de 2023

O provedor do Databricks Terraform versão 1.20.0 adiciona suporte para o recurso catálogo databricks_catalog_workspace_binding do Unity, melhora a exportação de usuários e grupos no nível da conta e muito mais. Para obter detalhes, consulte o registro de alterações da versão 1.20.0.

A CLI do Databricks foi atualizada para a versão 0.200.1 (versão prévia pública)

28 de junho de 2023

A CLI do Databricks versão 0.200.1 atualiza os comandos fs ls e fs cp, dá suporte a arquivos locais como padrão para fs comandos, adiciona detecção de provedor ao repos create comando e muito mais. Para obter detalhes, consulte o registro de alterações da versão 0.200.1.

SDK do Databricks para Go atualizado para a versão 0.12.0 (Beta)

28 de junho de 2023

O SDK do Databricks para Go versão 0.12.0 adiciona suporte para parâmetros de nível de trabalho e definições de parâmetro, execução condicional da tarefa de trabalho e várias correções de bugs para outros serviços. Para obter detalhes, consulte o registro de alterações da versão 0.12.0.

SDK do Databricks para Go atualizado para a versão 0.11.0 (Beta)

28 de junho de 2023

O SDK do Databricks para Go versão 0.11.0 apresenta várias alterações interruptivas nas APIs go, incluindo dezenas de adições, renomeações e consolidações. Para obter detalhes, consulte o registro de alterações da versão 0.11.0.

SDK do Databricks para Python (Beta)

28 de junho de 2023

O SDK do Databricks para Python agora está disponível como beta. O SDK do Databricks para Python permite automatizar contas, workspaces e recursos do Azure Databricks executando o código Python.

Consulte o SDK da Databricks para Python.

SDK do Databricks para Go (Beta)

28 de junho de 2023

O SDK do Databricks para Go agora está disponível como beta. O SDK do Databricks para Go permite que você automatize contas, espaços de trabalho e recursos do Azure Databricks executando código Go.

Consulte o SDK da Databricks para Go.

Acesse o registro de auditoria, o uso cobrável e as tabelas do sistema de linhagem (versão prévia pública)

28 de junho de 2023

Os administradores de conta agora podem habilitar o acesso a tabelas do sistema em contas do Azure Databricks. As tabelas do sistema são um repositório analítico hospedado pelo Azure Databricks dos dados operacionais de uma conta. As tabelas do sistema fornecem dados de observabilidade de toda a conta facilmente acessados.

Para obter mais informações, consulte Monitorar o uso com tabelas do sistema.

Modelos no Catálogo do Unity (visualização pública)

28 de junho de 2023

Agora você pode atualizar fluxos de trabalho do Registro de Modelo do MLflow para controlar modelos por meio do Catálogo do Unity. O Catálogo do Unity fornece controle de acesso centralizado, auditoria, linhagem, compartilhamento de modelos entre workspaces e melhores fluxos de trabalho de implantação do MLOps. O Databricks recomenda usar modelos no Catálogo do Unity em vez do registro de modelo de workspace existente, que será preterido no futuro. Consulte Gerenciar o ciclo de vida do modelo no Catálogo do Unity para obter detalhes.

O Databricks Marketplace agora está em disponibilidade geral

27 de junho de 2023

Agora você pode usar o Databricks Marketplace para descobrir, acessar e implantar centenas de produtos de dados e notebooks dos principais provedores em seus fluxos de trabalho de IA e análise. Os destaques desde o início da versão prévia pública incluem novos provedores, incluindo Dun e Bradstreet, LexisNexis, Refinitiv (London Stock Exchange Group), YipitData e ZoomInfo, juntamente com a adição de trocas privadas e o gerenciamento simplificado de permissões do consumidor usando o privilégio USE_MARKETPLACE_ASSETS.

Confira O que é o Databricks Marketplace?.

Databricks Runtime 13.2 (Beta)

26 de junho de 2023

O Databricks Runtime 13.2 e o Databricks Runtime 13.2 ML já estão disponíveis como versões Beta.

Consulte Databricks Runtime 13.2 (sem suporte) e Databricks Runtime 13.2 para Machine Learning (sem suporte).

Extensão do Databricks para o Visual Studio Code (Disponibilidade geral)

26 de junho de 2023

A extensão do Databricks para Visual Studio Code agora está em disponibilidade geral. Conecte-se ao lakehouse, execute a depuração interativa e execute notebooks Jupyter, tudo sem sair do IDE. Use a navegação de código, a refatoração, a conclusão e a identificação de erro do IDE.

Consulte a extensão Databricks para o Visual Studio Code.

Habilitar chaves gerenciadas pelo cliente usando a CLI do Azure e o PowerShell sem um modelo

23 de junho de 2023

Agora você pode habilitar chaves gerenciadas pelo cliente para serviços gerenciados e discos gerenciados usando a CLI do Azure e o PowerShell sem usar um modelo. Isso já estava disponível para chaves gerenciadas pelo cliente para DBFS. Confira Habilitar chaves gerenciadas pelo cliente para serviços gerenciados, Configurar chaves gerenciadas pelo cliente para discos gerenciados do Azure e Chaves gerenciadas pelo cliente para a raiz DBFS.

Os SQL Warehouses sem servidor funcionam com o back-end do Link Privado do Azure habilitado

22 de junho de 2023

A habilitação de Link Privado do Azure de back-end não impede mais o início de sql warehouses sem servidor. Os recursos de computação sem servidor não usam a conexão de Link Privado do Azure de back-end se ela estiver habilitada. Consulte Habilitar SQL warehouses sem servidor e Habilitar conexões de back-end e front-end do Link Privado do Azure.

Confira uma visão geral visual das execuções de trabalho concluídas na interface do usuário do Azure Databricks Jobs

22 de junho de 2023

Uma interface do usuário aprimorada dos Trabalhos do Azure Databricks fornece uma visão geral visual das execuções de trabalho concluídas, filtre por execução status e hora e uma lista dos erros de trabalho mais comuns. O filtro de tempo padrão abrange as 48 horas anteriores. Consulte Exibir execuções de trabalho recentes.

CLI do Databricks (versão prévia pública)

21 de junho de 2023

A interface de linha de comando do Databricks (CLI do Databricks) passou por uma grande revisão. A nova CLI abrange todas as operações da API REST do Databricks e dá suporte a todos os tipos de autenticação do Azure Databricks. Os usuários do macOS e do Linux podem instalar a nova CLI com Homebrew. Também há suporte para o Windows.

Paginação aprimorada de resultados de solicitações de API List all jobs e List job runs

14 de junho de 2023

Agora você pode usar o parâmetro page_token para paginar os resultados retornados das solicitações da API GET /api/2.1/jobs/list e GET /api/2.1/jobs/runs/list. Essa paginação baseada em token substitui os parâmetros e preteridos offset e limit melhora a escalabilidade do serviço para essas solicitações.

O navegador de workspace de página inteira inclui o Repos

14 de junho de 2023

A experiência do navegador de workspace de página inteira agora se estende para Repos. Você pode navegar pelo conteúdo do Databricks Repos junto com o conteúdo do seu espaço de trabalho clicando em Workspace na barra lateral. Você também pode navegar pelo conteúdo de um notebook usando um navegador contextual. Para obter mais informações sobre o navegador de workspace de página inteira, consulte Navegar no workspace e no navegador workspace.

O provedor Terraform do Databricks foi atualizado para a versão 1.19.0

14 de junho de 2023

O provedor do Databricks Terraform 1.19.0 adiciona run_as e run_as_user_name ao databricks_job, adiciona mais atributos a databricks_cluster_policy, adiciona force_destroy a databricks_external_location e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.19.0.

Executar trabalhos como entidade de serviço (Visualização Pública)

13 de junho de 2023

Agora você pode conceder aos usuários, entidades de serviço e grupos do Azure Databricks permissões para usar uma entidade de serviço. Isso permite que os usuários executem trabalhos como a entidade de serviço, em vez de executar como a identidade do proprietário do trabalho, para evitar que os trabalhos falhem se um usuário deixar sua organização ou um grupo for modificado.

Consulte Funções para gerenciar entidades de serviço e Executar um trabalho como uma entidade de serviço.

A nova interface do usuário da entidade de serviço proporciona uma melhor experiência de gerenciamento

13 de junho de 2023

Agora você pode usar a nova interface do usuário da entidade de serviço para gerenciar entidades de serviço em seu workspace. A interface do usuário da entidade de serviço permite adicionar entidades de serviço ao workspace, configurar direitos e gerenciar permissões de entidade de serviço. Confira Gerenciar entidades de serviço.

Pastas base restauradas quando os usuários são adicionados novamente aos workspaces

9 de junho de 2023

Quando um administrador remove um usuário de um workspace e o adiciona novamente, a pasta inicial do usuário agora é restaurada. Anteriormente, ao ser adicionado novamente ao workspace, o usuário recebia uma nova pasta inicial vazia. Sua antiga pasta inicial foi mantida como um backup. Para obter mais informações sobre pastas de workspace, consulte Organizar objetos de workspace em pastas.

Databricks Marketplace: as trocas privadas agora estão disponíveis

7 de junho de 2023

As trocas privadas permitem que os provedores de dados compartilhem produtos de dados com um grupo selecionado de consumidores convidados. As listagens privadas aparecem na home page do Marketplace dos consumidores convidados, mas não aparecem no marketplace público. Confira Criar e gerenciar trocas privadas no Databricks Marketplace.

Databricks Marketplace: os consumidores podem desinstalar produtos de dados usando a interface do usuário

5 de junho de 2023

Os consumidores de dados agora podem desinstalar qualquer produto de dados usando a interface Minhas solicitações do Marketplace. Confira Excluir produtos de dados instalados.

Databricks Marketplace: os provedores podem criar seus próprios perfis

5 de junho de 2023

Os provedores de dados agora podem criar e atualizar seus próprios perfis, depois que seu aplicativo de provedor for aprovado. Consulte Criar seu perfil de provedor do Marketplace.

O Databricks Connect V2 tem disponibilidade geral para Python

2 de junho de 2023

A partir do Databricks Runtime 13.1, o Databricks Connect "v2" agora está em disponibilidade geral para Python. Esta versão adiciona suporte para Streaming Estruturado, todos os recursos Delta e Pandas no Spark. Ele também inclui suporte para OAuth (Experimental), contando com o SDK do Databricks incluído para Python.

O provedor Terraform do Databricks foi atualizado para a versão 1.18.0

2 de junho de 2023

O provedor do Databricks Terraform 1.18.0 adiciona um databricks_volume recurso, databricks_model_serving suporte a databricks_permissions, e muito mais. Para obter mais detalhes, consulte o log de alterações da versão 1.18.0.

Novos provedores do Databricks Marketplace

01 de junho de 2023

Oito novos provedores publicaram listagens no Databricks Marketplace no último mês. Estão incluídos:

• IQVIA: dados de saúde e ciências da vida.
• Morningstar: investimento oferecendo dados e insights de pesquisa, como dados de classificação de risco do ESG.
• Vaisala: dados meteorológicos e de ambiente.
• Sucali: Métricas de desempenho imobiliário para fundos de hedge e investidores.
• Veritas Data Research: índice abrangente dos dados de mortalidade dos EUA de 2010 até a presente.
• Armazenamento de Dados de Coletores: esportes e negociação cartão dados para anunciantes e consumidores.
• Tego Cyber: dados de segurança cibernética e inteligência contra ameaças
• Integridade da Faixa de Opções: dados do provedor de serviços de saúde.

Se você tiver dúvidas sobre esses provedores ou o Marketplace, entre em contato com dataconsumers@databricks.com. Veja também O que é o Databricks Marketplace?.

O Databricks Runtime 13.1 está em disponibilidade geral

01 de junho de 2023

O Databricks Runtime 13.1 e o Databricks Runtime 13.1 ML agora estão em disponibilidade geral.

Consulte Databricks Runtime 13.1 (sem suporte) e Databricks Runtime 13.1 para Machine Learning (sem suporte).

Exibir dados de blocos de anotações, editor SQL e Explorador do Catálogo com o navegador de esquema unificado (Visualização Pública)

01 de junho de 2023

O novo navegador de esquema unificado permite exibir todos os dados no metastore do Catálogo do Unity sem sair de um notebook ou do editor de SQL. Você pode selecionar Para você limitar a exibição apenas aos dados ativos que você está usando e seus favoritos.

Para obter detalhes sobre o Gerenciador de Catálogos, consulte Gerenciador de Catálogos.

Para obter informações sobre como acessar o Gerenciador de Catálogos a partir de um bloco de anotações, consulte Procurar dados.