Share via

Acessar produtos de dados no Databricks Marketplace (workspaces habilitados para Catálogo do Unity)

  • Artigo

Este artigo descreve como acessar produtos de dados no Databricks Marketplace se você tiver um workspace do Azure Databricks habilitado para o Unity Catalog.

Observação

Se você não tiver um workspace do Azure Databricks habilitado para o Unity Catalog, poderá acessar produtos de dados compartilhados do Marketplace usando conectores de compartilhamento aberto do Delta Sharing. Confira Acessar produtos de dados no Databricks Marketplace usando plataformas externas.

Visão geral

O Databricks Marketplace oferece a você, como consumidor de dados, uma plataforma segura para descobrir produtos de dados de que sua organização precisa para ser bem-sucedida. O Databricks Marketplace usa o Delta Sharing para fornecer segurança e controle sobre dados compartilhados. Os consumidores podem acessar dados públicos, dados de amostra gratuitos e ofertas de dados comercializados. Os consumidores que usam um workspace do Azure Databricks habilitado para Catálogo do Unity não se limitam a acessar dados tabulares, mas também podem acessar volumes (dados não tabulares), modelos de IA, notebooks do Databricks e Aceleradores de Solução do Databricks.

Ao consumir produtos de dados do Marketplace usando um workspace do Azure Databricks habilitado para o Unity Catalog, você pode aproveitar a integração profunda entre o Delta Sharing e o Unity Catalog, juntamente com a governança, auditoria e interfaces convenientes do Unity Catalog.

Antes de começar

Para navegar pelas listagens de produtos de dados no Databricks Marketplace, você pode usar um dos seguintes recursos:

Para consumir produtos de dados usando um workspace do Databricks habilitado para o Unity Catalog, você deve ter o seguinte:

Procurar anúncios do Databricks Marketplace

Para encontrar um produto de dados desejado, basta navegar ou pesquisar as listagens de produtos de dados no Databricks Marketplace.

Observação

Como alternativa às instruções a seguir, você pode pesquisar listagens do Marketplace usando a barra de pesquisa global na parte superior do seu workspace do Azure Databricks. Consulte Pesquisar objetos do espaço de trabalho. Você também pode ver e solicitar amostras de dados gratuitas na página Adicionar dados. Na barra lateral do workspace, clique em Ingestão de dados e role para baixo até Liberar amostras de dados Marketplace do Databricks.

  1. Aceda a marketplace.databricks.com ou inicie sessão na sua área de trabalho do Azure Databricks e clique em Ícone do MarketplaceMarketplace.

  2. Procure ou pesquise o produto de dados desejado.

    Filtre as listagens por tipo de produto (conjunto de dados, acelerador de solução ou modelo de ML), nome do provedor, categoria, custo (gratuito ou pago) ou pesquisa de palavra-chave.

    Se você estiver conectado a um espaço de trabalho do Azure Databricks, também poderá optar por exibir apenas os classificados privados disponíveis para você como parte de uma troca privada. Veja Participe de trocas privadas.

Solicitar acesso a produtos de dados no Marketplace

Para solicitar acesso a produtos de dados, você deve estar conectado a um espaço de trabalho do Azure Databricks. Alguns produtos de dados estão disponíveis imediatamente e outros exigem aprovação do provedor e conclusão de transações usando interfaces de provedor.

Requisitos

Consulte Antes de começar. Para acessar produtos de dados no Marketplace, você deve ter pelo menos o privilégio USE MARKETPLACE ASSETS no metastore do Catálogo Unity anexado ao espaço de trabalho que você está usando.

Obter acesso aos produtos de dados que estão instantaneamente disponíveis

Alguns produtos de dados estão disponíveis instantaneamente, exigindo apenas que você os solicite e concorde com os termos. Eles são listados no título Gratuito e disponível instantaneamente na página inicial do Marketplace, são identificados no bloco de listagem como Gratuito e são identificados como Instantaneamente disponível na página de detalhes da listagem.

  1. Quando você encontrar uma listagem de seu interesse na página inicial do Marketplace, clique na listagem para abrir a página de detalhes da listagem.

  2. Clique no botão Obter acesso instantâneo e aceite os termos e condições do Databricks.

    O acesso aos aceleradores de solução do Databricks funciona de maneira um pouco diferente. Confira Obter acesso aos aceleradores de solução do Databricks.

  3. (Opcional) Em Mais opções, modifique o nome do catálogo sugerido.

    O nome do catálogo é exibido no Catalog Explorer no workspace do Azure Databricks e é usado no namespace de três partes (catalog.schema.table|volume|view) em consultas. Você pode alterar o nome padrão.

  4. Clique no botão Obter acesso instantâneo.

  5. Clique no botão Abrir para visualizar o produto de dados, que aparece como um catálogo somente leitura no Explorador do Catálogo.

    Para obter informações sobre como gerenciar o acesso a catálogos no Azure Databricks, consulte Acessar os dados compartilhados usando o Unity Catalog.

Se os notebooks de exemplo estiverem disponíveis, eles aparecerão no título Notebook de exemplo na listagem.

Para exibir um notebook, clique no botão Visualizar notebook. Para importar um notebook para seu workspace do Azure Databricks para que você possa executá-lo, clique em Visualizar notebook e clique em Importar Notebook. Confira Introdução aos notebooks do Databricks.

Solicitar produtos de dados que exijam aprovação do provedor

Alguns produtos de dados exigem a aprovação do provedor, geralmente porque uma transação comercial está envolvida, ou o provedor pode preferir personalizar produtos de dados para você. Essas listagens são identificadas na página de detalhes da listagem como Por solicitação e incluem um botão Solicitar acesso.

  1. Quando você encontrar uma listagem de seu interesse na página inicial do Marketplace, clique na listagem para abrir a página de detalhes da listagem.

  2. Clique no botão Solicitar acesso.

  3. Insira seu nome, empresa e uma breve descrição do uso pretendido para o produto de dados.

  4. Aceite os termos e condições do Databricks e clique em Solicitar acesso.

  5. Você será notificado por email quando o provedor concluir a análise de sua solicitação.

    Você também pode monitorar o andamento de sua solicitação na página Minhas solicitações no Marketplace. Confira Gerenciar produtos de dados compartilhados do Databricks Marketplace. No entanto, quaisquer transações que se seguirem usarão comunicações do provedor e plataformas de pagamento. Nenhuma transação comercial é tratada diretamente no Databricks Marketplace.

  6. Quando a transação for concluída, o provedor de dados disponibilizará o produto de dados para você como um catálogo somente leitura em seu espaço de trabalho.

    Para obter informações sobre como gerenciar o acesso a catálogos no Azure Databricks, consulte Acessar os dados compartilhados usando o Unity Catalog.

Obter acesso aos aceleradores de solução do Databricks

Ao contrário de outros ativos de dados, os aceleradores de solução do Databricks são compartilhados por meio da clonagem de repositórios Git e da disponibilização deles nas pastas Git Databricks. Para acessar um acelerador de solução:

  1. No Marketplace, clique na listagem Aceleradores de Solução para abrir a página de detalhes da listagem.
  2. Clique no botão Obter acesso instantâneo.
  3. Na caixa de diálogo Adicionar pasta Git, insira um nome para o repositório. Esse nome será exibido nas interfaces do usuário das pastas Git do Databricks.
  4. Aceite os termos e as condições do Databricks e clique em Criar pasta Git.
  5. Clique no botão Abrir e selecione Pasta Git para visualizar o repositório no navegador de arquivos do workspace.

Acessar os dados compartilhados usando o Unity Catalog

O acesso aos dados do workspace do Azure Databricks depende do tipo de produto de dados:

  • Os conjuntos de dados e os modelos do Marketplace são compartilhados com você em um catálogo somente leitura no Azure Databricks. Os catálogos são o contêiner de nível superior dos ativos de dados gerenciados pelo Catálogo do Unity. Para obter mais informações sobre a hierarquia de objetos de dados no Catálogo Unity, consulte O modelo de objeto do Catálogo Unity.

    Depois que o provedor tiver compartilhado os dados com você, você terá algumas maneiras de acessar o catálogo. As seções a seguir descrevem algumas dessas opções de acesso.

  • Os notebooks são compartilhados diretamente na listagem do Marketplace, e você pode importá-los da listagem para seu workspace.

  • Os Aceleradores de Solução são compartilhados como pastas Git do Databricks. Confira Obter acesso aos aceleradores de solução do Databricks.

Acessar os conjuntos de dados compartilhados no Marketplace

Para acessar dados compartilhados do Marketplace:

  1. Na barra lateral, clique em Ícone do MarketplaceMarketplace.

  2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.

  3. Na guia Produtos de dados instalados localize o produto de dados, clique no menu Kebab kebab (também conhecido como menu de três pontos) no final da linha do produto de dados e selecione Exibir dados.

    Você também pode clicar no nome do produto de dados para abrir a página de detalhes do produto de dados, onde você pode clicar no botão Abrir para exibir os dados.

    O Explorador do Catálogo será aberto no catálogo que contém o conjunto de dados, em que você poderá acessar os dados ou gerenciar o acesso de outros membros da equipe. Consulte Conceder acesso a outros membros da equipe.

    Para obter mais informações sobre o acesso a dados compartilhados no Azure Databricks, consulte Leitura de dados compartilhados utilizando o Compartilhamento Delta do Databricks para o Databricks (para destinatários).

Acessar os conjuntos de dados compartilhados no Gerenciador do Catálogo

Para acessar dados compartilhados diretamente do Explorador do Catálogo:

  1. Na barra lateral, clique no ícone do CatálogoCatálogo.
  2. Se você souber o nome do catálogo que contém os dados compartilhados, pesquise-o e selecione-o.

Caso não saiba o nome do catálogo, mas saiba o nome do provedor, encontre o catálogo no Explorador do Catálogo fazendo o seguinte:

  1. Na barra lateral, clique no ícone do CatálogoCatálogo.
  2. No painel esquerdo do Explorador do Catálogo, clique em Compartilhamento Delta e em Compartilhado comigo.
  3. Na guia Provedores clique no nome do provedor.
  4. Na guia Compartilhamentos , localize o nome do catálogo e clique nele para abri-lo.

Acessar os conjuntos de dados compartilhados usando a CLI do Databricks ou as instruções SQL

Você também pode localizar e acessar o catálogo que contém os dados compartilhados usando a CLI do Databricks ou instruções SQL em um bloco de anotações do Azure Databricks ou consulta do editor SQL do Databricks. Para obter detalhes, consulte Acessar dados em uma tabela ou volume compartilhado. Você pode ignorar as seções que descrevem como criar um catálogo, já que o Databricks Marketplace faz isso para você.

Conceder acesso a outros membros da equipe

Se você for o usuário que solicitou os dados compartilhados, será o proprietário do catálogo que contém esses dados em seu espaço de trabalho. Dessa forma, você pode conceder aos membros da sua equipe acesso ao catálogo e refinar o acesso no nível de esquema, tabela, exibição, linha e coluna, assim como faz com qualquer dado no Catálogo Unity. Consulte Gerenciar privilégios no Catálogo do Unity. Dito isso, os dados de tabela e exibição em um catálogo compartilhado são somente leitura, o que significa que você só pode conceder à sua equipe operações de leitura, como DESCRIBE, SHOW e SELECT.

Você também pode transferir a propriedade do catálogo ou dos objetos dentro dele.

Exibir exemplos de blocos de anotações

Algumas listagens incluem blocos de anotações de exemplo na página de detalhes da listagem. Para acessar esses notebooks para obter listagens disponíveis instantaneamente que foram compartilhadas com você:

  1. Na barra lateral, clique em Ícone do MarketplaceMarketplace.
  2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.
  3. Na guia Produtos de dados instalados, encontre o produto de dados e clique no nome do produto de dados para abrir a página de detalhes da listagem. Se houver um notebook de exemplo, ele aparecerá no título Notebook de exemplo na listagem.
  4. Clique em Visualizar notebook para exibir o notebook e clique em Importar notebook para importá-lo para o workspace do Azure Databricks.

Observação

A exibição e visualização Blocos de anotações de amostra na interface do usuário de listagens não funciona no modo de navegação anônima do Chrome.

Participe de trocas privadas

Alguns provedores de dados podem querer compartilhar determinados dados com um conjunto limitado de consumidores que são convidados a fazer parte de uma troca privada. Você pode encontrar listagens de troca privada marcando a caixa de seleção Troca privada na página inicial do Marketplace. Assim como você pode com listagens públicas, você pode acessar listagens gratuitas instantaneamente ou solicitar acesso àqueles que estão marcadas Por solicitação.

Para ingressar em uma troca privada, um provedor de dados precisa convidar sua organização. Quando o fizerem, solicitarão um identificador compartilhado para o metastore do Catálogo Unity. Para saber como obter o identificador de compartilhamento do seu metastore, consulte a etapa 1 em Obter acesso no modelo Databricks a Databricks.

Para saber mais sobre trocas privadas, consulte Criar e gerenciar trocas privadas no Databricks Marketplace.

Desativar o acesso ao Marketplace

Por padrão, todos os usuários em qualquer espaço de trabalho habilitado para Catálogo Unity têm a capacidade de solicitar produtos de dados no Databricks Marketplace. Em outras palavras, o grupo account users tem o privilégio USE MARKETPLACE ASSETS em todos os metastores do Catálogo Unity, a menos que um administrador de metastore revogue esse privilégio.

Esse privilégio não concede a capacidade de participar de transações financeiras com provedores de dados. Todas as transações financeiras ocorrem fora do Azure Databricks. Esse privilégio concede a capacidade de acessar produtos de dados rotulados como Gratuitos e instantaneamente disponíveis e produtos de dados que já foram comprados. O acesso a esses produtos de dados cria novos catálogos somente leitura no Azure Databricks que pertencem ao solicitante, que pode conceder acesso somente leitura a outros usuários.

Um administrador de metastore pode desativar a capacidade de todos os usuários de solicitar produtos de dados no Databricks Marketplace revogando o privilégio de USE MARKETPLACE ASSETS do grupo account users no metastore do Unity Catalog. Se você revogar esse privilégio, os usuários poderão continuar a navegar no Databricks Marketplace em seu espaço de trabalho, mas não poderão solicitar produtos de dados.

Permissão necessária: Administrador da metastore

Observação

Se o workspace foi habilitado automaticamente para o Catálogo do Unity, talvez você não tenha um administrador de metastore. Para obter mais informações, confira Habilitação automática do Catálogo do Unity.

Explorador do Catálogo

Para revogar o privilégio USE MARKETPLACE ASSETS para o grupo account users:

  1. No workspace do Azure Databricks, clique em ícone do CatálogoCatálogo.
  2. Clique no ícone de link ao lado do nome do metastore no canto superior esquerdo.
  3. Encontre a linha que concede a account users o privilégio USE MARKETPLACE ASSETS.
  4. Clique na caixa de seleção ao lado da linha e clique no botão Revogar.
  5. Confirme a ação de revogação.
  6. Conceda o privilégio a qualquer usuário e grupo específicos dos quais você goste clicando no botão Conceder..

Sql

Para revogar o privilégio de USE MARKETPLACE ASSETS para o grupo account users, execute o seguinte comando em um bloco de anotações ou no editor de consultas SQL do Databricks.

REVOKE USE MARKETPLACE ASSETS ON METASTORE FROM `account users`;

Para conceder o privilégio USE MARKETPLACE ASSETS a um usuário ou grupo específico, execute o seguinte comando em um bloco de anotações ou no editor de consultas SQL do Databricks.

GRANT USE MARKETPLACE ASSETS ON METASTORE TO `<user-or-group>`;

Se você não deseja que seus usuários possam exibir a página inicial do Marketplace, contate a equipe da sua conta do Azure Databricks.

Problemas conhecidos

Se uma solicitação de acesso for rejeitada pelo provedor de dados, você não poderá solicitar o mesmo produto de dados novamente. Se encontrar esse problema, contate seu provedor ou com a equipe de contas do Azure Databricks.

Compartilhe seus comentários

Adoraríamos ouvir o que você pensa sobre o Databricks Marketplace.

  • Deseja fazer comentários? Vá para Saiba > Fornecer comentários na página inicial do Marketplace.
  • Quer ver conjuntos de dados adicionais no mercado? Clique em Sugerir um produto no banner da página inicial do Marketplace.

Próximas etapas