O que é o Catálogo de Dados do Azure?

  • Artigo

Importante

O Catálogo de Dados do Azure será desativado em 15 de maio de 2024.

Não é mais possível criar novas contas do Catálogo de Dados do Azure.

Para obter recursos do catálogo de dados, use o serviço Microsoft Purview que oferece governança de dados unificada para todo o seu patrimônio de dados.

Se já estiver usando o Catálogo de Dados do Azure, você precisará criar um plano de migração para que sua organização migre para o Microsoft Purview até 15 de maio de 2024.

O Catálogo de Dados do Azure é um serviço de nuvem totalmente gerenciado que possibilita aos usuários descobrir e entender as fontes de dados que encontram. Ao mesmo tempo, o Catálogo de Dados ajuda as organizações a obter mais valor sobre os investimentos existentes.

Com o Catálogo de Dados, qualquer usuário (analista, cientista de dados ou desenvolvedor) pode descobrir, entender e consumir fontes de dados em seu cenário de dados. O Catálogo de Dados inclui um modelo crowdsourcing de metadados e anotações, para que todos possam contribuir para tornar os dados detectáveis e utilizáveis. Ele é um local único e central para que todos os usuários da organização possam contribuir com seus conhecimentos e criar uma comunidade e uma cultura de dados.

Desafios de descoberta para consumidores de dados

Tradicionalmente, a descoberta de fontes de dados da empresa tem sido um processo orgânico com base no conhecimento tribal. Para empresas que desejam obter o máximo valor de seus ativos de informação, essa abordagem apresenta vários desafios:

  • Os usuários poderão não saber que existe uma fonte de dados, a menos que entrem em contato com ela como parte de outro processo. Não há nenhum local central onde as fontes de dados são registradas.
  • A menos que os usuários saibam a localização de uma fonte de dados, eles não podem se conectar aos dados por meio de um aplicativo cliente. As experiências de consumo de dados exigem que os usuários conheçam a cadeia de conexão ou o caminho.
  • A menos que os usuários saibam a localização da documentação de uma fonte de dados, eles não conseguirão entender os usos pretendidos para esses dados. A documentação e as fontes de dados podem residir em uma variedade de locais e ser consumidas por meio de uma variedade de experiências.
  • Se os usuários tiverem perguntas sobre um ativo de informação, eles devem localizar o especialista ou a equipe responsável pelos dados e entrar em contato com eles offline. Não há nenhuma conexão explícita entre os dados e os especialistas que têm perspectivas sobre seu uso.
  • A menos que os usuários compreendam o processo de solicitação de acesso à fonte de dados, a descoberta da fonte de dados e de sua documentação não será suficiente para ajudá-los a acessar os dados.

Desafios de descoberta para produtores de dados

Embora os consumidores de dados enfrentem os desafios mencionados, os usuários responsáveis por produzir e manter informações também têm seus próprios obstáculos:

  • A anotação de fontes de dados com metadados descritivos geralmente é um esforço à toa. Os aplicativos clientes geralmente ignoram descrições armazenadas na fonte de dados.
  • A criação de documentação para fontes de dados geralmente é um esforço à toa. Manter a documentação em sincronia com fontes de dados é uma responsabilidade contínua. Os usuários talvez não confiem em documentos que pareçam estar desatualizados.
  • Criar e manter documentação para fontes de dados é um processo complexo e demorado. Disponibilizar essa documentação prontamente para qualquer pessoa que usa a fonte de dados geralmente pode ser ainda mais.
  • Restringir o acesso às fontes de dados e garantir que os consumidores de dados saibam como solicitar o acesso são um desafio contínuo.

Quando esses desafios são combinados, eles apresentam uma barreira significativa para as empresas que desejam encorajar e promover o uso e a compreensão dos dados da empresa.

O Catálogo de Dados do Azure pode ajudar

O Catálogo de Dados foi projetado para resolver esses problemas e ajudar as empresas a aproveitar ao máximo seus ativos de informações existentes. O Catálogo de Dados torna fontes de dados facilmente identificáveis e compreensíveis para os usuários que gerenciam os dados.

O Catálogo de Dados fornece um serviço baseado em nuvem no qual uma fonte de dados pode ser registrada. Os dados permanecem no local existente, mas uma cópia de seus metadados é adicionada ao Catálogo de Dados, juntamente com uma referência ao local da fonte de dados. Os metadados também são indexados para tornar cada fonte de dados fácil de descobrir por meio de pesquisa e compreensível para os usuários que os descobrirem.

Depois de uma fonte de dados ter sido registrada, seus metadados poderão ser aprimorados. Os metadados podem ser adicionados pelo usuário que os registrou ou por outros usuários na empresa. Qualquer usuário pode anotar uma fonte de dados, fornecendo descrições, marcas ou outros metadados, como documentação, e processos para a solicitação de acesso à fonte de dados. Esses metadados descritivos complementam os metadados estruturais (como nomes de colunas e tipos de dados) registrados da fonte de dados.

Descobrir e entender fontes de dados e seu uso é o principal objetivo de registrar as fontes. Usuários corporativos podem precisar de dados de business intelligence, desenvolvimento de aplicativos, ciência de dados ou outra tarefa em que os dados certos são necessários. Eles podem usar a experiência de descoberta do Catálogo de Dados para localizar dados que correspondam às suas necessidades rapidamente, compreender os dados para avaliar sua adequação à finalidade e consumir os dados ao abrir a fonte de dados na sua ferramenta de escolha.

Ao mesmo tempo, os usuários podem contribuir para o catálogo marcando, documentando e anotando as fontes de dados que já foram registradas. Eles também podem registrar novas fontes de dados, que podem então ser descobertas, entendidas e consumidas pela comunidade de usuários do catálogo.

Recursos do Catálogo de Dados

Saiba mais sobre o Catálogo de Dados

Para saber mais sobre os recursos do Catálogo de Dados, confira:

Próximas etapas