Governança de dados com Profisee e Microsoft Purview

Os sistemas corporativos podem ter várias fontes de dados mestre — os dados comuns compartilhados entre sistemas. Esse fato pode se tornar aparente quando você cataloga fontes de dados. Exemplos de dados mestre incluem dados de clientes, produtos, locais, ativos e fornecedores. Quando você usa o Profisee para mesclar, validar e corrigir seus dados mestres, você pode torná-los eficazes. Especificamente, você pode usá-lo para criar uma plataforma confiável comum para análise e melhoria operacional. Usando as definições de governança, insights e conhecimentos detalhados no Microsoft Purview, você pode criar sua plataforma de forma eficaz.

Esta arquitetura de referência apresenta uma solução de governança e gerenciamento de dados que apresenta o Microsoft Purview e a plataforma de gerenciamento de dados mestre (MDM) Profisee. Esses serviços trabalham juntos para fornecer uma base de dados confiáveis de alta qualidade que maximiza o valor comercial dos dados no Azure. Para obter um pequeno vídeo sobre esta solução, consulte O poder do gerenciamento de dados mestre totalmente integrado no Azure.

Arquitetura

O diagrama a seguir mostra as etapas que você executa ao desenvolver e operar sua solução de dados mestres. Pense nessas etapas como altamente iterativas. À medida que sua solução evolui, você pode repetir essas etapas e fases, às vezes automaticamente e às vezes manualmente. Se você usa etapas automáticas ou manuais depende das alterações que sua solução de dados mestres, metadados e dados sofrem.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

Os metadados e o fluxo de dados incluem estas etapas, que são mostradas na figura anterior:

1. Os conectores Microsoft Purview pré-construídos são usados para criar um catálogo de dados a partir de aplicativos de negócios de origem. Os conectores verificam fontes de dados e preenchem o Catálogo de Dados do Microsoft Purview.

2. O modelo de dados mestre é publicado no Microsoft Purview. As entidades de dados mestre que são criadas no Profisee MDM são publicadas diretamente no Microsoft Purview. Esta etapa preenche ainda mais o Catálogo de Dados do Microsoft Purview e garante que haja um registro dessa fonte crítica de dados no Microsoft Purview.

3. Os padrões e políticas de governança para administração de dados são usados para enriquecer as definições de entidade de dados mestres. Os dados são enriquecidos no Microsoft Purview com informações de dicionário de dados e glossário, dados de propriedade e classificações de dados confidenciais. Todas as definições e metadados disponíveis no Microsoft Purview são visíveis em tempo real no Profisee como orientação para os administradores de dados MDM.

4. Os dados mestre dos sistemas de origem são carregados no Profisee MDM. Um conjunto de ferramentas de integração de dados como o Azure Data Factory extrai dados dos sistemas de origem usando qualquer um dos mais de 100 conectores pré-criados ou um gateway REST. Vários fluxos de dados mestre são carregados no Profisee MDM.

5. Os dados mestre são padronizados, combinados, mesclados, enriquecidos e validados de acordo com regras de governança. Outros sistemas, como o Microsoft Purview, podem definir regras de qualidade e governança de dados. Mas o Profisee MDM é o sistema que faz cumprir estas regras. Os registros de origem são combinados e mesclados dentro e entre os sistemas de origem para criar o registro mais completo e correto possível. As regras de qualidade de dados verificam a conformidade de cada registro com os requisitos comerciais e técnicos. Qualquer registro que falhe na validação ou que retorne uma pontuação de baixa probabilidade está sujeito a correção. Para corrigir validações com falha, um processo de fluxo de trabalho atribui registros que exigem revisão a administradores de dados que são especialistas em seu domínio de dados corporativos. Depois que um registro for verificado ou corrigido, ele estará pronto para ser usado como um mestre de discos de ouro.

6. Os dados transacionais são carregados em uma solução de análise downstream. Um conjunto de ferramentas de integração de dados como o Data Factory extrai dados transacionais de sistemas de origem usando qualquer um dos mais de 100 conectores pré-construídos ou um gateway REST. O conjunto de ferramentas carrega os dados diretamente em uma plataforma de dados de análise como o Azure Synapse Analytics. A análise dessas informações brutas sem os dados dourados mestres adequados está sujeita a imprecisões, porque sobreposições, incompatibilidades e conflitos de dados ainda não foram resolvidos.

7. Os conectores do Power BI fornecem acesso direto aos dados mestre selecionados. Os usuários do Power BI podem usar os dados mestre diretamente em relatórios. Um conector dedicado do Power BI reconhece e impõe a segurança baseada em função. Ele também oculta vários campos do sistema para simplificar o uso.

8. Dados mestre com curadoria de alta qualidade são publicados em uma solução de análise downstream. Se os registros de dados mestre tiverem sido mesclados em um único registro dourado, os links pai-filho para os registros originais serão preservados.

9. A plataforma de análise tem um conjunto de dados certificados no sentido de que são completos, consistentes e precisos. Esses dados incluem dados mestre devidamente selecionados e dados transacionais associados. Essa combinação forma uma base sólida de dados confiáveis que estão disponíveis para análise posterior.

10. Os dados mestre de alta qualidade são visualizados e analisados, e modelos de aprendizado de máquina são aplicados. O sistema fornece informações sólidas para impulsionar o negócio.

Componentes

• O Microsoft Purview é uma solução de governança de dados que oferece ampla visibilidade sobre propriedades de dados locais e na nuvem. O Microsoft Purview oferece uma combinação de descoberta e classificação de dados, linhagem, pesquisa e descoberta de metadados e insights de uso. Todos esses recursos ajudam você a gerenciar e entender os dados em todo o cenário de dados da empresa.

• O Profisee MDM é uma plataforma MDM rápida e intuitiva que se integra perfeitamente com as tecnologias Microsoft e o ecossistema de gerenciamento de dados do Azure.

• O Data Factory é um serviço híbrido de integração de dados. Você pode usar o Data Factory para criar, agendar e orquestrar fluxos de trabalho de extração, transformação e carregamento (ETL) e extrair, carregar e transformar (ELT). O Data Factory também oferece mais de 100 conectores pré-construídos e um gateway REST que você pode usar para extrair dados de sistemas de origem.

• O Azure Synapse Analytics é um armazém de dados na nuvem rápido, flexível e fiável que utiliza uma enorme arquitetura de processamento paralelo. Você pode usar o Azure Synapse Analytics para dimensionar, calcular e armazenar dados de forma elástica e independente.

• O Power BI é um conjunto de ferramentas de análise empresarial que fornece informações em toda a sua organização. Você pode usar o Power BI para se conectar a centenas de fontes de dados, simplificar a preparação de dados e conduzir análises improvisadas. Você também pode produzir belos relatórios e, em seguida, publicá-los para sua organização consumir na Web e em dispositivos móveis.

Alternativas

Se você não tiver um aplicativo MDM dedicado, poderá encontrar alguns dos recursos técnicos necessários para criar uma solução MDM no Azure:

• Qualidade dos dados. Ao carregar dados em uma plataforma de análise, você pode criar qualidade de dados em processos de integração. Por exemplo, você pode usar scripts codificados para aplicar transformações de qualidade de dados em um pipeline do Data Factory .
• Padronização e enriquecimento de dados. O Azure Maps pode fornecer verificação e padronização de dados para dados de endereço. Você pode usar os dados padronizados no Azure Functions e no Data Factory. Para padronizar outros dados, talvez seja necessário desenvolver scripts codificados.
• Gerenciamento de dados duplicados. Você pode usar o Data Factory para desduplicar linhas se identificadores suficientes estiverem disponíveis para uma correspondência exata. Você provavelmente precisa de scripts personalizados codificados para implementar a lógica necessária para mesclar linhas correspondentes enquanto aplica técnicas apropriadas de sobrevivência de dados.
• Gestão de dados. Você pode usar o Power Apps para desenvolver rapidamente soluções básicas de gerenciamento de dados para gerenciar dados no Azure. Você também pode desenvolver interfaces de usuário apropriadas para revisões, fluxos de trabalho, alertas e validações.

Em ambientes centrados na Microsoft, o Azure Synapse Analytics é geralmente preferido como um serviço de análise. Mas você pode usar qualquer banco de dados de análise. Flocos de neve e Databricks são escolhas comuns.

Detalhes do cenário

À medida que a quantidade de dados que você carrega no Azure aumenta, cresce a necessidade de governar e gerenciar adequadamente esses dados em todas as suas fontes de dados e consumidores de dados. Os dados que parecem adequados no sistema de origem são frequentemente considerados deficientes quando são partilhados. Pode ter informações ausentes ou incompletas, ou duplicações e conflitos. A sua qualidade global pode ser fraca. O que é necessário são dados completos, consistentes e precisos.

Sem dados de alta qualidade em seu conjunto de dados do Azure, o valor comercial do Azure é prejudicado, talvez criticamente. A solução é construir uma base para governança e gerenciamento de dados que possa produzir e fornecer uma fonte de verdade para dados confiáveis e de alta qualidade. O Microsoft Purview e o Profisee MDM trabalham juntos para formar esta plataforma empresarial.

O Microsoft Purview cataloga todas as suas fontes de dados e identifica qualquer informação e linhagem confidenciais. Ele dá ao arquiteto de dados um lugar para considerar os padrões de dados apropriados para impor a todos os dados. O Microsoft Purview concentra-se na governança para localizar, classificar e definir políticas e padrões. As tarefas de aplicar políticas e padrões, catalogar fontes de dados e remediar dados deficientes cabem a tecnologias como sistemas MDM.

O Profisee MDM foi projetado para aceitar dados mestre de qualquer fonte. Em seguida, o Profisee MDM faz a correspondência, mescla, padroniza, verifica, corrige e sincroniza os dados entre os sistemas. Esse processo garante que os dados possam ser adequadamente integrados e que atendam às necessidades dos sistemas downstream, como business intelligence (BI) e aplicativos de aprendizado de máquina. A plataforma integrativa Profisee impõe padrões de governança em vários silos de dados.

Melhor juntos

O Microsoft Purview e o Profisee MDM funcionam melhor juntos. Quando integrados, eles simplificam as tarefas de gerenciamento de dados e garantem que todos os sistemas trabalhem para impor os mesmos padrões. O Profisee MDM publica seu modelo de dados mestre no Microsoft Purview, onde pode participar da governança. Em seguida, o Microsoft Purview compartilha a saída da governança, como um catálogo de dados e informações de glossário. O Profisee pode rever os resultados e aplicar as normas. Ao trabalhar em conjunto, o Microsoft Purview e o Profisee criam uma sinergia natural e melhor conjunta que vai mais fundo do que cada oferta independente.

Por exemplo, depois de catalogar fontes de dados empresariais, você pode determinar que os dados mestre estão presentes em vários sistemas. Dados mestre são os dados que definem uma entidade de domínio. Exemplos de dados mestre incluem dados de clientes, produtos, ativos, locais, fornecedores, pacientes, agregados familiares, itens de menu e ingredientes. Resolver definições diferentes e combinar e mesclar esses dados entre sistemas é fundamental para a capacidade de usar esses dados de forma significativa. Para ser eficaz, você deve mesclar, validar e corrigir dados mestre no Profisee MDM usando definições de governança, insights e conhecimentos detalhados no Microsoft Purview. Dessa forma, o Microsoft Purview e o Profisee MDM formam uma base para governança e gerenciamento de dados e maximizam o valor comercial dos dados no Azure.

A alternativa é usar qualquer informação que você possa obter. Mas quando você adota essa abordagem, corre o risco de gerar resultados enganosos que podem prejudicar o seu negócio. Em vez disso, você usa dados mestre de alta qualidade, elimina problemas comuns de qualidade de dados. Em seguida, seu sistema fornece informações sólidas que você pode usar para impulsionar seus negócios, independentemente das ferramentas usadas para análise, aprendizado de máquina e visualização. Dados mestre bem selecionados são um aspeto fundamental da construção de uma base de dados sólida e confiável.

Ao usar o Profisee MDM com o Microsoft Purview, você experimenta os seguintes benefícios:

• Uma base técnica comum. Profisee originou-se em tecnologias Microsoft. O Profisee e a Microsoft usam ferramentas, bancos de dados e infraestrutura comuns, o que torna a solução Profisee familiar para qualquer pessoa que trabalhe com tecnologias Microsoft. Na verdade, por muitos anos, o Profisee MDM foi construído com base no Microsoft Master Data Services. Agora, o Master Data Services está chegando ao fim de seu ciclo de vida, e o Profisee é a principal solução de atualização e substituição.
• Colaboração de desenvolvedores e desenvolvimento conjunto. Os desenvolvedores do Profisee e do Microsoft Purview colaboram extensivamente para garantir um bom ajuste complementar entre suas respetivas soluções. Essa colaboração oferece uma integração perfeita que atende às necessidades do cliente.
• Vendas e implantações conjuntas. O Profisee tem mais implantações de MDM no Azure, e em conjunto com o Microsoft Purview, do que qualquer outro fornecedor de MDM. Pode comprar o Profisee através do Azure Marketplace. No ano fiscal de 2023, a Profisee é o único fornecedor de MDM com uma certificação de parceiro Microsoft de nível superior que tem uma oferta de infraestrutura como serviço (IaaS), contêineres como serviço (CaaS) ou software como serviço (SaaS) no Azure Marketplace.
• Implantação rápida e confiável. Uma característica crítica de todo o software empresarial é a implantação rápida e confiável. De acordo com a plataforma Gartner Peer Insights, o Profisee tem mais implementações que levam menos de 90 dias para serem concluídas do que qualquer outro fornecedor de MDM.
• Vários domínios. O Profisee oferece uma abordagem ao MDM que usa inerentemente vários domínios. Não há limitações para o número de domínios de dados mestre que você pode criar. Esse design se alinha bem com os clientes que planejam modernizar seus conjuntos de dados. Um cliente pode começar com um número limitado de domínios, mas, em última análise, ele se beneficia da maximização da cobertura de seu domínio em todo o seu conjunto de dados. Essa cobertura de domínio é compatível com a cobertura de governança de dados.
• Engenharia projetada para o Azure. O Profisee foi projetado para ser nativo da nuvem com opções para SaaS e implantações gerenciadas de IaaS ou CaaS no Azure.

Potenciais casos de utilização

Para obter uma lista detalhada dos casos de uso de MDM desta solução, consulte Casos de uso de MDM mais adiante neste artigo. Os principais casos de uso de MDM incluem os seguintes exemplos de varejo e fabricação:

• Consolidação de dados de clientes para análise.
• Ter uma visão de 360 graus dos dados do produto de forma consistente e acessível, como nome, descrição e características de cada produto.
• Estabelecer dados de referência para aumentar consistentemente as descrições dos dados mestres. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida.

Essas soluções de MDM também ajudam as organizações financeiras que dependem fortemente de dados para atividades críticas, como relatórios oportunos.

Integração MDM com Microsoft Purview

O diagrama a seguir ilustra em detalhes a integração do Profisee MDM no Microsoft Purview. Para suportar essa integração, o subsistema de governança Profisee fornece integração bidirecional com o Microsoft Purview, que consiste em dois fluxos distintos:

• A publicação de metadados da solução ocorre quando os modeladores de dados fazem alterações no modelo de dados mestre, nas estratégias de correspondência e nos subartefatos relacionados. Essas alterações são publicadas diretamente no Microsoft Purview à medida que ocorrem. A publicação dessas alterações sincroniza os metadados relacionados ao seu modelo de dados mestre e à solução. Como resultado, o Catálogo de Dados do Microsoft Purview é ainda mais preenchido e o Microsoft Purview tem um registro dessa fonte de dados crítica.
• Os detalhes de governança são retornados e fornecidos aos administradores de dados e usuários corporativos. Esses detalhes estão disponíveis à medida que os usuários visualizam dados, enriquecem dados e corrigem problemas de qualidade de dados usando o portal Profisee FastApp.

Recursos de integração do Microsoft Purview

O catálogo e o glossário do Microsoft Purview podem ajudá-lo a maximizar a integração.

Design do modelo de dados mestre

Um dos desafios da preparação de uma solução MDM é determinar o que constitui dados mestre e quais fontes de dados usar quando você preencher seu modelo de dados mestre. Você pode usar o Microsoft Purview para ajudar com esse esforço. Você pode aproveitar a capacidade de verificar suas fontes de dados críticas e pode envolver seus administradores de dados e especialistas no assunto (PMEs). Dessa forma, você pode enriquecer seu Catálogo de Dados Microsoft Purview com informações que seus administradores podem acessar, para alinhar melhor seu modelo de dados mestre com seus sistemas de linha de negócios. É possível reconciliar terminologias conflitantes. Esse processo produz um modelo de dados mestre que reflete de forma ideal a terminologia e as definições que você deseja padronizar para sua empresa. Também evita verborragia desatualizada e enganosa.

O trecho a seguir do diagrama mais amplo ilustra esse caso de uso de integração. Primeiro, você usa as funções de verificação do sistema Microsoft Purview para ingerir metadados de seus sistemas de linha de negócios. Em seguida, seus administradores de dados e PMEs preparam um catálogo sólido e contatos. Em seguida, os modeladores de dados que trabalham com os serviços de modelagem MDM Profisee podem preparar e evoluir seu modelo de dados mestre. Este trabalho está alinhado com os padrões que você define no Microsoft Purview.

À medida que seus administradores de dados evoluem o modelo, os serviços de modelagem dentro da plataforma Profisee MDM publicam as alterações que os serviços de governança do Profisee MDM recebem. Por sua vez, o Profisee MDM prepara e encaminha essas alterações para o Microsoft Purview para inclusão em seu catálogo de dados atualizado. Essas adições ao catálogo garantem que suas definições de dados mestre sejam incluídas no conjunto de dados mais amplo e que possam ser governadas e controladas da mesma maneira que os metadados do sistema de linha de negócios. Ao garantir que essas informações sejam catalogadas juntas, você estará em uma posição melhor para gerenciar as relações entre seus dados mestre e os dados do sistema de linha de negócios.

Gestão de dados

Grandes empresas que têm propriedades de dados correspondentemente complexas e expansivas podem apresentar desafios para os administradores de dados, que são responsáveis por gerenciar e remediar problemas à medida que eles surgem. Os principais domínios de dados podem ser complexos, com muitos atributos obscuros que apenas os funcionários titulares que têm conhecimento institucional significativo compreendem. Através da integração do Profisee MDM com o Microsoft Purview, você pode capturar esse conhecimento institucional dentro do Microsoft Purview e disponibilizá-lo para uso no Profisee MDM. Como resultado, você alivia uma grande necessidade de conhecimento de dados corporativos ao gerenciar informações críticas e sensíveis ao tempo.

A figura a seguir ilustra o fluxo de informações do Microsoft Purview para os administradores de dados que trabalham no portal Profisee FastApp. O serviço de dados de governança integra-se com o Microsoft Purview e o Microsoft Entra ID. Este serviço fornece funcionalidade de pesquisa. Os usuários do portal FastApp podem usar essa funcionalidade para recuperar dados de governança enriquecidos sobre as entidades e os atributos com os quais trabalham.

Os serviços de governança também resolvem contatos recebidos do Microsoft Purview para seus detalhes completos de perfil, que estão disponíveis no Microsoft Entra ID. Com detalhes completos do perfil, os administradores podem colaborar efetivamente com proprietários de dados e especialistas enquanto trabalham para melhorar a qualidade dos seus dados mestres.

A caixa de diálogo Profisee MDM Governance é a interface através da qual os administradores de dados e os usuários interagem com os detalhes do nível de governança. Essa interface do usuário processa informações obtidas do Microsoft Purview para os usuários. Usando essas informações, os usuários podem revisar os detalhes por trás dos dados a partir dos quais a caixa de diálogo foi iniciada. Se as informações fornecidas na caixa de diálogo Governança forem insuficientes, os usuários poderão ir diretamente para a experiência do usuário do Microsoft Purview.

Os administradores de dados e os utilizadores empresariais podem aceder a três tipos de ativos de dados Profisee MDM através do portal FastApp:

• Instância Profisee, que fornece as propriedades de infraestrutura da instância específica da plataforma Profisee MDM que o usuário está visualizando
• Profisee Entity, que fornece as propriedades da entidade de dados mestre (a tabela) que o administrador ou usuário está visualizando no momento
• Profisee Attribute, que fornece as propriedades do atributo (como o campo ou coluna) no qual o usuário está interessado

A figura a seguir ilustra onde os usuários que estão trabalhando no portal FastApp podem exibir detalhes de governança para cada um desses tipos de ativos. Você pode encontrar detalhes no nível da instância no menu Ajuda . Você pode acessar os detalhes da entidade a partir do cabeçalho da zona da página, que contém uma grade de entidade. Para obter detalhes do atributo, vá para o formulário associado à grade da entidade. Acesse os detalhes dos rótulos associados ao atributo.

Para ver informações resumidas, passe o mouse sobre o ícone de governança, como o Microsoft Purview. Selecione o ícone para exibir a caixa de diálogo de governança completa:

Para ir para a experiência completa do usuário do Microsoft Purview, selecione o ícone de governança no cabeçalho da caixa de diálogo. Selecionar o ícone leva você ao Microsoft Purview no contexto do ativo que você está visualizando no momento. Em seguida, você pode se mover facilmente no Microsoft Purview com base em suas necessidades de descoberta.

Processamento de MDM

O poder de uma solução MDM está nos detalhes.

Modelação de dados

O coração da sua solução MDM é o modelo de dados subjacente. Ele representa a definição de dados mestre dentro da sua empresa. O desenvolvimento de um modelo de dados mestre envolve as seguintes tarefas:

• Identifique elementos de dados de origem em todo o cenário de sistemas que são críticos para as operações da sua empresa e centrais para analisar o desempenho.
• Enriqueça o modelo com elementos obtidos de outras fontes de terceiros que tornam os dados mais úteis, precisos e confiáveis.
• Estabeleça propriedades e permissões claras relacionadas aos elementos do seu modelo de dados. Essa prática ajuda a garantir que você considere a visibilidade e o gerenciamento de mudanças no design do seu modelo.

A governança de dados fornece uma base crítica de suporte:

• Seu catálogo de dados de governança, dicionário, glossário e recursos de suporte são fontes inestimáveis de informações para seus administradores de dados de governança. Esses recursos ajudam os administradores a determinar o que incluir em seu modelo de dados mestre. Eles também ajudam a determinar a propriedade e as classificações de dados confidenciais no Microsoft Purview. Você pode reforçar a terminologia em seu modelo. Através desta prática, pode estabelecer um léxico oficial para o seu negócio. Ao integrar terminologia, seu modelo de dados mestre também pode traduzir quaisquer termos esotéricos que estão em uso em vários sistemas de origem para o idioma aprovado do negócio.
• Os sistemas de terceiros geralmente são uma fonte de dados mestre separada e separada dos seus sistemas de linha de negócios. É fundamental adicionar elementos ao seu modelo para capturar as informações que esses sistemas adicionam aos seus dados e refletir essas fontes de informação de volta ao seu catálogo de dados.
• Você pode usar a propriedade e o acesso aos dados, conforme identificado em seu catálogo de governança, para impor permissões de acesso e gerenciamento de alterações em sua solução de MDM. Como resultado, você alinha suas políticas e necessidades corporativas com as ferramentas que usa para gerenciar e administrar seus dados mestres.

Carga de dados de origem

Idealmente, seus sistemas de linha de negócios diferentes carregam dados em seu modelo de dados mestre com pouca ou nenhuma alteração ou transformação. O objetivo é ter uma versão centralizada dos dados tal como existem no sistema de origem. Deve haver a menor perda de fidelidade possível entre o sistema de origem e seu repositório de dados mestre. Ao limitar a complexidade do seu processo de carregamento, você torna a linhagem mais simples. E quando você usa tecnologia como pipelines do Data Factory, sua solução de governança pode inspecionar o fluxo. Em seguida, sua solução pode identificar as relações entre seu sistema de origem e seu modelo de dados mestre. Especificamente, sua solução pode extrair dados de sistemas de origem usando qualquer um dos mais de 100 conectores pré-construídos e um gateway REST.

Enriquecimento e padronização de dados

Depois de carregar os dados de origem em seu modelo, você pode estendê-los aproveitando fontes avançadas de dados de terceiros. Você pode usar esses sistemas para melhorar os dados que obtém de seus sistemas de linha de negócios. Também pode utilizar estes sistemas para aumentar os dados de origem com informações que melhorem a sua utilização para outros consumidores a jusante. Por exemplo:

• Você pode usar serviços de verificação de endereço, como o Bing, para corrigir e melhorar os endereços do sistema de origem. Esses serviços podem padronizar e adicionar informações ausentes que são cruciais para a geolocalização e a entrega de e-mails.
• Serviços de informação de terceiros como Dun & Bradstreet podem fornecer dados de uso geral ou específicos do setor. Você pode usar esses dados para estender o valor do seu registro mestre dourado. Especificamente, você pode adicionar informações que não estavam disponíveis ou em conflito em seus diferentes sistemas de linha de negócios.

A infraestrutura de publicação/assinatura do Profisee facilita a integração de suas próprias fontes de terceiros em sua solução, conforme necessário.

A capacidade de entender as fontes e o significado por trás desses dados é tão crítica para dados de terceiros quanto para seus sistemas internos de linha de negócios. Ao integrar seu modelo de dados mestre ao seu catálogo de dados de governança, você pode gerenciar as relações entre fontes internas e externas de dados e, ao mesmo tempo, enriquecer seu modelo com detalhes de governança.

Validação e gestão da qualidade dos dados

Depois de carregar e enriquecer seus dados, é importante verificá-los quanto à qualidade e aderência aos padrões que você estabelece por meio de seus processos de governança. O Microsoft Purview pode novamente ser uma fonte rica de informações sobre padrões. Você pode usar o Microsoft Purview para direcionar as regras de qualidade de dados que sua solução de MDM impõe. O Profisee MDM também pode publicar regras de qualidade de dados como ativos em seu catálogo de governança. As regras podem estar sujeitas a revisão e aprovação, o que ajuda você a fornecer supervisão de cima para baixo dos padrões de qualidade associados aos seus dados mestres. Suas regras estão vinculadas a entidades e atributos de dados mestres, e esses atributos podem ser rastreados até o sistema de origem. Por esses motivos, você pode estabelecer a causa raiz da baixa qualidade dos dados originados de seus sistemas de linha de negócios.

Os administradores de dados são especialistas em seu domínio de negócios. À medida que os administradores resolvem problemas revelados pela sua solução de dados mestres, eles podem usar o catálogo de governança de dados do Microsoft Purview. O catálogo ajuda os administradores a entender e resolver problemas de qualidade à medida que eles surgem. Apoiados pelo apoio de proprietários de dados e especialistas, os administradores estão preparados para resolver problemas de qualidade de dados de forma rápida e precisa.

Correspondência e sobrevivência

Com dados de origem enriquecidos e de alta qualidade, você está posicionado para produzir um mestre de registros dourados que representa as informações mais precisas em seus diferentes sistemas de linha de negócios. A figura a seguir ilustra como todas as etapas culminam em dados de alta qualidade prontos para uso para análise de negócios. A qualquer momento, você pode sincronizar esses dados em todo o seu conjunto de dados.

O motor de correspondência Profisee MDM produz um mestre de discos de ouro como parte do processo de sobrevivência. As regras de sobrevivência preenchem seletivamente o registro dourado com informações que você escolheu em todos os seus sistemas de origem.

O histórico do Profisee MDM e o subsistema de acompanhamento de auditoria rastreiam as alterações feitas pelos usuários. Este subsistema também rastreia as alterações que os processos do sistema, como a sobrevivência, fazem. A correspondência e a sobrevivência tornam possível rastrear o fluxo de informações de seus registros de origem para o mestre. Profisee MDM tem um registro do sistema de origem que é responsável por um registro de origem específico. Você também sabe como registros de fontes díspares povoam o disco de ouro. Como resultado, você pode obter a linhagem de dados de sua análise de volta aos dados de origem aos quais seus relatórios fazem referência.

Casos de uso de MDM

Embora existam inúmeros casos de uso para MDM, alguns casos de uso cobrem a maioria das implementações de MDM do mundo real. Esses casos de uso se concentram em um único domínio, mas é improvável que sejam criados apenas a partir desse domínio. Mesmo esses casos de uso focados provavelmente envolvem vários domínios. Em cada caso de uso, o MDM atende ao objetivo de fornecer uma visão de 360 graus, ou unificada, de tipos de dados essenciais.

Dados do cliente

Consolidar e padronizar dados de clientes para análise de BI é o caso de uso mais comum do MDM. As organizações capturam dados de clientes em um número crescente de sistemas e aplicativos. Resultado de registros de dados de clientes duplicados. Essas duplicatas estão localizadas dentro e entre aplicativos e contêm inconsistências e discrepâncias. A má qualidade dos dados dos clientes limita o valor das soluções analíticas modernas. Os sintomas incluem os seguintes desafios:

• É difícil responder a perguntas básicas de negócios como: "Quem são nossos principais clientes?" e "Quantos novos clientes temos?" Responder a estas perguntas requer um esforço manual significativo.
• Você tem informações de clientes ausentes e imprecisas, o que dificulta o acúmulo ou detalhamento dos dados.
• Não é possível identificar ou verificar exclusivamente um cliente através dos limites organizacionais e do sistema. Como resultado, você não consegue analisar os dados dos clientes entre sistemas ou unidades de negócios.
• Você tem insights de baixa qualidade de IA e aprendizado de máquina devido aos dados de entrada de baixa qualidade.

Dados do produto

Os dados do produto geralmente são distribuídos por vários aplicativos corporativos, como planejamento de recursos empresariais (ERP), gerenciamento do ciclo de vida do produto (PLM) ou aplicativos de comércio eletrônico. Como resultado, é um desafio entender o catálogo total de produtos que têm definições inconsistentes para propriedades, como o nome do produto, a descrição e as características. Definições diferentes de dados de referência complicam esta situação. Os sintomas incluem os seguintes desafios:

• Você não pode oferecer suporte a diferentes caminhos alternativos de roll-up hierárquico e detalhamento para análise de produtos.
• Com o estoque de produtos acabados ou materiais, você tem dificuldade em avaliar o estoque de produtos e fornecedores estabelecidos. Você também tem produtos duplicados, o que leva ao excesso de estoque.
• É difícil racionalizar os produtos devido a definições conflitantes. Esta situação leva a informações ausentes ou imprecisas nas análises.

Dados de referência

No contexto da análise, os dados de referência existem como numerosas listas de dados. Essas listas são frequentemente usadas para descrever melhor outros conjuntos de dados mestres. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida. Dados de referência inconsistentes levam a erros óbvios na análise a jusante. Os sintomas são:

• Várias representações do mesmo valor. Por exemplo, o estado da Geórgia está listado como GA e Geórgia, o que torna difícil agregar e detalhar dados de forma consistente.
• Dificuldade em agilizar dados entre sistemas devido à incapacidade de cruzar ou mapear valores de dados de referência entre sistemas. Por exemplo, a cor vermelha é representada por R no sistema ERP e Vermelho no sistema PLM.
• Dificuldade em vincular números entre organizações devido a diferenças nos valores de dados de referência estabelecidos que são usados para categorização de dados.

Dados financeiros

As organizações financeiras dependem fortemente de dados para atividades críticas, como relatórios mensais, trimestrais e anuais. As organizações que têm vários sistemas financeiros e contábeis geralmente têm dados financeiros em vários livros contábeis que precisam ser consolidados para produzir relatórios financeiros. O MDM pode fornecer um hub centralizado para mapear e gerenciar contas, centros de custo, entidades comerciais e outros conjuntos de dados financeiros. Por meio do hub centralizado, o MDM fornece uma visão consolidada desses conjuntos de dados. Os sintomas incluem os seguintes desafios:

• Dificuldade em agregar dados financeiros em vários sistemas em uma visão consolidada
• Falta de processo para adicionar e mapear novos elementos de dados nos sistemas financeiros
• Atrasos na elaboração de relatórios financeiros de fim de período

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Considere esses fatores ao escolher uma solução de gerenciamento de dados para sua organização.

Fiabilidade

A confiabilidade garante que seu aplicativo possa atender aos compromissos que você assume com seus clientes. Para obter mais informações, consulte Visão geral do pilar de confiabilidade.

O Profisee é executado nativamente no Serviço Kubernetes do Azure (AKS) e no Banco de Dados SQL do Azure. Ambos os serviços oferecem recursos prontos para oferecer suporte à alta disponibilidade.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

O Profisee autentica usuários usando o OpenID Connect, que implementa um fluxo de autenticação OAuth 2.0. A maioria das organizações configura o Profisee MDM para autenticar usuários no Microsoft Entra ID, o que garante que você possa aplicar e impor suas políticas corporativas para autenticação.

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

Os custos de funcionamento consistem numa licença de software e no consumo do Azure. Para mais informações, contacte o Profisee.

Eficiência de desempenho

Eficiência de desempenho é a capacidade da sua carga de trabalho para dimensionar para satisfazer as exigências que os utilizadores lhe colocam de forma eficiente. Para obter mais informações, consulte Visão geral do pilar de eficiência de desempenho.

O Profisee MDM é executado nativamente no AKS e no Banco de Dados SQL. Você pode configurar o AKS para dimensionar o Profisee MDM para cima, para baixo e em todas as suas funções de negócios. Você pode implantar o Banco de dados SQL em várias configurações para equilibrar desempenho, escalabilidade e custos.

O dimensionamento dinâmico é inerente à arquitetura nativa da nuvem do Profisee, que usa microsserviços e contêineres. Se você executar o Profisee em seu locatário de nuvem via Kubernetes, poderá escalar e reduzir dinamicamente com base em sua carga. Com o serviço Profisee SaaS que é executado no AKS, você pode configurar grandes pools de nós para seus pods. Esses pools são dimensionados dinamicamente com base na carga no sistema em toda a infraestrutura multilocatário.

Para obter informações detalhadas sobre como implantar o Profisee e o Microsoft Purview no AKS, consulte Microsoft Purview - Profisee MDM integration.

Implementar este cenário

Profisee MDM é um serviço Kubernetes empacotado. Você pode implantar o Profisee MDM como um PaaS em seu locatário do Azure, em qualquer outro locatário de nuvem ou localmente. Você também pode implantar o Profisee MDM como um SaaS que o Profisee hospeda e gerencia.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelo seguinte colaborador.

Autor principal:

• Gaurav Malhotra - Brasil | Gerente Principal do Grupo PM

Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.

Próximos passos

• Entenda os recursos do conector de cópia REST no Data Factory.
• Saiba mais sobre o Profisee em execução nativa no Azure.
• Saiba como implantar o Profisee no Azure usando um modelo do Azure Resource Manager (modelo ARM).
• Veja os modelos do Profisee Data Factory.

Recursos relacionados

Guias de arquitetura:

• Extração, transformação e carregamento (ETL)
• Escolher uma tecnologia de processamento em lote no Azure

Arquiteturas de referência:

• Gerenciamento de dados mestre com o Profisee e o Azure Data Factory
• Analytics de ponta a ponta com o Azure Synapse
• Arquitetura de análise moderna com o Azure Databricks
• Análise de Big Data com segurança de nível empresarial usando o Azure Synapse
• BI empresarial automatizado
• Otimize o marketing com o aprendizado de máquina
• Inteligência de negócios empresarial