Share via

Visão geral da estratégia de patrimônio de dados

  • Artigo

A integração de dados financeiros de vários sistemas e aplicativos é um processo caro e demorado. Para resolver os problemas, a implementação de uma estratégia de património de dados torna-se crucial, uma vez que estabelece padrões uniformes para que as organizações possam gerenciar com eficiência todos os seus dados, independentemente do local ou do formato de armazenamento.

A estratégia de patrimônio de dados refere-se a uma abordagem abrangente e estruturada que as organizações adotam para gerenciar todo o seu ecossistema de dados com eficiência. A estratégia é desenvolver um plano bem definido e um conjunto de diretrizes para adquirir, armazenar, processar, proteger e usar dados em diversas fontes, sistemas e aplicativos dentro da organização. As instituições financeiras lidam com uma ampla gama de dados, incluindo transações de clientes, carteiras de investimentos, tendências de mercado e conformidade regulatória. Consequentemente, o gerenciamento eficaz dos dados torna-se essencial para manter a estabilidade e obter uma vantagem competitiva.

Desafios de integração de dados e interoperabilidade nos serviços financeiros

Enfrentar os desafios de integração e interoperabilidade de dados é essencial para que as instituições financeiras criem um ecossistema coeso e baseado em dados, permitindo que elas tomem decisões embasadas, proporcionem melhores experiências aos clientes e permaneçam à frente em um cenário financeiro competitivo. Veja a seguir alguns desafios comuns de integração de dados e interoperabilidade:

  • Diversas fontes de dados: as instituições financeiras muitas vezes lidam com dados de vários sistemas internos, aplicativos herdados, fornecedores terceirizados e feeds de dados externos, levando a desafios na consolidação e integração dos dados de diversas fontes.

  • Silos de dados: os dados podem ser isolados e armazenados em sistemas separados dentro de diferentes departamentos, dificultando a colaboração multifuncional. Consequentemente, é difícil obter uma visão abrangente das operações da organização e das interações com os clientes.

  • Formatos de dados inconsistentes: sistemas diferentes podem usar formatos de dados, estruturas e convenções de nomenclatura variados, o que dificulta mesclar e analisar os dados de forma coesa. Os diversos formatos de dados podem levar a problemas de qualidade dos dados e relatórios.

  • Atualizações de dados em tempo real: muitos processos financeiros exigem atualizações de dados em tempo real, e garantir a sincronização oportuna de dados entre sistemas torna-se essencial para evitar discrepâncias e possíveis erros.

  • Compatibilidade de sistemas herdados: as instituições financeiras podem ter sistemas herdados que não se integram facilmente com plataformas de dados ou APIs modernas, resultando em uma lacuna tecnológica que impede o fluxo contínuo de dados.

  • Preocupações com conformidade e segurança: a integração de dados entre sistemas deve estar em conformidade com as regulamentações do setor e com os padrões de segurança de dados, adicionando complexidade aos projetos de integração de dados. Como lidar com dados confidenciais de clientes e consentimento para compartilhar dados com outras partes.

  • Escalabilidade e desempenho: à medida que os dados financeiros crescem exponencialmente, as soluções de integração de dados devem ser escalonáveis para lidar com volumes de dados crescentes sem comprometer o desempenho.

  • Mapeamento e transformação de dados: mapear dados de um sistema para outro e transformá-los para corresponder a diferentes formatos exige planejamento e validação cuidadosos para evitar a perda ou corrupção dos dados.

  • Desafios de API e troca de dados: os problemas de interoperabilidade surgem quando as instituições financeiras precisam trocar dados com parceiros externos, clientes ou órgãos reguladores, necessitando de APIs e protocolos de troca de dados padronizados.

  • Governança e propriedade de dados: definir políticas claras de propriedade e de governança de dados torna-se essencial para garantir a precisão dos dados, a responsabilidade e a conformidade regulatória durante os processos de integração de dados.

Categorias de dados operacionais

Categorias de dados operacionais referem-se aos diferentes tipos ou classificações de dados usados em processos operacionais dentro de uma organização. O gerenciamento eficaz das categorias de dados operacionais é essencial para operações comerciais tranquilas, a tomada de decisões e a conformidade com regulamentações relevantes. No contexto do Microsoft Cloud for Financial Services, esse tipo de dados normalmente se enquadra em uma das quatro categorias: dados mestre, dados transacionais, dados de configuração e dados inferidos.

O Microsoft Cloud for Financial Services oferece um conjunto de modelos de dados abrangentes e personalizados para atender aos requisitos de dados exclusivos do setor. Esses modelos de dados representam conceitos e atividades comumente usados, como perfis de clientes, holdings financeiras, relacionamentos e aplicações. Essas atividades simplificam a análise de dados financeiros pelos gerentes de relacionamento e gerenciam os processos de integração dos agentes.

Algumas categorias de dados de alto nível que constroem os modelos de dados do Microsoft Cloud for Financial Services são:

Categoria de dados Descrição Exemplo
Dados Mestres Normalmente representa entidades do mundo real ou dados corporativos comuns, que são mantidos ao longo do tempo e, portanto, recebem um número comparativamente baixo a médio de atualizações. Às vezes também chamados de Dados estáticos, o que pode ser enganoso. Empresa (Conta)
Contato
Pessoa
Dados Transacionais Esse tipo de dados apresenta grande volume devido à natureza de seu uso. Os dados transacionais normalmente se referem a eventos ou atividades relacionadas às tabelas de dados mestre. As informações são criadas automaticamente ou registradas por um usuário. Holdings Financeiras
Aplicativo
Tarefas
Documentos
Dados de Configuração Os dados de configuração são dados sobre diferentes configurações necessárias para preparar seu ambiente para uso. Configuração de Eventos de Vida
Definição de Documento
Dados Inferidos Representam a atividade relacionada às entidades de dados mestre, mas que tem um nível de incerteza Idade
Alerta de Aniversário

Tipos de dados operacionais

Ao se aprofundar nos modelos de dados do Microsoft Cloud for Financial Services, é importante saber que você pode encontrar diferentes tipos de dados. Esses tipos de dados variam com base na frequência com que mudam, na quantidade de dados existentes e em como os dados são estruturados. A tabela a seguir mostra os diferentes tipos de dados nesses modelos. Você pode usar essas definições para organizar dados de forma lógica e ajudar em tarefas como criar catálogos de dados, classificações de dados e mapas de dados, que são essenciais para o gerenciamento e a conformidade dos dados.

Categoria de dados Tipo de Dados Descrição Exemplo
Dados Mestres Perfil Representa o perfil de um cliente ou empresa Conta
Contato
Pessoa
Dados Mestres Banco Representa a organização da instituição financeira Banco, Agência
Dados Transacionais Holdings Financeiras Representam as holdings financeiras de clientes individuais e de grupos. Holding financeira
Instrumento de holding financeira
Produto do mercado financeiro
Dados Transacionais Eventos de Vida e Metas Financeiras Representa eventos de vida e suas metas financeiras associadas. Metas Financeiras
Evento de Vida
Dados Transacionais Processo Empresarial Dados relacionados ao gerenciamento de processos de negócios, como aplicativos de integração Aplicativo
Dados Transacionais Documento Documentos do cliente e do processo Anotação
Dados Transacionais Relação Associações de grupo, como família Holding financeira do cliente
Holding financeira do grupo
Dados de Configuração Referência Os dados costumavam ser referenciados a partir de outros tipos de dados. Moeda
Definições de escolha (optionset)
Dados de Configuração Definição Definindo parâmetros para a capacidade relacionada Definição de Tarefa
Definição de Documento
Configuração de Eventos de Vida
Dados Inferidos Calculado(a) Elementos de dados calculados com base em outras informações Campo Duração na tabela Contato calculado com base no campo Data de Ingresso
Dados Inferidos Alertas Quaisquer alertas relacionados a holdings financeiras de clientes e clientes calculados e exibidos na interface do usuário Alerta de aniversário, status Expira em breve para Cartões

Abordagens de persistência de dados

Antes de se aprofundar nas orientações de implementação, comece definindo as abordagens de persistência de dados que podem ser adotadas. A abordagem adotada molda sua decisão de design para a estratégia de patrimônio de dados.

Os modelos de dados do Microsoft Cloud for Financial Services são implantados no ambiente do Dataverse. Os dados persistidos no Dataverse são um requisito para aplicativos primários do Cloud for FSI, como o Perfil Unificado de Cliente, operarem de forma nativa. No entanto, pode haver alguns cenários em que você pode considerar a escolha de um caminho híbrido com abordagens como:

  • Necessidades de dados em tempo real: se o requisito de negócios só puder ser atendido acessando dados de sistemas mestres em tempo real, como para determinar o limite atual disponível nos cartões de crédito ou o saldo da conta corrente.
  • Cenários de alto volume: você pode ter um requisito de negócios em que deseja acessar elementos de dados de alto volume por natureza, como históricos de interação ou transações de conta. Persistir esse grande volume de dados no Dataverse pode não ser a abordagem recomendada para otimização de custos e o desempenho geral do sistema, conforme descrito no pilar de eficiência de desempenho. Talvez você queira adotar uma abordagem diferente para evitar a proliferação de dados ou lidar com os efeitos colaterais de volumes substanciais de dados.
  • Disponibilidade de APIs e acesso a partir da nuvem pública: as organizações financeiras geralmente têm uma política de acesso restrito enquanto os sistemas acessam dados financeiros e de clientes. A disponibilidade de APIs e as restrições de acesso da nuvem pública podem exigir uma abordagem de script baseada no cliente para acessar os dados da API.

Com base nos cenários especificados, talvez seja necessário considerar uma abordagem diferente do Dataverse para a persistência de dados. A tabela a seguir compara diferentes abordagens de persistência de dados com a opção do Dataverse e compartilha considerações para o uso de outras abordagens.

Atributo Persistência de dados em tabelas padrão do Dataverse Persistência de dados em tabelas elásticas do Dataverse (Versão preliminar) Cache no Dataverse Integração de Apresentação
Abordagem Os sistemas mestres para dados financeiros estão hidratando e alimentando elementos de dados no modelo de dados do Microsoft Cloud for Financial Services. Dados de atividades, como histórico de interações, são inseridos em tabelas elásticas no Dataverse. Nenhum carregamento de dados inicial, exceto dados mestre e de configuração. Os dados são extraídos em tempo real por meio de plug-ins/webhooks. Os dados são obtidos sob demanda para exibição por meio de interfaces de usuário personalizadas desenvolvidas ou incorporadas. A abordagem não utiliza nenhuma interface de usuário, controles e modelo de dados existentes.
Persistência de Dados Pelo menos os dados mínimos são persistidos no Dataverse. Dados armazenados em tabelas elásticas do Dataverse da plataforma Azure Cosmos DB. Persistidos temporariamente somente para clientes visualizados por agentes. Os registros são removidos das tabelas com base nas regras de retenção. Nenhum dado persistido no Dataverse.
Recência de Dados Predominantemente quase em tempo real ou diariamente Predominantemente quase em tempo real ou diariamente Tempo real com alguma latência para persistir os dados antes da renderização. Nenhuma atualização regular nos dados armazenados em cache Não aplicável
Interface do Usuário Usando formulários e controles nativos antes da personalização Pode introduzir tabelas elásticas em formulários com configuração Usando formulários e controles nativos antes da personalização Low code ou personalização necessária para desenvolver Controle PCF / Páginas Personalizadas no Power Apps.
Consideração Oferece suporte a padrões de integração assíncronos e em lote para hidratar e alimentar dados no modelo de dados. O volume de dados a ser sincronizado e os cenários de latência de dados devem ser considerados no design.

Há suporte à busca de dados em tempo real com a personalização.		 Em versão preliminar no momento e não recomendado para uso em produção.
As tabelas elásticas não oferecem suporte a transações em que vários registros não são transacionais entre si.
Problemas Conhecidos		 Maior latência à medida que a persistência dos dados é processada antes da renderização da IU. A complexidade dos requisitos de transformação da origem para o modelo de dados pode piorar ainda mais o desempenho e possíveis problemas de tempo limite em plug-ins.

As integrações em tempo real são mais propensas a atingir o tempo limite e não são escaláveis como outros métodos.

Fortemente acoplado às APIs. Alterações no modelo de dados exigem alterações no código de integração.		 Alta personalização na interface do usuário.

Não há uso real de modelos de dados e controles internos.
Usar Quando Abordagem recomendada para adotar uma abordagem que prioriza a configuração com otimização de custos e desempenho. Use tabelas padrão nas seguintes situações:
- Seu aplicativo requer forte consistência de dados.
- O aplicativo requer modelagem relacional e precisa de capacidade transacional entre tabelas ou durante a execução do plug-in.
- O aplicativo requer junções complexas.		 Cenários de alto volume em que você precisa escalar horizontalmente para lidar com grandes quantidades de dados e altos níveis de taxa de transferência com baixa latência. Use tabelas elásticas nestas situações:
- Seus dados podem ser não estruturados ou semiestruturados, ou seu modelo de dados pode estar em constante mudança.
- Você precisa de escalabilidade horizontal para lidar com o crescimento da carga de trabalho ao longo do tempo ou com cargas de trabalho intermitentes em um determinado ponto.
- Você precisa processar um grande volume de solicitações de leitura e gravação.		 Elementos de curta duração, como Alertas e Notificações, em que a persistência temporária está alinhada com o ciclo de vida dos elementos de dados Para cenários em que a integração em tempo real é a única abordagem para atender aos requisitos de negócios e as APIs para acessar as informações são restritas na nuvem pública

Próximas etapas