Melhores práticas e considerações para o design da Inteligência de documento (versão preliminar)

Visão geral

A Inteligência de documento é uma base versátil aplicável a vários processos, adequada para qualquer fluxo de trabalho que envolva a revisão de documentos. Se você precisa de um método manual ou automatizado para supervisionar, manipular e validar documentos em um subprocesso, esse bloco de construção pode ser integrado.

A Arquitetura da Solução de Inteligência de Documentos fornece informações sobre a arquitetura do bloco de construção. Este artigo explica os métodos ideais e os fatores essenciais a serem considerados ao elaborar uma solução que incorpore o bloco de construção Inteligência de Documento. Ao aderir às recomendações, você pode adotar uma estratégia configuração inicial. Você também pode aproveitar ao máximo seus recursos pré-existentes e descobrir possíveis caminhos de personalização para regras de negócios, classificação de dados, verificação, extração e integração para acomodar necessidades exclusivas de extensão.

A extensão pode assumir a forma dos seguintes novos elementos:

• Configurações para introduzir novos documentos ou etapas de processamento
• Aplicativos baseados em modelo com reutilização de controles, modelos de dados e configurações existentes
• Fluxos do Power Automate para introduzir novos tipos de documentos, etapas extras ou regras de negócios durante o processamento do documento
• Modelos personalizados do AI Builder para extração, enriquecimento ou verificação de dados
• Elementos do modelo de dados e regras de autorização para novas personas
• Integrações com outros sistemas internos/externos para a categorização de documentos, a extração de dados, a verificação e para fornecer informações de suporte
• Processo de arquivamento para otimização de custos, retenção e desempenho

O diagrama a seguir ilustra essas áreas de extensão da Inteligência de documento para os implementadores com o uso de controles internos, configurações e automação da Inteligência de documento e os recursos de personalização do Power Platform.

Faça o download de um PDF para impressão desse diagrama.

Este artigo explora os cenários de extensão listados e apresenta uma abordagem para sua implementação, juntamente com considerações e melhores práticas a serem consideradas ao criar esses cenários:

1. Adicionando um novo tipo de documento à Inteligência de Documento
2. Adicionando a Inteligência de Documento a um processo existente em um aplicativo baseado em modelo
3. Adicionando uma nova etapa de enriquecimento para a validação de agentes
4. Incluindo regras de negócios e fontes de dados adicionais para a verificação de documentos
5. Mapeando informações extraídas do documento
6. Usando modelo de IA próprio ou integração com solução para a extração de dados
7. Integração com outros sistemas de dados mestre para o gerenciamento de documentos

Cenário 1: Adicionando um novo tipo de documento à Inteligência de Documento

Cenário 1: Requisito

Capacidade de adicionar um novo tipo de documento, como documento de demonstração de resultados, para automatizar o processamento de documentos.

Cenário 1: Abordagem

Você pode criar um novo registro de definição de documento com um fluxo automático seguindo as etapas descritas.

1. Configurar os pré-requisitos
2. Adicionar definições do Dataverse (cenário de negócios, tipo de documento, definição de documento, definição da etapa do pipeline e, opcionalmente, definição de campo da etapa)
3. Criar um fluxo de etapa de pipeline personalizado
4. Criar um fluxo de pipeline personalizado

Se o novo documento não exigir nenhum fluxo automático, basta criar um novo registro de definição de documento conforme descrito aqui Você pode criar o novo documento sem definir nenhum fluxo de pipeline personalizado ou fluxo de etapa de pipeline personalizado.

A solução aplicativo de Integração de empréstimo de exemplo fornece exemplos de fluxos de pipeline personalizados, etapas de pipeline personalizadas e configuração do fluxo de Inteligência de documento para o documento de identidade (com suporte pelo Leitor de ID). Esses fluxos de exemplo podem ajudar você a entender o caminho da extensão para novos tipos de documentos.

Cenário 1: Considerações e melhores práticas

Configurar definições do Dataverse

• Na Inteligência de documento, os registros de definição (tabelas Definição de documento, Definição de etapa do pipeline, Definição de campo de etapa e mensagens de estado do documento do pipeline) têm reconhecimento de solução. Recomendamos que você envie essas definições como parte de sua solução personalizada.
• Cada definição de documento pode incluir somente uma única etapa de extração e saídas de enriquecimento únicas, de modo que a interface do usuário do Documento exiba sua saída na guia Detalhes extraídos.
• Os campos cujos valores são exibidos na interface do usuário podem ser definidos como localizáveis e podem oferecer suporte a um ambiente multilíngue (os nomes de exibição das etapas e dos campos, as descrições dos estados das etapas e as recomendações do pipeline).
• A etapa de enriquecimento sempre deve ser acompanhada de uma etapa de extração. Depois que uma etapa é definida como Enriquecimento, a saída da etapa pode ser exibida no controle de IU de gerenciamento de documentos como parte de Visualização do documento na guia Detalhes extraídos, em Informações de suporte.
• Recomendamos não ter os campos Necessário para aprovação marcados como Somente leitura em uma etapa de extração.

Fluxo de pipeline personalizado e fluxo de etapa

• Se a etapa de extração for definida como a primeira etapa para a definição do documento usando a coluna Ordem, o pipeline principal executará a etapa automaticamente. Não é necessário adicionar a etapa de extração ao pipeline personalizado.
• Cada etapa pode postar o campo Saída além do campo Saída Bruta.
• Recomendamos que você execute as etapas personalizadas no escopo dos blocos try-catch para fornecer recomendações finais de pipeline em todos os casos.
• Valide se o modelo de IA oferece suporte a idioma, formato e tamanho, limites de restrição e escopo (como o leitor de ID oferece suporte a somente a passaportes e alguns documentos de identidade válidos dos EUA) de seu requisito.
• Planeje cenários de testes de desempenho para escalabilidade e valide qualquer observação de limites de restrição e tempos limite durante o enriquecimento de dados, a verificação e outras etapas. Se observar poucas ocorrências dessas falhas, você poderá aplicar políticas de repetição conforme mostrado para as ações do Power Automate serem aprovadas. A aplicação das políticas de repetição permite que os fluxos fiquem mais lentos em vez de haver falha.

Outras considerações e melhores práticas

• Certifique-se de criar um processo de arquivamento para o documento que controle o crescimento da tabela Anotações para otimizar os custos de armazenamento e manter o desempenho.
• Os documentos carregados são armazenados na tabela Notas (Anotação) que usa o Armazenamento de Arquivos do Dataverse para a otimização de custos. No entanto, ela não é personalizável para hospedar os documentos fora do Dataverse para o processamento de inteligência de documento, e você não poderá usar integração nativa baseada em servidor do SharePoint. Para controlar o crescimento dos dados e a otimização de custos, recomendamos o arquivamento de documentos com base nas necessidades do seu negócio. Você pode usar a nova abordagem para definir uma regra de retenção de dados de longo prazo (versão preliminar) com reconhecimento de solução para a entidade de anotações ou adotar a abordagem herdada para definir o trabalho de exclusão em massa para remover documentos antigos.
• Revise as extensões de arquivo com suporte e certifique-se de atualizar a variável de ambiente (Tipos de arquivo com suporte) de acordo para limitar tipos específicos.
• Por questões de segurança e desempenho, recomendamos limitar o tamanho do documento. O tamanho máximo padrão permitido como arquivo anexo é 5.120 KB/5 MB e você pode ajustar o valor na configuração "Definir limite de tamanho de arquivos para anexo" da configuração do sistema.
• A solução atual oferece suporte à extração de campos para caracteres latinos e a extração de tabelas ainda não tem suporte.

Cenário 2: Adicionando a Inteligência de Documento a um processo existente em um aplicativo baseado em modelo

Cenário 2: Requisito

Capacidade de adicionar recursos de Inteligência de documento, como verificação de documentos, revisão e informações de extração de dados para um processo existente implementado usando PowerApps baseados em modelo, como a integração de empréstimo ou de conta.

Cenário 2: Abordagem

Os recursos internos são extensíveis por configuração para associar novas entidades de processo ou entidade de aplicativo existente para a inteligência de documento. O diagrama de relacionamento de entidades a seguir representa como a tabela Aplicativo atual no recurso Fundamentos de Integração está associada à Inteligência de documento por meio da tabela Solicitação de documento usando o campo Contexto. Se a entidade Aplicativo não atender à necessidade do processo existente, você poderá criar um relacionamento da entidade personalizada com a tabela Solicitação de documento com o mesmo campo Contexto porque ele é polimórfico. Opcionalmente, você pode adicionar um relacionamento à tabela Parte relacionada para ter um link para a pessoa principal para trazer informações complementares. Você pode usar a Dataverse API ou a ferramenta da comunidade XRMToolbox para adicionar um relacionamento a campos de pesquisa polimórfica existentes.

Depois que o relacionamento com a tabela Solicitação de documento for criado, você poderá definir o campo Contexto com o valor da sua Entidade personalizada e definir o registro Referente a com o registro Parte relacionada.

Cenário 2: Considerações e melhores práticas

• Avalie a usabilidade e a extensão do modelo de dados base existente do Aplicativo Fundamentos de Integração antes de criar tabelas de processos personalizadas, pois ele vem com controles, fluxos de trabalho e automação internos.

Cenário 3: Adicionando uma nova etapa de enriquecimento para a validação de agentes

Cenário 3: Requisito

Capacidade de adicionar informações de suporte para o agente verificar o documento. Por exemplo, você pode adicionar a classificação salarial à exibição de dados extraídos ou adicionar informações como a pontuação de crédito aos dados extraídos para uso posterior.

Cenário 3: Abordagem

Para atender ao requisito, você deverá seguir estas etapas: Você pode consultar o artigo Etapa de enriquecimento para obter detalhes.

1. Definindo a etapa de enriquecimento na tabela Definição da etapa do pipeline

Você deve definir uma etapa de enriquecimento por tipo de documento na tabela Definição da etapa do pipeline com tipo = Enriquecimento.

Veja a seguir a etapa de configuração de enriquecimento de exemplo enviada como parte do documento de exemplo da Inteligência de Documento para Identificação.

2. Definindo campos de enriquecimento na tabela Definição do campo Etapa

Você deve definir cada campo a ser introduzido como informação de suporte. Esses campos podem ser somente leitura (definindo Somente leitura = Sim) ou pode ser editáveis na interface do usuário (definindo Somente leitura = Não).

Na configuração de exemplo especificada, a pontuação de crédito é definida como informação de suporte. Você pode usar qualquer informação do Dataverse ou de outros sistemas dentro do fluxo do processo de enriquecimento.

3. Criar um fluxo de etapa de pipeline personalizado

Você deve criar um fluxo do Power Automate conforme detalhado aqui com um gatilho manual com campos de entrada específicos. O fluxo deve ter ações específicas para extrair dados da fonte, seja do Dataverse ou de um sistema de registro existente. Você deve adicionar uma ação de composição para colocar esses valores de enriquecimento em um formato JSON conforme especificado.

Por último, essa informação de saída deve ser definida no campo de saída da ação abaixo para chamar o Fluxo principal da ação da etapa pós-pipeline.

4. Adicionar a ação ao pipeline personalizado para chamar o fluxo de etapa do pipeline personalizado

Você deve adicionar uma ação no fluxo de pipeline personalizado para chamar o fluxo de etapa de pipeline personalizado. Veja a seguir o instantâneo do fluxo de exemplo Pipeline de documentos de identificação que mostra as ações que chamam fluxos de etapas de pipeline personalizados.

Cenário 3: Considerações e melhores práticas

Você pode definir uma etapa de enriquecimento e uma etapa de extração por definição de documento.

O valor do enriquecimento deverá ser enviado para a ação Etapa pós-pipeline no formato JSON conforme especificado:

export interface IEnrichmentOutput{ 
    fields: { 
        [field_external_id: string]: { 
            value: string; 
            originalValue: string; 
        } 
    } 
}

Cenário 4: Incluindo regras de negócios e fontes de dados adicionais para a verificação de documentos

Cenário 4: Requisito

Capacidade de incluir regras de negócios e fontes de dados adicionais para a verificação de documentos.

Cenário 4: Abordagem

A verificação de documentos pode ser realizada manualmente ou automaticamente, dependendo do seu processo empresarial para um tipo de documento específico. O fluxo de documentos interno permite que você adicione etapas de pipeline personalizadas para estabelecer uma regra de negócios de verificação automatizada. Essa regra pode fazer uso da pontuação de confiança gerada pelo modelo de extração de dados e também pode ser estendida para incorporar dados e informações extraídos de fontes de verificação internas ou externas.

Para atender ao requisito, você deverá seguir as etapas abaixo. Você pode consultar fluxo personalizado de verificação para obter detalhes.

1. Criar uma nova definição da etapa do pipeline

Você deve definir uma nova etapa por tipo de documento na tabela Definição da etapa do pipeline com tipo = Outro. Você pode definir seu limite de êxito e falha para decidir se deseja aprovar automaticamente o documento, marcá-lo como pouco claro ou gerar falha na automação para deixar o documento para revisão manual.

Veja um exemplo de configuração para a etapa de verificação incluída no documento de exemplo da Inteligência de Documento para Identificação

2. Criar um fluxo de etapa de pipeline personalizado

Você deve criar um fluxo do Power Automate conforme detalhado aqui com um gatilho manual com campos de entrada específicos, incluindo a saída da extração de dados com a pontuação de confiança. Você pode usar a pontuação de confiança exclusivamente para determinar o status do documento para verificação e também usar quaisquer outras fontes de dados ou sistemas de verificação de documentos para implementar suas regras de negócios. A informação de estado do documento calculado deve ser definida no campo de saída da ação abaixo para chamar o fluxo principal da ação Etapa pós-pipeline.

3. Adicionar a ação ao pipeline personalizado para chamar o fluxo de etapa do pipeline personalizado

Você deve adicionar uma ação no fluxo de pipeline personalizado para chamar o fluxo de etapa de pipeline personalizado criado na etapa anterior. Veja a seguir o instantâneo do fluxo de exemplo Pipeline de documentos de identificação que mostra as ações que chamam fluxos de etapas de pipeline personalizados. Você pode pegar a saída da etapa de verificação e refleti-la no estado do documento do pipeline exibido na interface do usuário.

Cenário 4: Considerações e melhores práticas

Cada etapa deve usar os fluxos principais Etapa pré-pipeline e Etapa pós-pipeline para indicar o status usando a ID da definição da etapa e a ID do pipeline no fluxo pai. O fluxo de pipelines personalizado que executa essas etapas reúne os resultados de todas as etapas e determina o status completo do pipeline usando o fluxo principal Pós-pipeline. Todos esses resultados de etapas e de pipeline são exibidos na interface do usuário.

Cenário 5: Mapeando informações extraídas do documento

Cenário 5: Requisito

Capacidade de mapear as informações extraídas do documento carregado para tabelas do Dataverse ou fontes de dados internas/externas.

Cenário 5: Abordagem

Você pode atender ao requisito estendendo seu fluxo de pipeline personalizado com ações adicionais para transformar a saída de extração de dados. A saída da extração de dados pode ser acessada a partir do fluxo principal auxiliar interno Obter detalhes do pipeline ou você pode recuperar as mesmas informações na tabela Etapa do pipeline de documentos no campo Saída bruta. O esquema Json de saída da extração de dados é o seguinte:

 export interface IExtractionOutput { 
    pageCount: number; 
    collection: string; 
    collectionConfidence: number; 
    fields: { 
        [field_external_id: string]: { 
            value: string; 
            originalValue: string; 
            confidence: number; 
        }; 
    }; 
}

Você pode usar uma ação de composição conforme especificado para analisar essas informações de saída e usá-las para alimentar tabelas do Dataverse ou fontes de dados internas/externas.

Cenário 6: Usando modelo de IA próprio ou integração com solução para a extração de dados

Cenário 6: Requisito

Capacidade de trazer seu próprio modelo de IA para a extração de dados ou a integração com sistema interno/externo para a extração de dados do documento.

Cenário 6: Abordagem

Comece adotando uma abordagem que prioriza a configuração ou low-code para avaliar os modelos de IA predefinidos ou crie um modelo personalizado de processamento de documentos no AI Builder e valide se esses recursos internos atendem aos seus requisitos de extração de dados.

Se quiser trazer seu próprio modelo de IA para o AI Builder, siga as etapas descritas no artigo AI Builder e os detalhes no tutorial. O caminho alternativo pode ser integrar o fluxo de pipeline personalizado da inteligência de documento diretamente ao seu sistema de extração de dados.

Para atender ao requisito, você deverá seguir as etapas abaixo.

1. Definir a etapa de extração na tabela Definição da etapa do pipeline

Você deve definir uma etapa de extração por tipo de documento na tabela Definição da etapa do pipeline com tipo = Extração.

Veja a seguir o exemplo de Configuração de extração para o tipo de documento de identificação. Se estiver usando um modelo interno, você poderá definir o modelo do AI Builder. Caso contrário, você poderá deixar em branco.

2. Definir os campos de extração na tabela Definição da etapa do pipeline

Você deve definir cada campo na saída de extração de dados.

3. Criar um fluxo de etapa de pipeline personalizado

Para o uso de modelos de IA internos, não é necessário definir o fluxo de etapas do pipeline personalizado nem adicionar outras ações no fluxo do pipeline personalizado. Mas, para modelos personalizados, você deve criar um Power Automate conforme detalhado aqui com um gatilho manual com campos de entrada específicos. O fluxo deve ter ações específicas para extrair dados do modelo ou dos sistemas de extração de dados. Em seguida, você deve adicionar uma ação de composição para colocar os valores de extração em um formato JSON conforme especificado:

export interface IExtractionOutput { 
    pageCount: number; 
    collection: string; 
    collectionConfidence: number; 
    fields: { 
        [field_external_id: string]: { 
            value: string; 
            originalValue: string; 
            confidence: number; 
        }; 
    }; 
}

Por último, essa informação de saída deve ser definida no campo de saída da ação abaixo para chamar o Fluxo principal da ação da etapa pós-pipeline.

4. Adicionar a ação ao pipeline personalizado para chamar o fluxo de etapa do pipeline personalizado

Você deve adicionar uma ação no fluxo de pipeline personalizado para chamar o fluxo de etapa de pipeline personalizado criado para a extração de dados. A saída do fluxo da etapa de extração de dados é usada para preencher os detalhes extraídos, conforme especificado. A pontuação de confiança do modelo e de cada campo pode ser usada para a verificação de documentos e a definição adequada do status do documento.

Cenário 6: Considerações e melhores práticas

• Você deve considerar se o modelo de extração de dados pode oferecer suporte ao idioma, ao formato e ao tamanho do documento.
• Você deve avaliar a confiabilidade, o desempenho e a precisão de seus próprios modelos de extração de dados antes de usá-los. Certifique-se de que os limites de restrição ou a taxa de transferência do modelo específico atendam às necessidades do negócio.
• Para o cenário de trazer seu próprio modelo de IA para o AI Builder, examine as limitações.

Cenário 7: Integração com outros sistemas de dados mestre para o gerenciamento de documentos

Cenário 7: Requisito

Capacidade de integração com o sistema mestre de gerenciamento de documentos para os documentos.

Cenário 7: Abordagem

No momento, a Inteligência de documento carrega e lê documentos da tabela Notas (Anotação) no Dataverse que estão associados à solicitação do documento. Você deve colocar os documentos no Dataverse para processamento. Você pode integrar duas APIs personalizadas (UploadDocument e DeleteDocument) para enviar e excluir documentos, conforme ilustrado.

Faça o download de um PDF para impressão desse diagrama.

Cenário 7: Considerações e melhores práticas

• Para quaisquer integrações em lote ou assíncronas, considere usar as orientações compartilhadas no artigo de design de integração.
• Registre os IDs gerados (Anotação, Documento e Solicitação de Documento) em seus sistemas para rastreabilidade e integração com a inteligência de documento.

Confira também

• Visão geral da inteligência do documento

Próximas etapas

• Ferramenta de Avaliação Well-Architected para o Microsoft Cloud for Financial Services