Enriquecimento de ia com imagem e processamento de linguagem natural no Azure Pesquisa Cognitiva

Serviço de Aplicativo
Armazenamento de Blobs
Cognitive Search
Funções

Ideia da solução

Se você quiser nos ver, expanda este artigo com mais informações, detalhes de implementação, diretrizes de preços ou exemplos de código, fale conosco com os comentários do GitHub!

Conjuntos de dados grandes e não estruturados, como os Arquivos JFK,que contém mais de 34.000 páginas de documentos sobre a investigação de CIA da investigação do JFK de 1963, incluem anotações digitadas e manuscritas, fotos e diagramas e outros dados não estruturados que as soluções de pesquisa padrão não podem analisar.

O enriquecimento de IA no Azure Cognitive Search pode extrair e aprimorar texto pesquisável e indexável de imagens, blobs e outras fontes de dados não estruturados, como os Arquivos JFK usando os skillsets de aprendizado de máquina pré-treinados dos Serviços Cognitivos Pesquisa Visual Computacional e apIs Análise de Texto. Você também pode criar e anexar habilidades personalizadas para adicionar processamento especial para dados específicos do domínio, como Cryptonyms DE CIA. Azure Cognitive Search pode indexar e pesquisar o contexto.

As Azure Cognitive Search habilidades nesta solução de exemplo se enquadram nas seguintes categorias:

  • As habilidades de processamento de imagem, como OCR (reconhecimento óptico de caracteres), extração de impressão e análise de imagem, incluem detecção facial e objeto, geração de marca e legenda e identificação de celebridades e pontos de referência. Essas habilidades criam representações de texto do conteúdo da imagem, que podem ser pesquisadas usando os recursos de consulta Azure Cognitive Search. A quebra de documento é o processo de extrair ou criar conteúdo de texto de fontes que não são de texto.

  • Habilidades de processamento de idioma natural, como reconhecimento de entidade,detecção de idioma,extração de frases-chave e texto não estruturado mapeiam texto para campos pesquisáveis e filtáveis em um índice.

  • Habilidades personalizadas que capturam dados específicos do domínio. Essas habilidades são desenvolvidas com a interface de habilidades personalizadas.

Esta solução de exemplo usa Azure Cognitive Search enriquecimento de IA para extrair significado do conjunto de dados de arquivos JFK complexos e não estruturados originais. Você pode trabalhar no projeto, assistir o processo em ação em um vídeo onlineou explorar os arquivos JFK com uma demonstração online.

Possíveis casos de uso

  • Aumente o valor e o utilitário de conteúdo de texto não estruturado e imagem em aplicativos de pesquisa e ciência de dados.
  • Use habilidades personalizadas para integrar o código aberto, de terceiros ou de terceiros em pipelines de indexação.
  • Transforme documentos em formato JPG, PNG ou bitmap com pesquisa de texto completo.
  • Produza resultados melhores do que a extração de texto PDF padrão para PDFs com imagem combinada e texto.
  • Crie novas informações de conteúdo bruto inerentemente significativo ou contexto oculto em documentos maiores não estruturados ou semiestruturados.

Arquitetura que converte dados não estruturados em dados estruturados

Arquitetura de Pesquisa Cognitiva para converter não estruturada em dados estruturados

Este diagrama ilustra o processo de passagem de dados não estruturados por meio do pipeline de Pesquisa Cognitiva habilidades para produzir dados estruturados e indexáveis.

  1. O armazenamento de blob fornece dados de documento e imagem não estruturados para Pesquisa Cognitiva.
  2. Pesquisa Cognitiva aplica habilidades cognitivas pré-criados aos dados, incluindo OCR, reconhecimento de texto e manuscrito, análise de imagem, reconhecimento de entidade e pesquisa de texto completo.
  3. O mecanismo de extensibilidade do Pesquisa Cognitiva usa uma função do Azure para aplicar a habilidade personalizada do CIA Cryptonyms aos dados.
  4. Os habilidades personalizados e predefinidos fornecem conhecimento estruturado que o Azure Pesquisa Cognitiva pode indexar.

Componentes

O Azure Pesquisa Cognitiva funciona com outros componentes do Azure para fornecer essa solução.

Armazenamento do Blobs do Azure

O armazenamento de BLOBs do Azure é um armazenamento de objeto baseado em REST para dados que você pode acessar de qualquer lugar do mundo por meio de HTTPS. Você pode usar o armazenamento de Blob para expor dados publicamente para o mundo ou para armazenar dados do aplicativo de forma privada. O armazenamento de BLOBs é ideal para grandes quantidades de dados não estruturados, como texto ou elementos gráficos.

Pesquisa cognitiva indexa o conteúdo e capacita a experiência do usuário. Você usa Pesquisa Cognitiva recursos para aplicar habilidades cognitivas predefinidas ao conteúdo e usar o mecanismo de extensibilidade para adicionar habilidades personalizadas.

  • A API Pesquisa Visual Computacional usa APIs de reconhecimento de texto para extrair e reconhecer informações de texto de imagens. A leitura usa os modelos de reconhecimento mais recentes e é otimizada para documentos grandes e com uso intenso de texto e imagens com volume de voz. O OCR não é otimizado para documentos grandes, mas dá suporte a mais idiomas. A solução de exemplo atual usa o OCR para produzir dados no formato hOCR.

  • A API Análise de Texto extrai informações de texto de documentos não estruturados usando recursos como Reconhecimento de Entidade Nomeada (NER),extração de frases-chave epesquisa de texto completo.

  • As habilidades personalizadas Cognitive Search para aplicar transformações de enriquecimento específicas ao conteúdo. A solução de exemplo atual cria uma habilidade personalizada para aplicar Cryptonyms DE CIA,que decodificam nomes de código em maiúsculas em documentos DEIA. Por exemplo, a CIA atribuiu o cryptonym a Lee Ltda, de modo que a habilidade personalizada de Cryptonym de CIA vincula todos os arquivos JFK que contêm esse GPFLOOR cryptonym com o Thea.

Funções do Azure

Azure Functions é um serviço de computação sem servidor que permite executar pequenas partes do código disparado por evento sem precisar provisionar ou gerenciar explicitamente a infraestrutura. Esta solução de exemplo usa um método do Azure Function para aplicar a lista de Cryptonyms DE CIA aos Arquivos JFK como uma habilidade personalizada.

Serviço de Aplicativo do Azure

Esta solução de exemplo também cria um aplicativo Web autônomo no Serviço de Aplicativo do Azure para testar, demonstrar, pesquisar o índice e explorar conexões nos documentos enriquecidos e indexados.

Considerações

  • O projeto de código e a demonstração mostram um caso Cognitive Search uso específico. Esta solução de exemplo não se destina a ser uma estrutura ou arquitetura escalonável para todos os cenários, mas para fornecer uma diretriz geral e um exemplo.
  • Os resultados do OCR variam muito dependendo da qualidade da imagem e da verificação. O Pesquisa Visual Computacional API de Leitura usa os modelos de reconhecimento mais recentes, mas tem menos suporte de linguagem do que o OCR.
  • Alguns formatos PDF verificados e nativos podem não ser analisados corretamente no Pesquisa Cognitiva.
  • O projeto de exemplo JFK Files e a demonstração criam um site público e um contêiner de armazenamento legível publicamente para imagens extraídas, portanto, não use essa solução com dados não públicos.

Próximas etapas

Explore o conjunto de JFK:

Leia a documentação do produto:

Experimente o caminho Microsoft Learn: