Modifier

Enrichissement par IA avec traitement de texte et d’image

Azure App Service
Stockage Blob Azure
Azure AI Search
Azure Functions

Idées de solution

Cet article présente une idée de solution. Si vous souhaitez que nous développions le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, adressez-nous vos commentaires GitHub.

Cet article présente une solution qui enrichit les documents texte et image en utilisant le traitement d’images, le traitement du langage naturel et des compétences personnalisées pour capturer les données spécifiques à un domaine. Recherche cognitive Azure avec enrichissement par IA peut vous aider à identifier et à explorer le contenu pertinent à grande échelle. Cette solution utilise l’enrichissement par IA pour extraire le sens des JFK Files (JFK Assassination Records), un jeu de données original, complexe et non structuré.

Architecture

Diagram that shows Azure Cognitive Search architecture to convert unstructured into structured data.

Téléchargez un fichier Visio de cette architecture.

Dataflow

Le diagramme ci-dessus illustre le processus de passage du jeu de données JFK Files non structuré par le biais du pipeline de compétences Recherche cognitive Azure pour produire des données structurées et indexables :

  1. Les données non structurées dans Stockage Blob Azure, telles que les documents et les images, sont ingérées dans Recherche cognitive Azure.
  2. L’étape de craquage de document lance le processus d’indexation en extrayant des images et du texte des données, suivi d’un enrichissement du contenu. Les étapes d’enrichissement qui ont lieu dans ce processus dépendent des données et du type de compétences sélectionnées.
  3. Les compétences intégrées basées sur les API Vision par ordinateur et Service de langage permettent des enrichissements par IA, notamment la reconnaissance optique de caractères (OCR) d’images, l’analyse d’images, la traduction de texte, la reconnaissance d’entité et la recherche en texte intégral.
  4. Les compétences personnalisées prennent en charge les scénarios qui nécessitent des modèles ou des services d’IA plus complexes. Citons en exemple Forms Recognizer, les modèles Azure Machine Learning et Azure Functions.
  5. Après le processus d’enrichissement, l’indexeur enregistre les sorties dans un index de recherche qui contient les documents enrichis et indexés. La recherche en texte intégral et d’autres formulaires de requête peuvent utiliser cet index.
  6. Les documents enrichis peuvent également être projetés dans une base de connaissances, que peuvent utiliser des applications en aval dans des domaines comme l’exploration de connaissances ou la science des données.
  7. Les requêtes accèdent au contenu enrichi dans l’index de recherche. L’index prend en charge les analyseurs personnalisés, les requêtes de recherche approximatives, les filtres et un profil de scoring pour optimiser la pertinence de la recherche.
  8. Toute application qui se connecte à Stockage Blob ou à Stockage Table Azure peut accéder à la base de connaissances.

Components

Recherche cognitive Azure fonctionne avec d’autres composants Azure pour fournir cette solution.

La Recherche cognitive Azure indexe le contenu et garantit une expérience utilisateur optimale dans cette solution. La Recherche cognitive Azure peut appliquer des compétences cognitives prédéfinies au contenu, et le mécanisme d’extensibilité peut ajouter des compétences personnalisées pour des transformations d’enrichissement spécifiques.

Vision par ordinateur Azure

Vision par ordinateur Azure utilise la reconnaissance de texte pour extraire et reconnaître les informations textuelles dans des images. L’API Lire utilise les modèles de reconnaissance OCR les plus récents et est optimisée pour les documents contenant beaucoup de texte et les images bruyantes.

L’API OCR héritée n’est pas optimisée pour les documents volumineux, mais prend en charge davantage de langues. Les résultats de l’OCR varient considérablement en fonction de l’analyse et de la qualité de l’image. L’idée de solution actuelle utilise l’OCR pour produire des données au format hOCR.

Azure Cognitive Service for Language

Azure Cognitive Service for Language extrait des informations textuelles à partir de documents non structurés à l’aide de fonctionnalités d’analyse de texte telles que la reconnaissance d’entité nommée (NER), l’extraction de phrases clés et la recherche en texte intégral.

Stockage Azure

Stockage Blob Azure est un stockage d’objets basé sur REST pour données, auquel vous pouvez accéder depuis n’importe où dans le monde via le protocole HTTPS. Vous pouvez utiliser le Stockage Blob pour exposer des données publiquement dans le monde ou stocker des données d’applications de façon privée. Le Stockage Blob est idéal pour de grandes quantités de données non structurées telles que du texte ou des graphiques.

Le Stockage Table Azure stocke des données NoSQL hautement disponibles, scalables, structurées ou semi-structurées dans le cloud.

Azure Functions

Azure Functions est un service de calcul sans serveur qui vous permet d’exécuter de petits extraits de code déclenchés par des événements sans approvisionner ou gérer explicitement l’infrastructure. Cette solution utilise une méthode Azure Functions pour appliquer la liste des cryptonymes de la CIA aux JFK Assassination Records sous forme de compétence personnalisée.

Azure App Service

Cette idée de solution génère également une application web autonome dans Azure App Service pour tester, démontrer, rechercher dans l’index et explorer les connexions dans les documents enrichis et indexés.

Détails du scénario

Les jeux de données volumineux et non structurés peuvent inclure des notes dactylographiées et manuscrites, des photos et des diagrammes, ainsi que d’autres données non structurées que les solutions de recherche standard ne peuvent pas analyser. Les JFK Assassination Records contiennent plus de 34 000 pages de documents issus de l’enquête de la CIA sur l’assassinat de JFK en 1963.

L’exemple de projet et la démonstration en ligne JFK Files présentent un cas d’usage particulier de la Recherche cognitive Azure. Cette idée de solution n’est pas conçue comme un framework ou une architecture scalable pour tous les scénarios, mais pour fournir des indications générales et des exemples. Le projet de code et la démonstration créent un site web public et un conteneur de stockage accessible publiquement en lecture pour les images extraites. Évitez donc d’utiliser cette solution avec des données non publiques.

L’enrichissement par IA dans la Recherche cognitive Azure peut extraire et améliorer le texte indexable et consultable d’une recherche à partir d’images, d’objets blob et d’autres sources de données non structurées telles que JFK Files. L’enrichissement par IA utilise des ensembles de compétences de machine learning préentraînés à partir des API Cognitive Services Vision par ordinateur et Cognitive Service for Language. Vous pouvez également créer et joindre des compétences personnalisées afin d’ajouter un traitement spécial pour des données spécifiques à un domaine comme Cryptonymes CIA. La Recherche cognitive Azure peut ensuite indexer le contexte et y faire des recherches.

Les compétences de la Recherche cognitive Azure dans cette solution sont classées dans les catégories suivantes :

  • Traitement des images. Les compétences intégrées d’extraction de texte et d’analyse d’image comprennent la détection des objets et des visages, la génération d’étiquettes et de légendes, ainsi que l’identification des célébrités et des repères géographiques. Ces compétences créent des représentations textuelles du contenu des images, ce qui rend les recherches possibles grâce aux capacités d’interrogation de la Recherche cognitive Azure. Le craquage de document est le processus d’extraction ou de création de contenu textuel à partir de sources non textuelles.

  • Traitement du langage naturel. Les compétences intégrées telles que la reconnaissance d’entités, la détection de la langue et l’extraction de phrases clés associent du texte non structuré à des champs consultables et filtrables dans un index.

  • Les compétences personnalisées étendent les fonctionnalités de la Recherche cognitive Azure pour appliquer des transformations d’enrichissement spécifiques au contenu. Vous spécifiez l’interface d’une compétence personnalisée par le biais de la compétence de l’API web personnalisée.

Cas d’usage potentiels

  • Augmentez la valeur et l’utilité du texte non structuré et du contenu d’image dans les applications de recherche et de science des données.
  • Utilisez des compétences personnalisées pour intégrer du code open source, tiers ou interne à des pipelines d’indexation.
  • Rendez compatibles les documents numérisés au format JPG, PNG ou bitmap avec la recherche en texte intégral.
  • Obtenez de meilleurs résultats que l’extraction de texte PDF standard pour les fichiers PDF avec image et texte combinés. Certains formats PDF natifs et numérisés peuvent ne pas être analysés correctement dans la Recherche cognitive Azure.
  • Créez de nouvelles informations à partir de contenu brut explicite et pertinent ou de contexte masqué dans des documents non structurés ou semi-structurés plus volumineux.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

Découvrez-en plus sur cette solution :

Lisez la documentation des produits :

Essayez le parcours d’apprentissage :

Consultez les architectures et les conseils associés :