Extraire du texte d’objets à l’aide de Power Automate et d’AI Builder

Cet article présente une solution pour l’extraction de texte à partir d’images afin qu’elles puissent être indexées et récupérées dans SharePoint. À l’aide d’AI Builder et d’Azure Form Recognizer, vous pouvez configurer un flux de travail Power Automate pour utiliser un modèle formé afin d’extraire du texte d’une image. Une fois que vous avez configuré un flux de travail, vous pouvez rapidement rechercher dans les documents du texte significatif intégré dans des formes et des objets.

Architecture

Téléchargez un fichier Visio de cette architecture.

Workflow

1. Un modèle de détection d’objets est formé dans AI Builder pour reconnaître les objets qu’un utilisateur spécifie.
2. Un nouveau document entre dans une bibliothèque de documents SharePoint, OneDrive ou Teams.
3. L’arrivée du document déclenche un événement Power Automate. Cet événement :
   1. Exécute le modèle AI Builder. AI Builder retourne un fichier JSON qui contient les coordonnées en pixels de tous les objets spécifiés.
   2. Envoie le document à Form Recognizer pour une analyse complète de la reconnaissance optique de caractères (OCR). Azure Form Recognizer renvoie un fichier JSON qui contient les coordonnées texte et pixel du texte analysé.
   3. Exécute une fonction dans Azure Functions. La fonction analyse les coordonnées en pixels dans les fichiers de sortie AI Builder et Form Recognizer. Si les objets détectés se croisent avec du texte analysé, la fonction retourne les données correspondantes dans un fichier JSON.
   4. Entre les métadonnées, ou le texte des objets détectés, dans une bibliothèque de documents.
4. Les métadonnées sont capturées dans un index de recherche SharePoint.
5. Les utilisateurs recherchent les métadonnées à l’aide des composants WebPart de recherche moderne PnP.

Composants

• AI Builder est une fonctionnalité Power Platform. Utilisez AI Builder pour former des modèles afin de reconnaître des objets dans des images. AI Builder offre également des modèles prédéfinis pour la détection d’objets.
• Form Recognizer utilise des modèles de Machine Learning pour extraire et analyser des champs de formulaire, du texte et des tableaux à partir de vos documents.
• Power Automate fait partie des solutions intuitives no-code ou low-code de la plateforme Power Platform. Power Automate est un service de workflow en ligne qui automatise des actions dans les applications et services les plus courants.
• Azure Functions est une plateforme de calcul serverless pilotée par les événements. Azure Functions s’exécute à la demande et à grande échelle dans le cloud.
• La solution PnP de recherche moderne est un ensemble de composants webpart SharePoint modernes en ligne. À l’aide de ces outils, vous pouvez créer des expériences basées sur des recherches hautement flexibles et personnalisées.

Autres solutions

• Azure Cognitive Services peut effectuer une analyse OCR complète des documents, avec les métadonnées résultantes stockées dans SharePoint.
• SharePoint peut exécuter des analyses OCR sur des documents et ajouter le contenu produit à l'index pour le récupérer. Utilisez des techniques de recherche pour cibler des informations clés dans des documents.
• Si vous souhaitez traiter un taux élevé de documents, envisagez d’utiliser Azure Logic Apps pour configurer les composants. Azure Logic Apps est une solution rentable qui vous empêche d’atteindre les limites de consommation de votre locataire. Pour plus d’informations, consultez Azure Logic Apps.

Détails du scénario

Les diagrammes schématiques et industriels possèdent souvent des objets qui contiennent du texte. L’analyse manuelle des documents pour rechercher du texte pertinent peut s’avérer longue et fastidieuse.

Cas d’usage potentiels

Les cas d’usage sont les suivants :

• Diagrammes de schéma d’ingénierie compliqués qui contiennent différents types d’objets. À l’aide de cette solution, vous pouvez rechercher rapidement des composants spécifiques dans un diagramme. Avoir accès à du texte incorporé dans des objets est utile pour effectuer des investigations, en exposant des pénuries ou en recherchant des notifications de rappel et d’échec.
• Diagrammes industriels représentant les composants dans un assembly de fabrication. Cette solution identifie rapidement les pompes, vannes, commutateurs automatisés et autres composants. L’identification des composants facilite la maintenance préventive, l’isolation des composants dangereux et l’amélioration de la visibilité de la gestion des risques dans votre organisation.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d'informations, consultez Microsoft Azure Well-Architected Framework.

Tenez compte des points suivants lorsque vous analysez et traitez des documents :

• AI Builder peut uniquement capturer des coordonnées carrées lors de l’utilisation d’un modèle formé. Les objets comportant du texte en dehors de leurs limites, comme des triangles et des cercles, peuvent potentiellement ajouter des informations inutiles et indésirables.
• Les métadonnées générées par Azure Functions peuvent contenir des caractères supplémentaires si du texte figure en dehors des limites de l’objet.
• Le processus de création d’AI Builder peut baliser plusieurs objets. Le fichier JSON résultant d’Azure Functions contient tous les types d’objets et le texte. L’application consomme les métadonnées, puis doit analyser et traiter les résultats.

Disponibilité

Azure réplique les données pour garantir la durabilité et la haute disponibilité. La redondance des données vous protège contre les événements prévus et imprévus, notamment les défaillances matérielles transitoires, les pannes de réseau et d’électricité, et les catastrophes naturelles. Choisissez de répliquer vos données dans le même centre de données, dans des centres de données zonaux d’une même région ou entre des régions géographiques différentes.

Extensibilité

Azure Functions est hautement évolutif. Cette plateforme offre plusieurs plans qui sont mis à l’échelle automatiquement à la demande lorsque des événements sont déclenchés. Pour plus d’informations, consultez Mise à l’échelle basée sur les événements.

Azure Functions est limité à 200 instances. Si vous avez besoin de plus d’instances, vous pouvez ajouter plusieurs régions ou plans d’application.

Sécurité

La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez Vue d’ensemble du pilier Sécurité.

Optez pour des pratiques de sécurité standard pour les composants que vous utilisez et pour la bibliothèque de documents SharePoint dans laquelle vous stockez les métadonnées.

Form Recognizer est conçu en tenant compte de la conformité, de la confidentialité et de la sécurité. Il authentifie l’accès à l’aide d’une clé API, chiffre les données pendant le transit et le stockage et retourne les résultats à l’aide de la clé API. Pour plus d’informations, consultez Données, confidentialité et sécurité pour Form Recognizer.

AI Builder repose sur la sécurité d'environnement et les rôles de sécurité et les privilèges Dataverse pour accorder l'accès aux fonctionnalités IA dans Power Apps. Les privilèges sont définis par défaut dans Dataverse. Les administrateurs système peuvent utiliser les rôles de sécurité intégrés par défaut sans actions supplémentaires. Pour plus d’informations, consultez Vue d’ensemble de la sécurité.

Optimisation des coûts

L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.

• Pour Power Automate, assurez-vous que les licences que vous avez achetées et attribuées sont suffisantes pour le volume de documents que vous traitez. Incluez un connecteur HTTP Premium pour appeler Form Recognizer et Azure Functions.
• Achetez des crédits AI Builder en fonction de l’utilisation prévue du modèle.
• Pour estimer le coût des produits et configurations Azure, consultez la calculatrice de prix Azure.

Déployer ce scénario

Pour plus d’informations sur le déploiement de ce scénario, consultez le blog Power Automate Community et l’article Extraire du texte à partir d’objets dans le référentiel GitHub.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Steve Pucelik | Spécialiste senior

Étapes suivantes

• Découvrez les types de documents qui conviennent parfaitement à cette solution. Les documents classiques incluent des diagrammes schématiques, des processus de contrôle de fabrication et des diagrammes qui contiennent de nombreuses formes qui doivent être isolées. Pour plus d’informations, consultez Modèles Form Recognizer.
• Familiarisez-vous avec les fonctionnalités offertes par AI Builder. Pour plus d’informations, consultez Vue d’ensemble d’AI Builder dans Power Automate.
• Définissez une architecture d’informations qui peut recevoir et traiter vos métadonnées. Pour plus d'informations, consultez Ensemble de compétences Recherche cognitive.
• Pour plus d’informations sur le fonctionnement de la solution et savoir si elle convient à vos cas d’utilisation, consultez Extraire du texte à partir des objets.

Ressources associées

• Exploration des connaissances pour la recherche de contenu
• Modèle de classificateur Vision avec Azure Custom Vision Cognitive Service