Aan de slag met het voorbeeldhulpprogramma voor labelen

Azure Form Recognizer is een cloudgebaseerde Azure Applied AI-service die gebruikmaakt van machine learning-modellen voor het extraheren en analyseren van formuliervelden, tekst en tabellen uit uw documenten. U kunt deze Form Recognizer om uw gegevensverwerking in toepassingen en werkstromen te automatiseren, gegevensgestuurde strategieën te verbeteren en mogelijkheden voor documentzoekbewerkingen te verrijken.

Het Form Recognizer-voorbeeldhulpprogramma voor labelen is een open source-hulpprogramma waarmee u de nieuwste functies van Azure Form Recognizer- en OCR-services (Optical Character Recognition) kunt testen:

• Documenten analyseren met de indelings-API. Probeer met de indelings-API tekst, tabellen, selectiemarkeringen en structuur uit documenten te extraheren.

• Documenten analyseren met behulp van een vooraf gemaakt model. Begin met een vooraf gebouwd model om gegevens te extraheren uit facturen, ontvangstbewijzen, identiteitsdocumenten of visitekaartjes.

• Een aangepast formulier trainen en analyseren. Gebruik een aangepast model om gegevens te extraheren uit documenten die specifiek zijn voor verschillende bedrijfsgegevens en gebruiksgevallen.

Vereisten

U hebt het volgende nodig om aan de slag te gaan:

• Een Azure-abonnement: u kunt er gratis een maken

• Een Cognitive Services of Form Recognizer resource. Zodra u uw Azure-abonnement hebt, maakt u een resource voor één service Form Recognizer voor meerdere Azure Portal om uw sleutel en eindpunt op te halen. U kunt de gratis prijscategorie (F0) gebruiken om de service uit te proberen, en later upgraden naar een betaalde laag voor productie.

  Tip

  Maak een Cognitive Services als u van plan bent toegang te krijgen tot meerdere cognitieve services onder één eindpunt/sleutel. Als Form Recognizer alleen toegang hebt, maakt u een Form Recognizer resource. Houd er rekening mee dat u een resource met één service nodig hebt als u van plan bent om Azure Active Directory gebruiken.

Een Form Recognizer-resource maken

Ga naar Azure Portal en maak een nieuwe Form Recognizer-resource . Geef in het deelvenster Maken de volgende gegevens op:

De sleutel en het eindpunt ophalen

Wanneer uw Form Recognizer-resource is geïmplementeerd, selecteert u deze in de portal in de lijst Alle resources. Uw sleutel en eindpunt bevinden zich op de pagina Sleutel en eindpunt van de resource, onder Resourcebeheer. Sla beide op een tijdelijke locatie op voordat u verdergaat.

Analyseren met behulp van een vooraf gebouwd model

Form Recognizer biedt verschillende vooraf gebouwde modellen waar u uit kunt kiezen. Elk model heeft een eigen set ondersteunde velden. Het model dat voor de analysebewerking moet worden gebruikt, is afhankelijk van het type document dat moet worden geanalyseerd. Hier zijn de vooraf gebouwde modellen die momenteel worden ondersteund door de Form Recognizer service:

• Factuur:extraheert tekst, selectiemarkeringen, tabellen, sleutel-waardeparen en sleutelgegevens van facturen.
• Ontvangstbewijs:extraheert tekst- en sleutelgegevens uit bonnen.
• Id-document:extraheert tekst- en sleutelgegevens uit stuurprogrammalicenties en internationale passports.
• Visitekaartje:extraheert tekst- en sleutelgegevens uit visitekaartjes.

1. Navigeer naar Form Recognizer voorbeeldhulpprogramma.

2. Selecteer op de startpagina van het voorbeeldhulpprogramma De vooraf gebouwde model gebruiken om gegevens op te halen.

   

3. Selecteer het formuliertype dat u wilt analyseren in het vervolgkeuzevenster.

4. Kies een URL voor het bestand dat u wilt analyseren met de onderstaande opties:

   • Voorbeeld van factuurdocument.
   • Voorbeeld-id-document.
   • Voorbeeldafbeelding van ontvangstbewijs.
   • Voorbeeldafbeelding van visitekaartje.

5. Plak in het veld Bron: URL de geselecteerde URL en selecteer de knop Ophalen.

6. Plak in het veld Service-eindpunt form recognizer het eindpunt dat u hebt verkregen met uw Form Recognizer abonnement.

7. Plak in het veld API-sleutel de abonnementssleutel die u hebt verkregen van Form Recognizer resource.

   

8. Selecteer Analyse uitvoeren. Het Form Recognizer voorbeeldhulpprogramma voor labelen roept de vooraf gebouwde API analyseren aan en analyseert het document.

9. Bekijk de resultaten: bekijk de sleutel-waardeparen die zijn geëxtraheerd, regelitems, gemarkeerde tekst geëxtraheerd en gedetecteerde tabellen.

   

10. Download het JSON-uitvoerbestand om de gedetailleerde resultaten weer te geven.

    • Het knooppunt readResults bevat elke regel tekst met de respectieve plaatsing van het begrensingsvak op de pagina.
    • Het knooppunt 'selectionMarks' geeft elk selectiemarkering weer (selectievakje, keuzerondje) en of de status ervan 'geselecteerd' of 'niet geselecteerd' is.
    • De sectie pageResults bevat de tabellen die zijn geëxtraheerd. Voor elke tabel worden de tekst-, rij- en kolomindex, rij- en kolom-spanning, begrenzesvak en meer geëxtraheerd.
    • Het veld documentResults bevat informatie over sleutel-waardeparen en regelitems voor de meest relevante onderdelen van het document.

Indeling analyseren

Azure de Form Recognizer Layout-API extraheert tekst, tabellen, selectiemarkeringen en structuurgegevens uit documenten (PDF, TIFF) en afbeeldingen (JPG, PNG, BMP).

1. Navigeer naar Form Recognizer voorbeeldhulpprogramma.

2. Selecteer op de startpagina van het voorbeeldhulpprogramma Indeling gebruiken om tekst, tabellen en selectiemarkeringen op te halen.

   

3. Plak in het veld Service-eindpunt form recognizer het eindpunt dat u hebt verkregen met uw Form Recognizer abonnement.

4. Plak in het veld API-sleutel de abonnementssleutel die u hebt verkregen van Form Recognizer resource.

5. Plak in het veld Bron: URL de volgende URL en selecteer de knop https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg Ophalen.

6. Selecteer Run Layout. Het Form Recognizer voorbeeldhulpprogramma voor labelen roept de Analyze Layout-API aan en analyseert het document.

   

7. Bekijk de resultaten: bekijk de gemarkeerde tekst die is geëxtraheerd, selectiemarkeringen gedetecteerd en tabellen gedetecteerd.

   

8. Download het JSON-uitvoerbestand om de gedetailleerde indelingsresultaten weer te geven.

   • Het knooppunt readResults bevat elke tekstregel met het bijbehorende begrenzingsvak op de pagina.
   • In selectionMarks het knooppunt worden alle selectietekens (selectievakje, keuzerondje) en of de status of selected unselected is.
   • De pageResults sectie bevat de tabellen die zijn geëxtraheerd. Voor elke tabel worden de tekst-, rij- en kolomindex, rij- en kolom-spanning, begrenzesvak en meer geëxtraheerd.

Een aangepast formuliermodel trainen

Train een aangepast model om gegevens te analyseren en te extraheren uit formulieren en documenten die specifiek zijn voor uw bedrijf. De API is een machine learning programma dat is getraind om formuliervelden binnen uw afzonderlijke inhoud te herkennen en sleutel-waardeparen en tabelgegevens te extraheren. U hebt ten minste vijf voorbeelden van hetzelfde formuliertype nodig om aan de slag te gaan en uw aangepaste model kan worden getraind met of zonder gelabelde gegevenssets.

Vereisten voor het trainen van een aangepast formuliermodel

• Een Azure Storage blobcontainer die een set trainingsgegevens bevat. Zorg ervoor dat alle trainingsdocumenten dezelfde indeling hebben. Als u formulieren in meerdere indelingen hebt, kunt u deze op basis van hun gemeenschappelijke indeling in submappen ordenen. Voor dit project kunt u onze voorbeeldgegevensset gebruiken.

• CORS configureren

  CORS (Cross Origin Resource Sharing) moet worden geconfigureerd in uw Azure-opslagaccount om deze toegankelijk te maken vanuit Form Recognizer Studio. Als u CORS wilt configureren in Azure Portal, hebt u toegang nodig tot de BLADE CORS van uw opslagaccount.

  

  1. Selecteer de blade CORS voor het opslagaccount.

  2. Maak eerst een nieuwe CORS-vermelding in de Blob service.

  3. Stel Toegestane oorsprongen in op https://formrecognizer.appliedai.azure.com .

  4. Selecteer alle beschikbare 8 opties voor Toegestane methoden.

  5. Keur alle toegestane headers en zichtbare headers goed door in elk veld een * in te geven.

  6. Stel de Maximale leeftijd in op 120 seconden of een acceptabele waarde.

  7. Klik op de knop Opslaan bovenaan de pagina om de wijzigingen op te slaan.

  CORS moet nu worden geconfigureerd voor het gebruik van het opslagaccount Form Recognizer Studio.

Het voorbeeldhulpprogramma voor labelen gebruiken

1. Navigeer naar Form Recognizer voorbeeldhulpprogramma.

2. Selecteer op de startpagina van het voorbeeldhulpprogramma De optie Aangepast formulier gebruiken om een model te trainen met labels en sleutelwaardeparen op te halen.

   

3. Selecteer Nieuw project

   

Een nieuw project maken

Configureer Project Instellingen velden met de volgende waarden:

1. Weergavenaam. Noem uw project.

2. Beveiliging token. Elk project genereert automatisch een beveiliging token dat kan worden gebruikt voor het versleutelen/ontsleutelen van gevoelige projectinstellingen. U vindt beveiligingstokens in de Instellingen door onder aan de linkernavigatiebalk het tandwielpictogram te selecteren.

3. Bronverbinding. Het voorbeeldhulpprogramma voor labelen maakt verbinding met een bron (uw oorspronkelijke geüploade formulieren) en een doel (gemaakte labels en uitvoergegevens). Verbindingen kunnen worden projectbreed worden ingesteld en gedeeld. Ze maken gebruik van een uitbreidbaar providermodel, zodat u eenvoudig nieuwe bron-/doelproviders kunt toevoegen.

   • Maak een nieuwe verbinding en selecteer de knop Verbinding toevoegen. Vul de velden in met de volgende waarden:
   • Weergavenaam. Noem de verbinding.
   • Beschrijving. Voeg een korte beschrijving toe.
   • SAS-URL. Plak de SAS-URL (Shared Access Signature) voor uw Azure Blob Storage container.

   • Als u de URL voor de Shared Access Signature (SAS-URL) voor de trainingsgegevens van uw aangepaste model wilt ophalen, gaat u naar uw opslagresource in Azure Portal en selecteert u het tabblad Storage Explorer. Ga naar de container, klik er met de rechtermuisknop op en selecteer Shared Access Signature ophalen. Het is belangrijk dat u de SAS voor uw container ophaalt, niet voor het opslagaccount zelf. Zorg ervoor dat de machtigingen Lezen, Schrijven, Verwijderen en Lijst zijn ingeschakeld en klik op Maken. Kopieer vervolgens de waarde in de sectie URL naar een tijdelijke locatie. Deze moet de notatie https://<storage account>.blob.core.windows.net/<container name>?<SAS value> hebben.

     

4. Mappad (optioneel). Als uw bronformulieren zich in een map in de blobcontainer bevinden, geeft u de naam van de map op.

5. URI van de Form Recognizer-service: de eindpunt-URL van de Form Recognizer.

6. API-sleutel. Uw Form Recognizer abonnementssleutel.

7. API-versie. Laat de waarde v2.1 (standaard) staan.

8. Beschrijving (optioneel). Beschrijf uw project.

   

Formulieren labelen

Wanneer u een project maakt of opent, wordt hoofdvenster van de tageditor geopend. De tageditor bestaat uit drie delen:

• Een voorbeeldvenster met een verstelbaar formaat dat een te scrollen lijst met formulieren van de bronverbinding bevat.
• Het hoofdvenster van de tageditor waarmee u labels kunt toepassen.
• Het deelvenster van de tageditor waarmee gebruikers labels kunnen wijzigen, vergrendelen, opnieuw ordenen en verwijderen.

Tekst en tabellen identificeren

Selecteer OCR uitvoeren op alle bestanden in het linkerdeelvenster om de tekst- en tabelindelingsinformatie voor elk document op te halen. Er worden begrenzingsvakken rond elk tekstelement getekend.

Het hulpprogramma voor labelen laat ook zien welke tabellen automatisch zijn geëxtraheerd. Selecteer het tabel-/rasterpictogram aan de linkerkant van het document om de geëxtraheerde tabel weer te geven. Omdat de tabelinhoud automatisch wordt geëxtraheerd, labelen we de tabelinhoud niet, maar vertrouwen we op de automatische extractie.

Labels op tekst toepassen

Vervolgens maakt u tags (labels) en pas deze toe op de tekstelementen die u door het model wilt laten analyseren. De gegevensset met voorbeeldlabels bevat al gelabelde velden; We voegen nog een veld toe.

Gebruik het deelvenster tagseditor om een nieuwe tag te maken die u wilt identificeren:

1. Selecteer + het plusteken om een nieuwe tag te maken.

2. Voer de naam van het label 'Totaal' in.

3. Selecteer Enter om de tag op te slaan.

4. Selecteer in de hoofdeditor de totale waarde uit de gemarkeerde tekstelementen.

5. Selecteer de tag Totaal om toe te passen op de waarde of druk op de bijbehorende toetsenbordtoets. De numerieke toetsen zijn toegewezen als sneltoetsen voor de eerste tien labels. U kunt de volgorde van de labels wijzigen met behulp van de pijlen omhoog en omlaag in het tageditorvenster.

   Tip

   Houd rekening met de volgende tips wanneer u uw formulieren labelt:

   • U kunt slechts één label per geselecteerd tekstelement toepassen.

   • Elk label kan slechts eenmaal per pagina worden toegepast. Als een waarde meerdere keren op hetzelfde formulier wordt weergegeven, maakt u voor elk exemplaar verschillende labels. Bijvoorbeeld: factuur 1, factuur 2, enzovoort.

   • Een label kan niet op meerdere pagina's worden toegepast.

   • De labelwaarden zijn zoals ze op het formulier worden weergegeven. Splits geen waarde in twee delen met twee verschillende labels. Zo moet bijvoorbeeld een adresveld met één label worden gelabeld, ook als het meerdere regels omvat.

   • Voeg geen sleutels aan de velden met labels toe, alleen de waarden.

   • Tabelgegevens moeten automatisch worden gedetecteerd en zijn beschikbaar in het uiteindelijke JSON-uitvoerbestand in de sectie pageResults. Als het model echter niet al uw tabelgegevens kan detecteren, kunt u ook een model labelen en trainen om tabellen te detecteren. Zie Een aangepast model trainen | Uw formulieren labelen

   • Gebruik de knoppen rechts van de + om uw labels te zoeken, een nieuwe naam te geven, opnieuw in te delen en te verwijderen.

   • Als u een toegepast label wilt verwijderen zonder het label zelf te verwijderen, selecteert u de gemarkeerde rechthoek in de documentweergave en drukt u op de verwijdertoets.

6. Ga verder met het volgen van de bovenstaande stappen om alle vijf formulieren in de voorbeeldgegevensset te labelen.

Aangepast model trainen

Kies het pictogram Trainen in het linkerdeelvenster om de pagina Training te openen. Selecteer vervolgens de knop Trainen om te beginnen met het trainen van het model. Zodra het trainingsproces is voltooid, krijgt u de volgende informatie te zien:

• Model-id: de id van het model dat is gemaakt en getraind. Elke trainingsaanroep maakt een nieuw model met een eigen id. Kopieer deze tekenreeks naar een veilige locatie. U hebt deze nodig als u voorspellingsaanroepen wilt uitvoeren via de REST API of clientbibliotheek.

• Gemiddelde nauwkeurigheid: de gemiddelde nauwkeurigheid van het model. U kunt de nauwkeurigheid van het model verbeteren door extra formulieren te labelen en opnieuw te trainen om een nieuw model te maken. We raden u aan om te beginnen met het labelen van vijf formulieren die de resultaten analyseren en testen, en indien nodig meer formulieren toe te voegen.

• De lijst met labels en de geschatte nauwkeurigheid per label.

  

Een aangepast formulier analyseren

1. Selecteer het pictogram Analyseren (gloeilamp) aan de linkerkant om uw model te testen.

2. Selecteer lokaal bronbestand en blader naar een bestand om te selecteren uit de voorbeeldgegevensset die u hebt uitgepakt in de testmap.

3. Kies de knop Analyse uitvoeren om sleutel-waardeparen, tekst- en tabelvoorspellingen voor het formulier op te halen. Er worden labels toegepast in begrenzingsvakken en de betrouwbaarheid van elk label wordt gerapporteerd.

   

Dat is alles. U hebt geleerd hoe u het voorbeeldhulpprogramma Form Recognizer voor Form Recognizer, indeling en aangepaste modellen. U hebt ook geleerd hoe u een aangepast formulier kunt analyseren met handmatig gelabelde gegevens. Nu kunt u een SDK Form Recognizer clientbibliotheek of REST API.

Volgende stappen