Kom igång med exempeletikettverktyget

Azure Formigenkänning är en molnbaserad Azure Applied AI-tjänst som använder maskininlärningsmodeller för att extrahera och analysera formulärfält, text och tabeller från dina dokument. Du kan använda Formigenkänning för att automatisera databearbetningen i program och arbetsflöden, förbättra datadrivna strategier och utöka funktionerna för dokumentsökning.

Verktyget Formigenkänning Exempeletikettering är ett verktyg med öppen källkod som gör att du kan testa de senaste funktionerna i Azure Formigenkänning- och OCR-tjänster (optisk teckenläsning):

• Analysera dokument med layout-API:et. Prova layout-API:et för att extrahera text, tabeller, markeringsmarkeringar och struktur från dokument.

• Analysera dokument med hjälp av en förbyggd modell. Börja med en förbyggd modell för att extrahera data från fakturor, kvitton, identitetsdokument eller visitkort.

• Träna och analysera ett anpassat formulär. Använd en anpassad modell för att extrahera data från dokument som är specifika för olika affärsdata och användningsfall.

Förutsättningar

Du behöver följande för att komma igång:

• En Azure-prenumeration – du kan skapa en utan kostnad

• En Cognitive Services eller Formigenkänning resurs. När du har din Azure-prenumeration kan du skapa en resurs för Formigenkänning tjänst eller flera tjänster i Azure Portal för att hämta din nyckel och slutpunkt. Du kan använda den kostnadsfria prisnivån ( F0 ) för att prova tjänsten och senare uppgradera till en betald nivå för produktion.

  Tips

  Skapa en Cognitive Services resurs om du planerar att komma åt flera kognitiva tjänster under en enda slutpunkt/nyckel. För Formigenkänning åtkomst skapar du en Formigenkänning resurs. Observera att du behöver en resurs för en enskild tjänst om du planerar att använda Azure Active Directory autentisering.

Skapa en Formigenkänning resurs

Gå till Azure Portal skapa en ny Formigenkänning resurs . Ange följande information i fönstret Skapa:

Hämta nyckeln och slutpunkten

När din Formigenkänning har distribuerats, hittar och väljer du den i listan Alla resurser i portalen. Nyckeln och slutpunkten finns på resursens nyckel- och slutpunktssida under Resurshantering. Spara båda på en tillfällig plats innan du går vidare.

Analysera med hjälp av en förbyggd modell

Formigenkänning erbjuder flera fördefinierade modeller att välja mellan. Varje modell har en egen uppsättning fält som stöds. Vilken modell som ska användas för analysåtgärden beror på vilken typ av dokument som ska analyseras. Här är de fördefinierade modeller som för närvarande stöds av Formigenkänning tjänsten:

• Faktura:extraherar text, markeringsmarkeringar, tabeller, nyckel/värde-par och nyckelinformation från fakturor.
• Kvitto:extraherar text- och nyckelinformation från kvitton.
• ID-dokument:extraherar text och viktig information från förarlicenser och internationella pass.
• Visitkort:extraherar text- och nyckelinformation från visitkort.

1. Gå till Formigenkänning Exempelverktyg.

2. På exempelverktygets startsida väljer du Använd förbyggd modell för att hämta data.

   

3. Välj den formulärtyp som du vill analysera i listrutan.

4. Välj en URL för den fil som du vill analysera från alternativen nedan:

   • Exempel på fakturadokument.
   • Exempel-ID-dokument.
   • Exempel på kvittobild.
   • Exempel på visitkortsbild.

5. I fältet Källa: URL klistrar du in den valda URL:en och väljer knappen Hämta.

6. I fältet Form känna igen tjänstslutpunkt klistrar du in den slutpunkt som du fick med din Formigenkänning prenumeration.

7. I fältet API-nyckel klistrar du in prenumerationsnyckeln som du fick från Formigenkänning resurs.

   

8. Välj Kör analys. Verktyget Formigenkänning exempeletiketter anropar API:et Analysera fördefinierade och analyserar dokumentet.

9. Visa resultatet – se de nyckel/värde-par som extraherats, radobjekt, markerad text som extraherats och tabeller har identifierats.

   

10. Ladda ned JSON-utdatafilen för att visa detaljerade resultat.

    • Noden "readResults" innehåller varje rad med text med respektive placering av en avgränsande ruta på sidan.
    • Noden "selectionMarks" visar varje markeringsmarkering (kryssruta, alternativmarkering) och om dess status är "selected" eller "unselected".
    • Avsnittet "pageResults" innehåller de tabeller som extraheras. För varje tabell extraheras text, rad- och kolumnindex, rad- och kolumnintervall, en avgränsande ruta med mera.
    • Fältet "documentResults" innehåller information om nyckel/värde-par och radobjekt för de mest relevanta delarna av dokumentet.

Analysera layout

Azure Formigenkänning Layout-API:et extraherar text, tabeller, markeringsmarkeringar och strukturinformation från dokument (PDF, TIFF) och bilder (JPG, PNG, BMP).

1. Gå till Formigenkänning Exempelverktyg.

2. På exempelverktygets startsida väljer du Använd layout för att hämta text, tabeller och markeringsmarkeringar.

   

3. I fältet Form känna igen tjänstslutpunkt klistrar du in den slutpunkt som du fick med din Formigenkänning prenumeration.

4. I fältet API-nyckel klistrar du in prenumerationsnyckeln som du fick från Formigenkänning resurs.

5. I fältet Källa: URL klistrar du in följande URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg och väljer knappen Hämta.

6. Välj Kör layout. Verktyget Formigenkänning exempeletiketter anropar API:et Analysera layout och analyserar dokumentet.

   

7. Visa resultatet – se den markerade texten extraherad, markeringsmarkeringar har identifierats och tabeller har identifierats.

   

8. Ladda ned JSON-utdatafilen för att visa detaljerade layoutresultat.

   • Noden readResults innehåller varje textrad med respektive placering av en avgränsare på sidan.
   • Noden selectionMarks visar varje markering (kryssruta, alternativmarkering) och om dess status selected är eller unselected .
   • Avsnittet pageResults innehåller de tabeller som extraherats. För varje tabell extraheras text, rad- och kolumnindex, rad- och kolumnintervall, en avgränsande ruta med mera.

Träna en anpassad formulärmodell

Träna en anpassad modell för att analysera och extrahera data från formulär och dokument som är specifika för ditt företag. API:et är ett maskininlärningsprogram som har tränats att identifiera formulärfält i ditt distinkta innehåll och extrahera nyckel/värde-par och tabelldata. Du behöver minst fem exempel av samma formulärtyp för att komma igång och din anpassade modell kan tränas med eller utan märkta datauppsättningar.

Krav för att träna en anpassad formulärmodell

• En Azure Storage blobcontainer som innehåller en uppsättning träningsdata. Kontrollera att alla utbildningsdokument har samma format. Om du har formulär i flera format ordnar du dem i undermappar efter format. För det här projektet kan du använda vår exempeldatauppsättning.

• Konfigurera CORS

  CORS (Cross Origin Resource Sharing) måste konfigureras på ditt Azure Storage-konto för att det ska vara tillgängligt från Formigenkänning Studio. För att konfigurera CORS i Azure Portal behöver du åtkomst till CORS-bladet för ditt lagringskonto.

  

  1. Välj CORS-bladet för lagringskontot.

  2. Börja med att skapa en ny CORS-post i Blob Service.

  3. Ange Tillåtna ursprung till https://formrecognizer.appliedai.azure.com .

  4. Välj alla tillgängliga 8 alternativ för Tillåtna metoder.

  5. Godkänn alla tillåtna huvuden och Exponerade rubriker genom att ange en * i varje fält.

  6. Ange Maxålder till 120 sekunder eller ett acceptabelt värde.

  7. Klicka på knappen Spara överst på sidan för att spara ändringarna.

  CORS bör nu konfigureras för att använda lagringskontot från Formigenkänning Studio.

Använda exempeletikettverktyget

1. Gå till Formigenkänning Exempelverktyg.

2. På exempelverktygets startsida väljer du Använd anpassat formulär för att träna en modell med etiketter och hämta nyckel/värde-par.

   

3. Välj Nytt projekt

   

Skapa ett nytt projekt

Konfigurera Project Inställningar med följande värden:

1. Visningsnamn. Namnge projektet.

2. Säkerhetstoken. Varje projekt genererar automatiskt en säkerhetstoken som kan användas för att kryptera/dekryptera känsliga projektinställningar. Du hittar säkerhetstoken i Program-Inställningar genom att välja kugghjulsikonen längst ned i det vänstra navigeringsfältet.

3. Källanslutning. Verktyget Exempeletiketter ansluter till en källa (dina ursprungliga uppladdade formulär) och ett mål (skapade etiketter och utdata). Anslutningar kan konfigureras och delas mellan projekt. De använder en utökningsbar providermodell så att du enkelt kan lägga till nya käll-/målproviders.

   • Skapa en ny anslutning och välj knappen Lägg till anslutning. Fyll i fälten med följande värden:
   • Visningsnamn. Ge anslutningen ett namn.
   • Beskrivning. Lägg till en kort beskrivning.
   • SAS-URL. Klistra in SAS-URL:en (signatur för delad åtkomst) för din Azure Blob Storage container.

   • Om du vill hämta SAS-URL:en för dina anpassade modellträningsdata går du till lagringsresursen i Azure Portal och väljer fliken Storage Explorer. Navigera till containern, högerklicka och välj Hämta signatur för delad åtkomst. Det är viktigt att hämta SAS för din container, inte för själva lagringskontot. Kontrollera att behörigheterna Läsa, Skriva, Ta bort och Lista är markerade och klicka på Skapa. Kopiera sedan värdet i URL-avsnittet till en tillfällig plats. Det bör ha formatet: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

     

4. Mappsökväg (valfritt). Om dina källformulär finns i en mapp i blobcontainern anger du mappnamnet.

5. Formigenkänning Service-URI – url Formigenkänning slutpunkt.

6. API-nyckel. Din Formigenkänning prenumerationsnyckel.

7. API-version. Behåll värdet v2.1 (standard).

8. Beskrivning (valfritt). Beskriv ditt projekt.

   

Märk dina formulär

När du skapar eller öppnar ett projekt öppnas huvudfönstret för taggredigeraren. Taggredigeraren består av tre delar:

• Ett storleksbart förhandsgranskningsfönster som innehåller en rullningsbar lista med formulär från källanslutningen.
• Huvudfönstret i redigeraren där du kan lägga till taggar.
• Fönstret för redigering av taggar där användarna kan ändra, låsa, ordna om och ta bort taggar.

Identifiera text och tabeller

Välj Kör OCR på alla filer i det vänstra fönstret för att hämta text- och tabelllayoutinformation för varje dokument. Etikettverktyget ritar avgränsade rutor runt varje textelement.

Etikettverktyget visar också vilka tabeller som har extraherats automatiskt. Välj tabell-/rutnätsikonen till vänster i dokumentet för att se den extraherade tabellen. Eftersom tabellinnehållet extraheras automatiskt kommer vi inte att märka tabellinnehållet utan förlitar oss på automatisk extrahering.

Tillämpa etiketter på text

Därefter skapar du taggar (etiketter) och tillämpar dem på de textelement som du vill att modellen ska analysera. Observera att exempeletikettdatauppsättningen innehåller redan märkta fält. vi lägger till ytterligare ett fält.

Använd redigeringsfönstret för taggar för att skapa en ny tagg som du vill identifiera:

1. Välj + plustecknet för att skapa en ny tagg.

2. Ange namnet på taggen "Total".

3. Spara taggen genom att välja Retur.

4. I huvudredigeraren väljer du det totala värdet från de markerade textelementen.

5. Välj taggen Totalt att tillämpa på värdet eller tryck på motsvarande tangentbordstangent. Nummernycklarna tilldelas som snabbtangenter för de första 10 taggarna. Du kan ordna om taggarna med hjälp av ikonerna för upp- och nedpilar i fönstret för taggredigeraren.

   Tips

   Tänk på följande tips när du etiketterar dina formulär:

   • Du kan bara använda en tagg för varje valt textelement.

   • Varje tagg kan bara tillämpas en gång per sida. Om ett värde förekommer flera gånger i samma formulär skapar du olika taggar för varje instans. Exempel: "invoice# 1", "invoice# 2" och så vidare.

   • Taggar kan inte sträcka sig över flera sidor.

   • Etikettvärden som de visas i formuläret. Försök inte att dela upp ett värde i två delar med två olika taggar. Till exempel ska ett adressfält märkas med en enda tagg även om det sträcker sig över flera rader.

   • Inkludera inte nycklar i dina taggade — fält, bara värdena.

   • Tabelldata ska identifieras automatiskt och blir tillgängliga i den slutliga utdata-JSON-filen i avsnittet "pageResults". Men om modellen inte kan identifiera alla dina tabelldata kan du även märka och träna en modell för att identifiera tabeller. Mer information finns i Träna en anpassad | Märk dina formulär

   • Använd knapparna till höger om för att söka + efter, byta namn på, ordna om och ta bort taggarna.

   • Om du vill ta bort en tillämpad tagg utan att ta bort själva taggen markerar du den taggade rektangeln i dokumentvyn och trycker på delete-tangenten.

6. Fortsätt att följa stegen ovan för att märka alla fem formulären i exempeldatamängden.

Träna en anpassad modell

Välj ikonen Träna i det vänstra fönstret för att öppna sidan Träning. Välj sedan knappen Träna för att börja träna modellen. När träningsprocessen är klar visas följande information:

• Modell-ID – ID:t för modellen som skapades och tränades. Varje träningssamtal skapar en ny modell med ett eget ID. Kopiera strängen till en säker plats. du behöver den om du vill göra förutsägelse-anrop via REST API eller klientbiblioteket.

• Genomsnittlig noggrannhet – modellens genomsnittliga noggrannhet. Du kan förbättra modellens noggrannhet genom att märka ytterligare formulär och träna om för att skapa en ny modell. Vi rekommenderar att du börjar med att märka fem formulär som analyserar och testar resultaten och sedan lägger till fler formulär om det behövs.

• Listan över taggar och den uppskattade noggrannheten per tagg.

  

Analysera ett anpassat formulär

1. Välj ikonen Analysera (glödlampa) till vänster för att testa din modell.

2. Välj källa Lokal fil och bläddra efter en fil att välja från exempeldatauppsättningen som du uppackade i testmappen.

3. Välj knappen Kör analys för att hämta nyckel/värde-par, text och tabellförutsägelser för formuläret. Verktyget använder taggar i avgränsade rutor och rapporterar konfidensen för varje tagg.

   

Klart! Du har lärt dig hur du använder Formigenkänning exempelverktyget för Formigenkänning, layout och anpassade modeller. Du har också lärt dig att analysera ett anpassat formulär med manuellt märkta data. Nu kan du prova en Formigenkänning SDK för klientbiblioteket eller REST API.

Nästa steg