Formigenkänning allmän dokumentmodell (förhandsversion)

Modellen för allmänt dokumentförhandsvisning kombinerar kraftfulla OCR-funktioner (optisk teckenläsning) med djupinlärningsmodeller för att extrahera nyckel/värde-par och entiteter från dokument. Allmänt dokument är endast tillgängligt med förhandsversions-API:et (v3.0). Mer information om hur du använder förhandsversionen (v3.0) AV API:et finns i vår migreringsguide.

Det allmänna dokument-API:et stöder de flesta formulärtyper och analyserar dina dokument och associerar värden med nycklar och poster till tabeller som den identifierar. Det är perfekt för att extrahera vanliga nyckel/värde-par från dokument. Du kan använda den allmänna dokumentmodellen som ett alternativ till att träna en anpassad modell utan etiketter.

Allmänna dokumentfunktioner

  • Du behöver inte träna en anpassad modell för att extrahera nyckel/värde-par.

  • Ett enda API används för att extrahera nyckelvärdepar, entiteter, text, tabeller och struktur från dokument.

  • Det är en förtränad modell som regelbundet tränas på nya data för att förbättra täckningen och noggrannheten.

  • Den allmänna dokumentmodellen stöder strukturerade, halvstrukturerade och ostrukturerade data.

Exempeldokument som bearbetas i Formigenkänning Studio

Skärmbild: allmän dokumentanalys i Formigenkänning Studio.

Utvecklingsalternativ

Följande resurser stöds av Formigenkänning v3.0:

Funktion Resurser
🆕 allmän dokumentmodell

Prova Formigenkänning

Se hur data, inklusive tabeller, värden och entiteter, extraheras från formulär och dokument med hjälp av Formigenkänning Studio eller vårt exempeletikettverktyg. Du behöver följande:

  • En Azure-prenumeration – du kan skapa en kostnadsfritt

  • En Formigenkänning-instans i Azure Portal. Du kan använda den kostnadsfria prisnivån ( F0 ) för att prova tjänsten. När resursen har distribuerats väljer du Gå till resurs för att hämta API-nyckeln och slutpunkten.

Skärmbild: nycklar och slutpunktsplats i Azure Portal.

Formigenkänning Studio (förhandsversion)

Anteckning

Formigenkänning studio och den allmänna dokumentmodellen är tillgängliga med FÖRHANDSVERSIONS-API:et (v3.0).

  1. På Formigenkänning Studio-startsidan väljer du Allmänna dokument

  2. Du kan analysera exempeldokumentet eller välja knappen + Lägg till för att ladda upp ditt eget exempel.

  3. Välj knappen Analysera:

    Skärmbild: Analysera den allmänna dokumentmenyn.

Nyckel/värde-par

Nyckelvärdepar är specifika intervall i dokumentet som identifierar en etikett eller nyckel och dess associerade svar eller värde. I ett strukturerat formulär kan detta vara etiketten och värdet som användaren angav för fältet eller i ett ostrukturerat dokument, det kan vara det datum då ett kontrakt kördes baserat på texten i ett stycke. AI-modellen tränas för att extrahera identifierbara nycklar och värden baserat på en mängd olika dokumenttyper, format och strukturer.

Nycklar kan också isoleras när modellen identifierar att det finns en nyckel, utan något associerat värde eller vid bearbetning av valfria fält. Till exempel kan ett mellannamnsfält lämnas tomt i ett formulär i vissa instanser. Nyckelvärdepar är alltid textintervall som finns i dokumentet och om du har dokument där samma värde beskrivs på olika sätt, till exempel en kund eller en användare, blir den associerade nyckeln antingen kund eller användare baserat på vad dokumentet innehåller.

Entiteter

Bearbetningsmodeller för naturligt språk kan identifiera delar av tal och klassificera varje token eller ord. Den namngivna entitetsigenkänningsmodellen kan identifiera entiteter som personer, platser och datum för att ge en mer omfattande upplevelse. Genom att identifiera entiteter kan du skilja mellan kundtyper, till exempel en enskild person eller en organisation. Extraheringsmodellen för nyckel/värde-par och entitetsidentifieringsmodellen körs parallellt i hela dokumentet och inte bara på värdena för de extraherade nyckel/värde-paren. Detta säkerställer att komplexa strukturer där en nyckel inte kan identifieras fortfarande berikas genom att identifiera de entiteter som refereras. Du kan fortfarande matcha nycklar eller värden till entiteter baserat på förskjutningar av de identifierade intervallen.

  • Det allmänna dokumentet är en förtränad modell och kan anropas direkt via REST API.

  • Den allmänna dokumentmodellen stöder namngiven entitetsigenkänning (NER) för flera entitetskategorier. NER är möjligheten att identifiera olika entiteter i text och kategorisera dem i fördefinierade klasser eller typer som person, plats, händelse, produkt och organisation. Extrahering av entiteter kan vara användbart i scenarier där du vill verifiera extraherade värden. Entiteterna extraheras från hela innehållet och inte bara de extraherade värdena.

Allmän extrahering av dokumentmodelldata

Modell Extrahering av text Nyckel/värde-par Markeringsmarkeringar Tabeller Entiteter
Allmänt dokument

Indatakrav

  • Ge bästa resultat genom att tillhandahålla ett tydligt foto eller genomsökning av hög kvalitet per dokument.
  • Filformat som stöds: JPEG, PNG, BMP, TIFF och PDF (textbäddad eller skannad). Text-inbäddade PDF-filer är bäst för att eliminera risken för fel vid extrahering av tecken och plats.
  • För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas bara de första två sidorna).
  • Filstorleken måste vara mindre än 50 MB.
  • Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 1 0 000 x 1 0 000 bildpunkter.
  • PDF-måtten är upp till 17 x 17 tum, vilket motsvarar pappersstorleken Juridiskt eller A3 eller mindre.
  • Den totala storleken på träningsdata är 500 sidor eller mindre.
  • Om dina PDF-filer är lösenordslåsta måste du ta bort låset innan du skickar in det.
  • För oövervakad inlärning (utan märkta data):
    • Data måste innehålla nycklar och värden.
    • Nycklarna måste visas ovanför eller till vänster om värdena. De kan inte visas nedan eller till höger.

Språk och språk som stöds

Modell Språk – språkkod Standardvärde
Allmänt dokument
  • Engelska (USA)– en-US
Engelska (USA)– en-US

Kategorier för namngiven entitetsigenkänning (NER)

Kategori Typ Description
Person Sträng En persons fullständiga eller partiella namn.
PersonType Sträng En persons jobbtyp eller roll.
Location Sträng Naturliga och mänskliga landmärken, strukturer, geografiska funktioner och geopolitiska entiteter.
Organisation Sträng Företag, politiska grupper, musikband, sportförekomster, myndigheter och offentliga organisationer.
Händelse Sträng Historiska, sociala och naturligt förekommande händelser.
Produkt Sträng Fysiska objekt i olika kategorier.
Skicklighet Sträng En funktion, kunskap eller expertis.
Adress Sträng Fullständiga e-postadresser.
Telefonnummer Sträng Telefon tal.
E-post Sträng E-postadress.
URL Sträng Webbadresser och länkar.
IP-adress Sträng Nätverks-IP-adresser.
DateTime Sträng Datum och tider på dagen.
Kvantitet Sträng Numeriska mått och enheter.

Överväganden

  • Extrahering av entiteter kan vara användbart i scenarier där du vill verifiera extraherade värden. Entiteterna extraheras på hela innehållet i dokumenten och inte bara de extraherade värdena.

  • Nycklar är en mängd text som extraheras från dokumentet. För halvstrukturerade dokument kan nycklar behöva mappas till en befintlig ordlista med nycklar.

  • Förvänta dig att se nyckel/värde-par med en nyckel, men inget värde. Till exempel om en användare väljer att inte ange en e-postadress i formuläret.

Nästa steg