Szerkesztés

AI-bővítés kép- és szövegfeldolgozással

Azure App Service
Azure Blob Storage
Azure AI Search
Azure Functions

Megoldási ötletek

Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.

Ez a cikk egy olyan megoldást mutat be, amely képfeldolgozással, természetes nyelvi feldolgozással és egyéni készségekkel bővíti a szöveg- és képdokumentumokat a tartományspecifikus adatok rögzítéséhez. Az AI-bővítéssel rendelkező Azure Cognitive Search segíthet a releváns tartalmak nagy léptékű azonosításában és feltárásában. Ez a megoldás mesterséges intelligenciával bővíti a jelentést az eredeti összetett, strukturálatlan JFK Assassination Records (JFK Files) adatkészletből.

Architektúra

Az Azure Cognitive Search architektúráját ábrázoló ábra strukturálatlan adatokká alakításához.

Töltse le az architektúra Visio-fájlját.

Adatfolyam

A fenti ábra bemutatja, hogy a strukturálatlan JFK Files-adathalmaz az Azure Cognitive Search képességi folyamatán keresztül, strukturált, indexelhető adatok előállításához milyen folyamatot mutat be:

  1. Strukturálatlan adatok az Azure Blob Storage-ban, például dokumentumok és képek, betöltés az Azure Cognitive Searchbe.
  2. A dokumentummegtörési lépés képek és szöveg adatokból való kinyerésével, majd tartalombővítéssel indítja el az indexelési folyamatot. Az ebben a folyamatban végbement bővítési lépések a kiválasztott adatoktól és készségek típusától függnek.
  3. A Computer Vision és a Language Service API-kon alapuló beépített készségek lehetővé teszik az AI bővítését, beleértve a kép optikai karakterfelismerését (OCR), a képelemzést, a szövegfordítást, az entitásfelismerést és a teljes szöveges keresést.
  4. Az egyéni készségek olyan forgatókönyveket támogatnak, amelyek összetettebb AI-modelleket vagy szolgáltatásokat igényelnek. Ilyenek például a Forms Recognizer, az Azure Machine Tanulás-modellek és az Azure Functions.
  5. A bővítési folyamatot követően az indexelő a kimeneteket egy keresési indexbe menti, amely tartalmazza a bővített és indexelt dokumentumokat. A teljes szöveges keresés és más lekérdezési űrlapok használhatják ezt az indexet.
  6. A bővített dokumentumok egy tudástárba is bevethetők, amelyet az olyan alsóbb rétegbeli alkalmazások használhatnak, mint a tudásbányászat vagy az adatelemzés.
  7. A lekérdezések hozzáférnek a keresési indexben lévő bővített tartalomhoz. Az index támogatja az egyéni elemzőket, a homályos keresési lekérdezéseket, a szűrőket és a pontozási profilt a keresési relevancia finomhangolásához.
  8. A Blob Storage-hoz vagy az Azure Table Storage-hoz csatlakozó alkalmazások hozzáférhetnek a tudástárhoz.

Összetevők

Az Azure Cognitive Search más Azure-összetevőkkel együttműködve biztosítja ezt a megoldást.

Az Azure Cognitive Search indexeli a tartalmat, és a felhasználói élményt űzi ebben a megoldásban. Az Azure Cognitive Search előre elkészített kognitív képességeket alkalmazhat a tartalomra, a bővíthetőségi mechanizmus pedig egyéni képességeket adhat hozzá a konkrét bővítési átalakításokhoz.

Azure Computer Vision

Az Azure Computer Vision szövegfelismerést használ a képek szöveges információinak kinyerésére és felismerésére. A Read API a legújabb OCR-felismerési modelleket használja, és nagy méretű, szövegigényes dokumentumokhoz és zajos képekhez van optimalizálva.

Az örökölt OCR API nem nagy dokumentumokhoz van optimalizálva, de több nyelvet támogat. Az OCR-eredmények a vizsgálattól és a kép minőségétől függően változhatnak. Az aktuális megoldásötlet az OCR használatával készít adatokat hOCR formátumban.

Azure Cognitive Service for Language

Az Azure Cognitive Service for Language szöveginformációkat nyer ki strukturálatlan dokumentumokból olyan szövegelemzési képességek használatával, mint a Named Entity Recognition (NER), a kulcskifejezések kinyerése és a teljes szöveges keresés.

Azure Storage

Az Azure Blob Storage REST-alapú objektumtároló olyan adatokhoz, amelyek a világ bármely pontjáról elérhetők HTTPS-en keresztül. A Blob Storage használatával nyilvánosan elérhetővé teheti az adatokat a világ számára, vagy privát módon tárolhatja az alkalmazásadatokat. A Blob Storage ideális nagy mennyiségű strukturálatlan adathoz, például szöveghez vagy ábrához.

Az Azure Table Storage magas rendelkezésre állású, skálázható, strukturált vagy részben strukturált NoSQL-adatokat tárol a felhőben.

Azure Functions

Az Azure Functions egy kiszolgáló nélküli számítási szolgáltatás, amely lehetővé teszi az esemény által aktivált kód kis darabjainak futtatását anélkül, hogy explicit módon ki kellene építenie vagy kezelnie kellene az infrastruktúrát. Ez a megoldás egy Azure Functions-metódussal alkalmazza a CIA Cryptonyms-listát a JFK Assassination Recordsra egyéni képességként.

Azure App Service

Ez a megoldási ötlet egy különálló webalkalmazást is létrehoz a Azure-alkalmazás Service-ben a bővített és indexelt dokumentumok kapcsolatainak teszteléséhez, bemutatásához, kereséséhez és a kapcsolatok felderítéséhez.

Forgatókönyv részletei

A nagyméretű, strukturálatlan adathalmazok tartalmazhatnak gépelt és kézzel írt jegyzeteket, fényképeket és diagramokat, valamint egyéb strukturálatlan adatokat, amelyeket a standard keresési megoldások nem elemezhetnek. A JFK gyilkossági nyilvántartása több mint 34 000 oldalnyi dokumentumot tartalmaz az 1963-as JFK-gyilkosság CIA-nyomozásáról.

A JFK Files mintaprojekt és az online bemutató egy adott Azure Cognitive Search-használati esetet mutat be. Ez a megoldási ötlet nem egy keretrendszer vagy skálázható architektúra minden forgatókönyv esetében, hanem általános iránymutatást és példát kínál. A kódprojekt és a demó nyilvános webhelyet és nyilvánosan olvasható tárolót hoz létre a kinyert képekhez, ezért nem szabad ezt a megoldást nem nyilvános adatokkal használni.

Az Azure Cognitive Search AI-bővítésével kinyerheti és továbbfejlesztheti a kereshető, indexelhető szöveget képekből, blobokból és más strukturálatlan adatforrásokból, például a JFK-fájlokból. Az AI-bővítés előre betanított gépi tanulási képességkészleteket használ a Cognitive Services Computer Vision és a Cognitive Service for Language API-kból. Egyéni képességeket is létrehozhat és csatolhat, hogy speciális feldolgozást adjon hozzá a tartományspecifikus adatokhoz, például a CIA Cryptonymshoz. Az Azure Cognitive Search ezután indexelheti és kereshet ebben a környezetben.

A megoldás Azure Cognitive Search-készségei a következő kategóriákba sorolhatók:

  • Képfeldolgozás. A beépített szövegkinyerési és képelemzési képességek közé tartozik az objektum- és arcfelismerés, a címkék és képaláírás generáció, valamint a hírességek és a nevezetességek azonosítása. Ezek a képességek szöveges képtartalmakat hoznak létre, amelyek az Azure Cognitive Search lekérdezési képességeivel kereshetők. A dokumentumrepedés a szövegtartalmak nem szöveges forrásokból való kinyerésének vagy létrehozásának folyamata.

  • Természetes nyelvi feldolgozás. Olyan beépített képességek, mint az entitásfelismerés, a nyelvfelismerés és a kulcskifejezések kinyerése strukturálatlan szöveg leképezése az index kereshető és szűrhető mezőire.

  • Az egyéni képességek kibővítik az Azure Cognitive Search szolgáltatást, hogy konkrét bővítési átalakításokat alkalmazzanak a tartalmakra. Az egyéni képességek felületét a Custom Web API-képességen keresztül adhatja meg.

Lehetséges használati esetek

  • A strukturálatlan szöveg- és képtartalmak értékének és hasznosságának növelése a keresési és adatelemzési alkalmazásokban.
  • Egyéni képességekkel integrálhatja a nyílt forráskódú, külső vagy belső kódokat az indexelési folyamatokba.
  • A beolvasott JPG-, PNG- vagy bitképdokumentumok teljes szöveges kereshetővé tétele.
  • Jobb eredményeket hozhat, mint a pdf-fájlok szabványos szövegkiemelése kombinált képpel és szöveggel. Előfordulhat, hogy egyes beolvasott és natív PDF-formátumok nem megfelelően elemezhetők az Azure Cognitive Searchben.
  • Hozzon létre új információkat az eredendően jelentéssel bíró nyers tartalomból vagy környezetből, amely nagyobb strukturálatlan vagy félig strukturált dokumentumokban van elrejtve.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködő írta.

Fő szerző:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések

További információ a megoldásról:

Termékdokumentáció olvasása:

Próbálja ki a képzési tervet:

Tekintse meg a kapcsolódó architektúrákat és útmutatást: