Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez a cikk egy megoldást mutat be az adatelemzés és a vizualizáció mesterséges intelligencia (AI) használatával történő automatizálására. A megoldás fő összetevői az Azure Functions, az Azure Cognitive Services és az Azure Database for PostgreSQL.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az Azure-függvénytevékenységek lehetővé teszik egy Azure Functions-alkalmazás elindítását az Azure Data Factory-folyamatban. Hozzon létre egy társított szolgáltatáskapcsolatot, és használja a társított szolgáltatást egy tevékenységgel a végrehajtani kívánt Azure-függvény megadásához.
- Az adatok több forrásból származnak, például az Azure Storage-ból és az Azure Event Hubsból a nagy mennyiségű adatokhoz. Amikor a folyamat új adatokat fogad, aktiválja az Azure Functions-alkalmazást.
- Az Azure Functions-alkalmazás meghívja a Cognitive Services API-t az adatok elemzéséhez.
- A Cognitive Services API JSON formátumban adja vissza az elemzés eredményeit az Azure Functions Alkalmazásnak.
- Az Azure Functions Alkalmazás a Cognitive Services API-ból származó adatokat és eredményeket az Azure Database for PostgreSQL-ben tárolja.
- Az Azure Machine Tanulás egyéni gépi tanulási algoritmusokkal biztosít további betekintést az adatokba.
- Ha kód nélküli megközelítéssel közelíti meg a gépi tanulási lépést, további szövegelemzési műveleteket is implementálhat az adatokon, például a funkciókivonatolást, a Word2Vectort és az n-gram kinyerést.
- Ha a kódelső megközelítést részesíti előnyben, futtathat egy nyílt forráskódú természetes nyelvi feldolgozási (NLP) modellt kísérletként a Machine Tanulás Studióban.
- A Power BI PostgreSQL-összekötője lehetővé teszi, hogy emberileg értelmezhető megállapításokat tárjon fel a Power BI-ban vagy egy egyéni webalkalmazásban.
Összetevők
- Azure-alkalmazás szolgáltatás teljes körűen felügyelt platformot biztosít a webalkalmazások és API-k gyors létrehozásához, üzembe helyezéséhez és méretezéséhez.
- A Functions egy eseményvezérelt kiszolgáló nélküli számítási platform. Ha tudni szeretné, hogyan futtathat egy függvényt egy Data Factory-folyamat részeként, tekintse meg az Azure-függvénytevékenységet az Azure Data Factoryben.
- Az Event Hubs egy teljes mértékben felügyelt big data streaming platform.
- A Cognitive Services AI-szolgáltatások és API-k csomagját biztosítja, amelyekkel kognitív intelligenciát hozhat létre alkalmazásokba.
- Az Azure Database for PostgreSQL egy teljes mértékben felügyelt relációs adatbázis-szolgáltatás. Magas rendelkezésre állást, rugalmas skálázást, javítást és egyéb felügyeleti képességeket biztosít a PostgreSQL-hez.
- Az Azure Machine Tanulás egy felhőalapú szolgáltatás, amellyel gépi tanulási modelleket taníthat be, helyezhet üzembe és automatizálhat. A stúdió támogatja a kódelső és a kód nélküli megközelítést.
- A Power BI olyan szoftverszolgáltatások és alkalmazások gyűjteménye, amelyek elemzési információkat jelenítenek meg, és segítenek elemzéseket kinyerni az adatokból.
Forgatókönyv részletei
Az automatizált folyamat az alábbi szolgáltatásokat használja az adatok elemzéséhez:
- A Cognitive Services mesterséges intelligenciát használ a kérdések megválaszolására, a hangulatelemzésre és a szövegfordításra.
- Az Azure Machine Tanulás gépi tanulási eszközöket biztosít a prediktív elemzéshez.
Az adatok és eredmények tárolásához a megoldás az Azure Database for PostgreSQL-t használja. A PostgreSQL-adatbázis támogatja a strukturálatlan adatokat, a párhuzamos lekérdezéseket és a deklaratív particionálást. Ez a támogatás hatékony választássá teszi az Azure Database for PostgreSQL-t a nagy adatigényű AI- és gépi tanulási feladatokhoz.
A megoldás automatizálja az adatelemzést. Egy összekötő összekapcsolja az Azure Database for MySQL-t olyan vizualizációs eszközökkel, mint a Power BI.
Az architektúra egy Azure Functions-alkalmazással tölt be adatokat több adatforrásból. Ez egy kiszolgáló nélküli megoldás, amely a következő előnyöket kínálja:
- Infrastruktúra-karbantartás: Az Azure Functions egy felügyelt szolgáltatás, amely lehetővé teszi a fejlesztők számára, hogy olyan innovatív munkára összpontosítsanak, amely értéket teremt a vállalat számára.
- Méretezhetőség: Az Azure Functions igény szerint biztosít számítási erőforrásokat, így a függvénypéldányok igény szerint méretezhetőek. A kérelmek esése esetén az erőforrások és az alkalmazáspéldányok automatikusan lemorzsolódnak.
Lehetséges használati esetek
Az Azure Database for PostgreSQL egy felhőalapú megoldás. Ennek eredményeképpen ez a megoldás nem ajánlott mobilalkalmazásokhoz. A következő iparágakban és más iparágakban célszerűbb az alsóbb rétegbeli elemzéseket használni:
- Szállítás: Karbantartási előrejelzés
- Pénzügy: Kockázatértékelés és csalásészlelés
- E-kereskedelem: Az ügyfelek előrejelzési és javaslati motorjai
- Távközlés: Teljesítményoptimalizálás
- Segédprogramok: Kimaradás megelőzése
Megfontolások
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
A legtöbb funkció esetében a Cognitive Service for Language API legfeljebb 5120 karakter hosszúságú egyetlen dokumentumhoz. Az összes funkció esetében a kérelmek maximális mérete 1 MB. Az adatokkal és a sebességkorlátokkal kapcsolatos további információkért tekintse meg az Azure Cognitive Service for Language szolgáltatáskorlátait.
Az Azure Database for PostgreSQL-ben a bejövő forgalom mennyisége és sebessége határozza meg a szolgáltatás és az üzembe helyezési mód kiválasztását. Két szolgáltatás érhető el:
- Azure Database for PostgreSQL
- Azure Cosmos DB for PostgreSQL, korábbi nevén Rugalmas skálázási (Citus) mód
Ha nagy számítási feladatokat használ az ügyfelek véleményei és véleményei alapján, használja az Azure Cosmos DB for PostgreSQL-t. Az Azure Database for PostgreSQL-ben két mód érhető el: egykiszolgálós és rugalmas kiszolgáló. Az egyes üzembehelyezési módokat az Azure Database for PostgreSQL bemutatása ismerteti.
A megoldás korábbi verziói a Cognitive Services Text Analytics API-t használták. Az Azure Cognitive Service for Language mostantól három különálló nyelvi szolgáltatást egyesít a Cognitive Servicesben: Text Analytics, QnA Maker és Language Understanding (LUIS). A Text Analytics API-ból egyszerűen migrálhat a Cognitive Service for Language API-ba. Útmutatásért lásd : Migrálás az Azure Cognitive Service for Language legújabb verziójára.
Biztonság
A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.
Az Azure Database for PostgreSQL-ben lévő összes adat automatikusan titkosítva és biztonsági másolatot készít. Konfigurálhat Felhőhöz készült Microsoft Defender a fenyegetések további elhárításához. További információ: A Microsoft Defender engedélyezése nyílt forráskódú relációs adatbázisokhoz és riasztásokra való reagálás.
DevOps
Konfigurálhatja a GitHub Actionst az Azure Database for PostgreSQL-adatbázishoz való csatlakozásra a kapcsolati sztring és egy munkafolyamat beállításával. További információ : Rövid útmutató: A GitHub Actions használata az Azure PostgreSQL-hez való csatlakozáshoz.
A gépi tanulási életciklust az Azure Pipelines használatával is automatizálhatja. Az MLOps-munkafolyamatok implementálásával és a projekthez tartozó CI/CD-folyamat kialakításával kapcsolatos információkért tekintse meg a GitHub MLOps és az Azure ML által használt adattárát.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.
A Cognitive Service for Language különböző tarifacsomagokat kínál. A feldolgozott szövegrekordok száma befolyásolja a költségeket. További információ: Cognitive Service for Language díjszabás.
Következő lépések
- Az Azure Functions áttekintése
- Azure-függvénytevékenység az Azure Data Factoryben
- Azure Event Hubs – Big Data streaming platform és eseménybetöltési szolgáltatás
- Mi az Az Azure Cognitive Services?
- Mi az az Azure Cognitive Service for Language?
- A Language Service funkcióinak aszinkron használata
- Azure Cognitive Services for Language API tesztelési konzol
- A PostgreSQL és a Power BI összekapcsolásához használja a DirectQueryt
- Azure Cosmos DB for PostgreSQL-fürt létrehozása az Azure Portalon
- Oktatóanyag: Azure Machine Tanulás-modellek használata a Power BI-ban
- Elemzések kinyerése szövegből a Language szolgáltatással
- Microsoft Certified: Azure AI-mérnök Associate