Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez a cikk egy megoldást mutat be az Azure Kubernetes Service (AKS) használatával nagy mennyiségű streamelési adat gyors feldolgozására és elemzésére az eszközökről.
Az Apache®, az Apache Kafka és az Apache Spark az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az érzékelők adatokat hoznak létre és streamelnek az Azure API Managementbe.
- Az AKS-fürtök olyan mikroszolgáltatásokat futtatnak, amelyek tárolóként vannak üzembe helyezve egy szolgáltatásháló mögött. A tárolók devOps-folyamattal vannak létrehozva, és az Azure Container Registryben vannak tárolva.
- A betöltési szolgáltatás adatokat tárol az Azure Cosmos DB-ben.
- Aszinkron módon egy elemzési szolgáltatás fogadja az adatokat, és streameli az Apache Kafkába és az Azure HDInsightba.
- Az adattudósok gépi tanulási modelleket és Splunk platformot használnak az adatok elemzéséhez.
- A feldolgozó szolgáltatás feldolgozza az adatokat, és az eredményt az Azure Database for PostgreSQL-ben tárolja. A szolgáltatás az Azure Cache for Redisben is gyorsítótárazza az adatokat.
- A Azure-alkalmazás Szolgáltatásban futó webalkalmazás vizualizációkat hoz létre az eredményekről.
Összetevők
A megoldás a következő kulcsfontosságú technológiákat használja:
- API Management
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Forgatókönyv részletei
Ez a megoldás jó választás olyan forgatókönyvekhez, amelyek több millió adatpontot foglalnak magukban, ahol az adatforrások közé tartoznak az eszközök internetes hálózata (IoT) eszközök, érzékelők és járművek. Ilyen esetben a nagy mennyiségű adat feldolgozása kihívást jelent. Az adatok gyors elemzése egy másik igényes feladat, mivel a szervezetek igyekeznek betekintést nyerni az összetett forgatókönyvekbe.
Az AKS-ben a tárolóalapú mikroszolgáltatások a megoldás kulcsfontosságú részét képezik. Ezek az önálló szolgáltatások betöltik és feldolgozzák a valós idejű adatfolyamot. Szükség szerint skálázhatók is. A tárolók hordozhatósága lehetővé teszi, hogy a szolgáltatások különböző környezetben fussanak, és több forrásból származó adatokat dolgozzanak fel. A mikroszolgáltatások fejlesztéséhez és üzembe helyezéséhez a DevOps és a folyamatos integráció/folyamatos teljesítés (CI/CD) használatos. Ezek a megközelítések lerövidítik a fejlesztési ciklust.
A betöltött adatok tárolásához a megoldás az Azure Cosmos DB-t használja. Ez az adatbázis rugalmasan skálázza az átviteli sebességet és a tárolást, ami jó választás nagy mennyiségű adathoz.
A megoldás a Kafkát is használja. Ez az alacsony késésű streamelési platform rendkívül nagy sebességgel kezeli a valós idejű adatcsatornákat.
Egy másik kulcsfontosságú megoldásösszetevő a HDInsight, amely egy felügyelt, nyílt forráskódú felhőelemzési szolgáltatás. A HDInsight leegyszerűsíti a big data-keretrendszerek nagy mennyiségben és sebességgel történő futtatását, miközben az Apache Sparkot használja az Azure-ban. A Splunk segít az adatelemzési folyamatban. Ez a platform valós idejű adatokból hoz létre vizualizációkat, és üzleti intelligenciát biztosít.
Lehetséges használati esetek
Ez a megoldás a következő területeken előnyös:
- Járműbiztonság, különösen az autóiparban
- Ügyfélszolgálat a kiskereskedelemben és más iparágakban
- Egészségügyi felhőmegoldások
- Pénzügyi technológiai megoldások a pénzügyi iparágban
Következő lépések
Termékdokumentáció:
- Az Azure Cache for Redis ismertetése
- Mi az Az Azure API Management?
- Az App Service áttekintése
- Azure Kubernetes Service
- Bevezetés a privát Docker-tárolóregisztrációs adatbázisokba az Azure-ban
- Bevezetés az Azure Cosmos DB-e
- Mi az Az Azure Database for PostgreSQL?
- Mi az az Azure HDInsight?
- Mi az Az Azure Pipelines?
Microsoft-képzési modulok:
- Tárolórendszerképek létrehozása és tárolása az Azure Container Registry használatával
- Azure-alkalmazás szolgáltatáscsomagok konfigurálása
- Az Azure Cosmos DB használata
- Azure Database for PostgreSQL létrehozása és csatlakoztatása
- Fejlesztés az Azure Cache for Redishez
- Az API Management felfedezése
- Infrastruktúra kezelése kódként az Azure és a DSC használatával
- Az Azure HDInsight bemutatása