Inženýr umělé inteligence a hraničních zařízení
Souhra mezi umělou inteligencí (AI), cloudem a hraničními (edge) zařízeními představuje rychle se rozvíjející oblast. V současné době je mnoho řešení IoT založeno na základní telemetrii. Funkce telemetrie shromažďuje data z hraničních zařízení a ukládá je do úložiště dat. Náš přístup překračuje rámec základní telemetrie. Snažíme se modelovat problémy reálného světa prostřednictvím algoritmů strojového učení a hlubokého učení a implementovat model prostřednictvím AI a cloudu na hraničních zařízeních. Model se vytrénuje v cloudu a nasadí na hraniční zařízení. Nasazení na hraniční zařízení poskytuje smyčku zpětné vazby pro vylepšení obchodního procesu (tzv. digitální transformace).
V tomto studijním programu používáme mezioborový technický přístup. Snažíme se vytvořit standardní šablonu pro mnoho složitých oblastí pro nasazení umělé inteligence na hraničních zařízeních, jako jsou drony, autonomní vozidla atd. Studijní program představuje strategie implementace pro rozvíjející se krajinu složitých aplikací AI. Ústředním prvkem tohoto přístupu jsou kontejnery. Kontejnery můžou při nasazení do hraničních zařízení obsáhnout prostředí pro nasazení na nejrůznější hardware. CICD (kontinuální integrace – průběžné nasazování) je logické rozšíření pro nasazování kontejnerů na hraničních zařízeních. V budoucích modulech tohoto studijního programu možná představíme i další techniky, jako je bezserverová architektura a nasazení na mikrořadičích.
Technický přístup je základem témat / pedagogiky pro technické vzdělávání, jako je například
- Systémové myšlení
- Experimentování a řešení problémů
- Vylepšení prostřednictvím experimentování
- Nasazení a analýza prostřednictvím testování
- Dopad na jiné technické oblasti
- Prognózování chování komponent nebo systémů
- Aspekty návrhu
- Práce v rámci omezení/tolerance a specifických provozních podmínek – například omezení zařízení
- Aspekty bezpečnosti a zabezpečení
- Vytváření nástrojů, které vám pomůžou vytvořit řešení
- Vylepšení procesů – použití hraničních zařízení (IoT) k poskytnutí analytické smyčky zpětné vazby pro řízení obchodních procesů
- Společenský dopad technických řešení
- Estetický dopad návrhu a technických řešení
- Nasazení ve velkém měřítku
- Řešení složitých obchodních problémů kompletním nasazením umělé inteligence (AI), hraničních (edge) zařízení a cloudu
Technologie umělé inteligence, cloudu a hraničních zařízení nasazené jako kontejnery v režimu CICD můžou nakonec transformovat celá odvětví tím, že vytvoří samostatně se učící ekosystém specifický pro dané odvětví, který pokrývá celý řetěz hodnot. Usilujeme o navržení takové sady šablon/metodologií pro nasazení AI do hraničních zařízení v kontextu cloudu. V tomto studijním programu:
- Seznámení s vytvářením řešení pomocí IoT a cloudu
- Pochopení procesu nasazení řešení založených na IoT na hraniční zařízení
- Poznání postupu implementace modelů do hraničních zařízení pomocí kontejnerů
- Prozkoumání použití DevOps pro hraniční zařízení
Vytvořeno ve spolupráci s Oxfordskou univerzitou – Ajit Jaokar, artificial intelligence: Cloud and Edge Implementations course.
Požadavky
Nic
Kód dosaženého cíle
Chcete požádat o kód cíle?
Moduly v tomto studijním programu
Charakterizuje typy obchodních procesů, ke kterým může Azure IoT přidat hodnotu. Průzkum služeb Azure IoT, jako jsou IoT Hub a IoT Central, které vám pomůžou sestavovat řešení IoT.
Posuďte vlastnosti služby Azure IoT Hubu a určete v jakých scénářích ji použít.
Vysvětlíme základní charakteristiky IoT Edge a fungování součástí IoT Edge (modulů, modulů runtime a cloudového rozhraní). Budeme charakterizovat typy problémů, které můžete vyřešit pomocí IoT Edge. Popíšeme, jak se prvky IoT Edge dají kombinovat pro řešení problému nasazení aplikací IoT v cloudu.
Nasadíte předem vytvořený modul simulátoru teploty na zařízení IoT Edge pomocí kontejneru. Zkontrolujete, že se modul úspěšně vytvořil a nasadil a podíváte se na simulovaná data.
Posuďte vlastnosti řešení Azure Functions pro IoT. Článek popisuje funkce triggerů a vazeb a ukazuje, jak je kombinovat, abyste vytvořili škálovatelné řešení IoT. Článek také popisuje výhody použití cloudové infrastruktury, která umožňuje rychle nasadit aplikace IoT pomocí Azure Functions.
Vytvořením a nasazením funkce Azure Functions vytvoříte zařízení IoT pro překlad jazyka. Funkce bude používat službu Cognitive Speech Service. Vaše zařízení bude nahrávat hlas v cizím jazyce a převádět řeč do cílového jazyka.
Implementujte do zařízení IoT Edge kognitivní službu, která umí rozpoznat jazyk. Popis komponent a kroků implementace kognitivní služby do zařízení IoT Edge
Budeme analyzovat význam MLOps pro vývoj a nasazení modelů strojového učení pro IoT Edge. Popíšeme si komponenty kanálu MLOps a ukážeme si, jak můžete jejich kombinováním vytvářet modely pro zařízení IoT Edge, které je možné automaticky znovu trénovat.
Nadefinujte řešení pro orientační testování virtuálních zařízení Azure IoT Edge. Vaše řešení využívá strategii CI/CD (kontinuální integrace/průběžné nasazování) s využitím Azure DevOps a Azure Pipelines v clusteru Kubernetes.
Určení typů obchodních problémů, které je možné vyřešit pomocí Azure Sphere. Vysvětlení možností a komponent (mikrořadič, operační systém, cloudová služba zabezpečení) pro Azure Sphere. Popis, jak komponenty poskytují zabezpečenou platformu pro vývoj, nasazení a údržbu zabezpečených řešení IoT připojených k internetu.
Implementace modelu neurální sítě pro provádění klasifikace obrázků v reálném čase na zabezpečeném zařízení s mikrořadičem připojeným k internetu (Azure Sphere). Popis součástí a kroků pro implementaci předem natrénovaného modelu klasifikace obrázků v Azure Sphere.
Nasazením aplikace zařízení Azure Sphere můžete monitorovat okolní podmínky v laboratorním prostředí. Aplikace bude sledovat podmínky prostředí v místnosti, připojovat se k IoT Hubu a odesílat telemetrická data ze zařízení do cloudu. Vy budete řídit komunikaci mezi cloudem a zařízením a podle potřeby provádět příslušné akce.
Nasazením aplikace Azure Sphere můžete monitorovat okolní podmínky v laboratoři. Aplikace bude sledovat prostředí v místnosti, připojovat se k Azure IoT Central a odesílat telemetrická data ze zařízení do cloudu. Vy budete řídit komunikaci mezi cloudem a zařízením a podle potřeby provádět příslušné akce.
Vytvořte řešení pro počítačové zpracování obrazu v IoT Edge pomocí služeb Azure AI a Azure Speech Services. Aplikace zaznamená a identifikuje naskenovanou položku a převede název položky na řeč.
Použijte modul Live Video Analytics na IoT Edge a nasaďte řešení strojového učení Custom Vision do zařízení IoT Edge. Řešení identifikuje prázdné mezery v policích. Zkontrolujte, jestli se řešení úspěšně nasadí a otestuje vaše řešení z webové aplikace.
Pomocí modulu Live Video Analytics nasaďte řešení strojového učení do zařízení IoT Edge. Řešení zpracuje videokanály z kamer a pomocí modelu YOLO detekuje objekty na okraji k provádění operací odvozování. Zkontrolujte, jestli se řešení úspěšně nasadí a otestuje vaše řešení z webové aplikace.