Share via

Användargränssnitt och scenarier för Azure IoT Edge vision AI

  • Artikel

I den här sista artikeln i AI-serien för Azure IoT Edge-visioner beskrivs hur användare interagerar med IoT- och AI-lösningar (Internet of Things). Artikeln innehåller också två exempel på AI-scenarier för IoT Edge-vision.

Användargränssnitt

Användare interagerar med datorsystem via ett användargränssnitt (UI). Användargränssnittskraven varierar beroende på övergripande mål. IoT-system har vanligtvis fyra användargränssnittstyper:

  • Administratörsgränssnittet ger fullständig åtkomst till enhetsetablering, enhets- och lösningskonfiguration samt användarhantering. Dessa funktioner kan ingå i en lösning eller separata lösningar.
  • Ett användargränssnitt för operatör ger åtkomst till lösningens driftkomponenter, till exempel enhetshantering, aviseringsövervakning och konfiguration.
  • Ett användargränssnitt för konsumenter gäller endast för konsumentinriktade lösningar. Användargränssnittet liknar en operatörs gränssnitt, men är begränsat till de enheter som användaren äger.
  • Ett analysgränssnitt är en interaktiv instrumentpanel som tillhandahåller telemetrivisualiseringar och andra dataanalyser.

Teknikval

Här är några av de tjänster och program som du kan använda för att skapa användargränssnitt för AI-system med IoT Edge-vision:

  • Azure App Service är en plattform där utvecklare snabbt kan skapa, distribuera och skala webb- och mobilappar. App Service stöder ramverk som .NET, .NET Core, Node.js, Java, PHP, Ruby eller Python. Appar kan finnas i containrar eller köras på operativsystem, mobila enheter eller IoT Edge-maskinvara som stöds. Den fullständigt hanterade App Service-plattformen uppfyller kraven på prestanda, säkerhet och efterlevnad i företagsklass.

  • Azure SignalR Service lägger till datakommunikation och rapportering i realtid till appar, utan att kräva djupgående expertis inom realtidskommunikation. SignalR Service integreras enkelt med många Azure-tjänster.

  • Azure Kartor är en teknik för IoT-visualiserings- och visuellt innehållsprojekt. Med Azure Kartor kan du skapa platsmedvetna webb- och mobilappar med hjälp av enkla och säkra geospatiala tjänster, API:er och SDK:er. Azure Kartor har inbyggd platsintelligens från globala teknikpartners. Du kan leverera sömlösa upplevelser baserat på geospatiala data.

  • Microsoft Entra ID tillhandahåller enkel inloggning och multifaktorautentisering för att skydda dina appar och användargränssnitt.

  • Power BI är en uppsättning analystjänster, appar och anslutningsappar som omvandlar data till anpassningsbara, interaktiva visualiseringar och instrumentpaneler. Power BI är tillgängligt som en hanterad tjänst eller ett självhanterat paket och ansluter till många populära databassystem och datatjänster. Med Power BI Embedded kan du skapa kundinriktade rapporter och instrumentpaneler och märka dem som egna appar. Power BI kan spara utvecklarresurser genom att automatisera analysövervakning, hantering och distribution.

Användarscenario 1: Kvalitetskontroll

Contoso Boards producerar kretskort av hög kvalitet som används i datorer. Deras främsta produkt är ett moderkort.

Contoso Boards såg en ökning av problem med chipplacering på tavlan. Undersökningen visade att kretskorten placerades felaktigt på monteringslinjen. Contoso Boards behövde ett sätt att identifiera och kontrollera korrekt kretskortsplacering.

Dataexperterna i Contoso Boards var bekanta med TensorFlow och ville fortsätta använda det som sin primära ML-modellstruktur. Contoso Boards ville också centralisera hanteringen av flera monteringslinjer som producerar moderkorten.

Contoso Boards-lösningen fokuserar på gränsidentifiering.

Kamera

Följande kameraval har stöd för den här arbetsbelastningen:

  • Kamera placering: Kameran är direkt över vid 90 grader och cirka 16 tum från delen.
  • Kamera typ: Eftersom transportbandet rör sig relativt långsamt kan lösningen använda en områdesgenomsökningskamera med en global slutare.
  • Bildfrekvens: För det här användningsfallet fångar kameran cirka 30 bildrutor per sekund.
  • Lösning: Formeln för nödvändig upplösning är Res=(object size) / (details to capture). Baserat på den här formeln ger Res=16"/8" 2 megapixlar (MP) i x och 4MP i y, så Contoso Boards behöver en kamera som kan 4MP-upplösning.
  • Sensortyp: Målen rör sig inte snabbt och kräver bara kantidentifiering, så en CMOS-sensor fungerar bra.
  • Belysning: Lösningen använder ett vitt diffust filter bakgrundsljus. Denna belysning gör att delen ser nästan svart ut, med hög kontrast för kantidentifiering.
  • Färg: Monokrom ger de skarpaste kanterna för AI-identifieringsmodellen.

Följande bild visar vad kameran tar i det här scenariot:

Bild som visar vad kameran fångar i det här IoT Edge-scenariot.

Maskinvaruacceleration

Baserat på arbetsbelastningen, användningen av TensorFlow och användningen på flera sammansättningslinjer är GPU-baserad maskinvara det bästa valet för maskinvaruacceleration.

ML-modell

Dataexperterna är mest bekanta med TensorFlow, så att lära sig ONNX eller andra ML-ramverk skulle göra modellutvecklingen långsammare. Azure Stack Edge tillhandahåller en centralt hanterad gränslösning för alla sammansättningslinjer.

Användarscenario 2: Valv ty

Contoso Shipping har haft flera fotgängarolyckor vid sina lastkajar. De flesta olyckor inträffade när en lastbil lämnade lastkajen, och föraren såg inte en dockarbetare gå framför lastbilen. Contoso Shipping behövde en VISION AI-lösning som kunde titta efter människor, förutsäga deras färdriktning och varna förare för potentiella kollisioner.

De flesta dataexperter på Contoso Shipping var bekanta med OpenVINO och ville återanvända lösningsmodellerna på framtida maskinvara. Lösningen behövde också stödja energieffektivitet och använda det minsta möjliga antalet kameror. Slutligen ville Contoso Shipping fjärrhantera lösningen för uppdateringar.

Kameror

Lösningen använder 11 monokroma, 10MP CMOS-kameror med IPX67-hus eller väderboxar, monterade på 17-fots poler, 30 meter från lastbilarna. I följande avsnitt beskrivs hur Contoso Shipping fastställde dessa specifikationer.

Kameraplacering

Kamera behövde vara 30 meter från lastbilarnas fronter. Kamera fokus måste vara 3 meter framför och bakom lastbilarnas fronter, vilket gav ett 20-fots djup av fokus. Lokala zonindelningslagar begränsade övervakningskamerahöjden till 20 fot.

Följande bild visar kameraplaceringen för det här scenariot:

Bild av kameraplacering för ett AI-scenario med IoT Edge-vision.

Upplösning och vyfält

Lösningen måste bara samla in tillräckligt med information för att identifiera en person i ramen. Bildpunkterna per fot (PPF) kan vara cirka 15-20, snarare än de 80 PPF som ansiktsigenkänning behöver.

Formeln för vyfält (FOV) är FOV=(horizontal resolution) / (PPF). För lösning måste kameran använda rätt sensor för användningsfallet.

Den här lösningen använder kameralinser som tillåter en 16-fots FOV. Med hjälp av föregående formel ger en 16-fots FOV cirka 17,5 PPF, som faller inom den nödvändiga 15-20 PPF. Detta FOV innebär att lösningen bör använda 10MP-kameror, som har en horisontell upplösning på cirka 5 184 bildpunkter.

Eftersom kamerorna kan titta på en 16-fots väg, ger en 165 fot lång lastkaj dividerad med en 16-fots FOV 10.3125 kameror. Lösningen behöver alltså 11, 5184 vågräta bildpunkter eller 10MP-kameror.

Sensortyp

Kamerorna är utomhus, så sensortypen bör inte tillåta blomning. Bloom är när ljuset träffar sensorn och överbelastar sensorn, vilket orsakar överexponering eller whiteout. CMOS är den sensor som väljs.

Färg och belysning

Contoso Shipping är verksamt dygnet om och måste även skydda nattpersonal. Monokrom hanterar låga ljusförhållanden bättre än färg. I det här fallet är färginformation onödig. Monokroma sensorer är också lägre kostnader.

ML-modell

Eftersom dataexperterna är bekanta med OpenVINO bygger lösningen datamodeller i ONNX.

Maskinvaruacceleration

Avståndet från kamerorna till servrarna är för långt för Gigabit Ethernet- eller USB-anslutning, men det finns ett stort Mesh Wi-Fi-nätverk. Maskinvaran måste ansluta via Wi-Fi och använda så lite ström som möjligt.

Baserat på dessa krav använder lösningen FPGA-processorer. Lösningen kan också använda ASIC-processorer, men specialbyggda ASIC-chips uppfyller inte kravet på framtida användbarhet.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

Den här serien med artiklar beskriver hur du skapar en visions-AI-arbetsbelastning med Azure IoT Edge. De andra artiklarna i den här serien finns i:

Mer information om CNN, VISION AI, Azure Machine Learning och Azure IoT Edge finns i följande dokumentation:

Fler arkitekturer, exempel och idéer för visuellt innehåll som använder Azure IoT finns i följande artiklar: