Kameraval för Azure IoT Edge vision AI

En av de mest kritiska komponenterna i ett system för visuellt innehåll är kameran. Kameran måste avbilda och presentera bilder som modeller för artificiell intelligens (AI) eller maskininlärning (ML) kan utvärdera och identifiera korrekt. Den här artikeln innehåller en djupgående förståelse för olika kameratyper, funktioner och överväganden.

Typer av kameror

Kameratyper inkluderar områdesgenomsökning, linjegenomsökning och inbäddade smarta kameror. Det finns många olika tillverkare för dessa kameror. Välj en leverantör som passar dina specifika behov.

Kameror för områdesgenomsökning

Områdesgenomsökningskameror genererar en traditionell kamerabild. Den här kameran har vanligtvis en matris med pixelsensorer. Kameran fångar en 2D-avbildning och skickar den till Azure IoT Edge maskinvara för utvärdering.

Områdesgenomsökningskameror tittar på ett stort område och är bra för att identifiera ändringar. Exempel på arbetsbelastningar som kan använda övervakningskameror för områdesgenomsökning är arbetsplatssäkerhet, eller identifiering eller räkning av objekt i en miljö.

Linjegenomsökningskameror

En linjegenomsökningskamera har en enda rad med linjära pixelsensorer. Kameran tar bilder med 1 bildpunktsbredd i snabb följd, sammanfogar dem i en videoström och skickar strömmen till IoT Edge enheten för bearbetning.

Linjegenomsökningskameror är bra för visionsarbetsbelastningar där objekt antingen rör sig förbi kameran eller måste roteras för att upptäcka defekter. Linjegenomsökningskameran skapar sedan en kontinuerlig bildström för utvärdering. Exempel på arbetsbelastningar som fungerar bäst med linjegenomsökningskameror är:

• Objektdefektidentifiering på delar som rör sig på ett transportband
• Arbetsbelastningar som kräver spinning för att se ett cylindriskt objekt
• Arbetsbelastningar som kräver rotation

Inbäddade smarta kameror

En inbäddad smart kamera är ett fristående system som kan bearbeta och hämta bilder. Inbäddade smarta kameror kan använda antingen en områdesgenomsökning eller en linjegenomsökningskamera för att fånga bilder, även om en linjegenomsökningssmartkamera är sällsynt. Dessa kameror har vanligtvis antingen en RS232- eller en Ethernet-utdataport, så att de kan integreras direkt i en programmerbar logic controller (PLC) eller någon annan industriell IoT-styrenhet (IIoT).

Kamerafunktioner

Det finns flera funktioner att tänka på när du väljer en kamera för en visionsarbetsbelastning. I följande avsnitt beskrivs sensorns storlek, upplösning och hastighet. Andra kamerafunktioner att tänka på är:

• Linsval
• Brännvidd
• Monokromt eller färgdjup
• Stereodjup
• Utlösare
• Fysisk storlek
• Support

Kameratillverkare kan hjälpa dig att förstå vilka specifika funktioner ditt program kräver.

Sensorstorlek

Sensorstorlek är en av de viktigaste faktorerna att utvärdera i en kamera. Sensorn är maskinvaran i en kamera som fångar upp målet och omvandlar det till signaler, som sedan producerar en bild. Sensorn innehåller miljontals halvledande fotodettorer som kallas photosites.

Ett högre antal megapixlar resulterar inte alltid i en bättre bild. Till exempel ger en kamera med 12 miljoner fotoniter och en 1-tums sensor en tydligare, skarpare bild än en kamera med 12 miljoner fotoner och en 1/2-tums sensor. Kameror för arbetsbelastningar med visuellt innehåll har vanligtvis sensorstorlekar mellan 1/4 tum och 1 tum. Vissa fall kan kräva mycket större sensorer.

Välj större sensorer om din visionsarbetsbelastning har:

• Ett behov av precisionsmätningar
• Lägre ljusförhållanden
• Kortare exponeringstider eller snabbrörliga objekt

Lösning

Upplösning är en annan viktig faktor vid kameraval. Du behöver kameror med högre upplösning om din arbetsbelastning:

• Måste identifiera fina funktioner, till exempel skrivning på ett integrerat kretschip
• Försöker identifiera ansikten
• Måste identifiera fordon på avstånd

Följande bilder visar problemet med att använda fel lösning för ett visst användningsfall. Båda bilderna togs 3 meter från bilen. De små röda rutorna representerar en bildpunkt.

• Följande bild togs med 480 vågräta bildpunkter:

  

• Följande bild togs med 5 184 vågräta bildpunkter:

  

Hastighet

Om din visionsarbetsbelastning kräver att många bilder samlas in per sekund är två faktorer viktiga. Den första faktorn är hastigheten på kameragränssnittsanslutningen. Den andra faktorn är typen av sensor. Sensorer finns i två typer, laddningsanslutna enheter (CCD) och CMOS (Active Pixel Sensors). CMOS-sensorer har en direkt avläsning från fotoplatserna, så de erbjuder vanligtvis en högre bildfrekvens.

Kameraplacering

De objekt som du behöver avbilda i din visionsarbetsbelastning avgör platser och vinklar för kameraplacering. Kameraplats kan också interagera med sensortyp, linstyp och kamerakroppstyp. Två av de mest kritiska faktorerna för att fastställa kameraplacering är belysning och synfält.

Kamerabelysning

I en arbetsbelastning med visuellt innehåll är belysning avgörande för kameraplacering. Du kan använda flera olika ljusförhållanden. Ljusförhållanden som är användbara för en visionsarbetsbelastning kan ge oönskade effekter i en annan arbetsbelastning.

Det finns flera vanliga belysningstyper för arbetsbelastningar med visuellt innehåll:

• Direkt belysning är det vanligaste ljustillståndet. Ljuskällan projiceras på objektet som ska avbildas.
• Linjebelysning är en enda uppsättning ljus som används mest med linjegenomsökningskameror. Linjebelysning skapar en enda ljuslinje i fokus för kameran.
• Diffus belysning lyser upp ett objekt men förhindrar hårda skuggor. Diffus belysning används främst kring spekulativa eller reflekterande objekt.
• Axiell diffus belysning används ofta med mycket reflekterande objekt, eller för att förhindra skuggor på delen för att fånga.
• Bakgrundsbelysning används bakom objektet, vilket producerar en silhuett av objektet. Bakgrundsbelysning är mest användbart för mätningar, kantidentifiering eller objektorientering.
• Anpassad rutnätsbelysning är ett strukturerat ljustillstånd som lägger ut ett rutnät av ljus på objektet. Den kända rutnätsprognosen ger mer exakta mätningar av objektkomponenter, delar och placering.
• Strobe belysning används för hög hastighet rörliga delar. Strobe måste vara synkroniserad med kameran för att ta en frysning av objektet för utvärdering. Strobe belysning hjälper till att förhindra rörelse suddiga effekter.
• Mörk fältbelysning använder flera ljus med olika vinklar till den del som ska fångas. Om delen till exempel ligger platt på ett transportband är lamporna i 45 graders vinkel mot bältet. Mörk fältbelysning är mest användbar med mycket reflekterande tydliga objekt och används ofta för linsens repidentifieringar.

Följande bild visar vinkelplaceringen av ljuskällor:

Visningsfält

När du planerar en visionsarbetsbelastning behöver du känna till synfältet (FOV) för de objekt som du utvärderar. FOV spelar en roll i kameraval, sensorval och linskonfiguration. FOV-komponenter inkluderar:

• Avstånd till objekt. Övervakas objektet till exempel på ett transportband med kameran två meter ovanför eller över en parkeringsplats? Kamerasensorer och linskonfigurationer skiljer sig åt för olika avstånd.
• Täckningsområde. Är det område där visuellt innehåll försöker övervaka små eller stora? Den här faktorn korrelerar direkt med kamerans upplösning, lins och sensortyp.
• Solens riktning. Om arbetsbelastningen för visuellt innehåll är utomhus bör du tänka på solens riktning under dagen. Solens vinkel när den rör sig kan påverka modellen för visuellt innehåll. Om kameran får direkt solljus i linsen kan den förblindas tills solens vinkel ändras. Om solen kastar en skugga över objektet som övervakas kan objektet döljas.
• Kameravinkel mot objekten. Om kameran är för hög eller för låg kan den missa informationen som arbetsbelastningen försöker samla in.

Kommunikationsgränssnitt

När du planerar en arbetsbelastning för visuellt innehåll är det viktigt att förstå hur kamerans utdata interagerar med resten av systemet. Det finns flera standardsätt som kameror kommunicerar med IoT Edge enheter:

• RTSP (Real Time Streaming Protocol) är ett nätverksprotokoll på programnivå som styr strömmande videoservrar. RTSP överför videodata i realtid från kameran till IoT Edge beräkningsslutpunkt via en TCP/IP-anslutning.

• Open Network Video Interface Forum (ONVIF) är ett globalt, öppet branschforum som utvecklar öppna standarder för IP-baserade kameror. Dessa standarder beskriver kommunikationen mellan IP-kameror och underordnade system, samverkan och öppen källkod.

• USB-anslutna kameror (Universal Serial Bus) ansluter via USB-porten direkt till IoT Edge beräkningsenhet. Den här anslutningen är mindre komplex, men begränsar avståndet som kameran kan placeras från IoT Edge enheten.

• CSI (Camera Serial Interface) innehåller flera standarder från MIPI Alliance (Mobile Industry Processor Interface). CSI beskriver hur du kommunicerar mellan en kamera och en värdprocessor. CSI-2, som släpptes 2005, har flera lager:

  • Fysiskt lager (antingen C-PHY eller D-PHY)
  • Lane merger layer
  • Protokollskikt på låg nivå
  • Pixel-till-byte-konverteringslager
  • Programlager

  CSI-2 v3.0 har lagt till stöd för RAW-24-färgdjup, Unified Serial Link och Smart Region of Interest.

Deltagare

Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.

Huvudförfattare:

• Keith Hill | Senior PM Manager

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

Maskinvaruacceleration i Azure IoT Edge vision AI