Lösningsidéer
Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.
Den här arkitekturen använder Custom Vision för att klassificera bilder tagna av en simulerad drönare. Det ger ett sätt att kombinera AI och Sakernas Internet (IoT). Azure Custom Vision kan också användas för objektidentifiering.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Workflow
- Använd AirSims 3D-renderade miljö för att ta bilder tagna med drönaren. Använd bilderna som träningsdatauppsättning.
- Importera och tagga datamängden i ett Custom Vision-projekt . Den kognitiva tjänsten tränar och testar modellen.
- Exportera modellen till TensorFlow-format så att du kan använda den lokalt.
- Modellen kan också distribueras till en container eller till mobila enheter.
Komponenter
Microsoft AirSim Drone-simulator
Microsoft AirSim Drone-simulatorn bygger på Unreal Engine. Simulatorn är öppen källkod, plattformsoberoende och utvecklad för att hjälpa AI-forskning. I den här arkitekturen skapas datamängden med bilder som används för att träna modellen.
Azure Custom Vision
Azure Custom Vision är en del av Azure Cognitive Services. I den här arkitekturen skapas en modell för bildklassificerare.
TensorFlow
TensorFlow är en plattform med öppen källkod för maskininlärning (ML). Det är ett verktyg som hjälper dig att utveckla och träna ML-modeller. När du exporterar din modell till TensorFlow-format har du en protokollbuffertfil med Custom Vision-modellen som du kan använda lokalt i skriptet.
Information om scenario
Azure Cognitive Services erbjuder många möjligheter för AI-lösningar (Artificiell intelligens). En av dem är Azure Custom Vision, som gör att du kan skapa, distribuera och förbättra dina bildklassificerare. Den här arkitekturen använder Custom Vision för att klassificera bilder tagna av en simulerad drönare. Det ger ett sätt att kombinera AI och Sakernas Internet (IoT). Azure Custom Vision kan också användas för objektidentifiering.
Potentiellt användningsfall
Den här lösningen är idealisk för räddnings-, simulerings-, robotteknik-, flygplans-, flyg- och flygindustrin.
Microsoft Search and Rescue Lab föreslår ett hypotetiskt användningsfall för Custom Vision. I labbet flyger du en Simulerad Microsoft AirSim-drönare i en 3D-renderad miljö. Du använder den simulerade drönaren för att samla in syntetiska bilder av djuren i den miljön. När du har skapat en datauppsättning med bilder använder du datamängden för att träna en Custom Vision-klassificerarmodell. Om du vill träna modellen taggar du bilderna med namnen på djuren. När du flyger drönaren igen, ta nya bilder av djuren. Den här lösningen identifierar namnet på djuret i varje ny bild.
I en praktisk tillämpning av labbet ersätter en faktisk drönare den Simulerade Microsoft AirSim-drönaren. Om ett husdjur går förlorat, ger ägaren bilder av husdjuret till Custom Vision-modelltränaren. Precis som i simuleringen används bilderna för att träna modellen att känna igen husdjuret. Sedan söker drönarpiloten ett område där det förlorade husdjuret kan vara. När den hittar djur längs vägen kan drönarens kamera ta bilder och avgöra om djuret är det förlorade husdjuret.
Distribuera det här scenariot
Om du vill distribuera den här referensarkitekturen följer du stegen som beskrivs i GitHub-lagringsplatsen för sök- och räddningslabbet.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudsakliga författare:
- Jose Contreras | Huvudprogramtekniker
Nästa steg
- Läs mer om Microsoft AirSim
- Läs mer om Azure Custom Vision Cognitive Service
- Läs mer om Azure Cognitive Services
Relaterade resurser
Läs andra artiklar om Azure Architecture Center: