Megoldási ötlet
Ha szeretné látni, hogy további információkkal bővítsük ki ezt a cikket, például lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatót, tudassa velünk GitHub Visszajelzéssel!
Ez az architektúra Custom Vision használ a szimulált drón által készített képek besorolására. Lehetővé teszi a mi és az eszközök internetes hálózatának (IoT) kombinálását. Az Azure Custom Vision objektumészlelési célokra is használható.
Architektúra
Munkafolyamat
- Használja az AirSim 3D-renderelt környezetét a drónnal készített képek készítéséhez. Használja a képeket betanítási adatkészletként.
- Importálja és címkézze fel az adathalmazt egy Custom Vision projektben. A cognitive service betanítása és tesztelése a modellen.
- Exportálja a modellt TensorFlow formátumba, hogy helyileg használhassa.
- A modell egy tárolóban vagy mobileszközökre is üzembe helyezhető.
Összetevők
Microsoft AirSim Drone szimulátor
A Microsoft AirSim Drone szimulátor az Unreal Engine-re épül. A szimulátor nyílt forráskódú, platformfüggetlen, és az AI-kutatás elősegítésére fejlesztették ki. Ebben az architektúrában a modell betanítása során használt képek adathalmazát hozza létre.
Azure Custom Vision
Az Azure Custom Vision az Azure Cognitive Services része. Ebben az architektúrában egy képosztályozó modellt hoz létre.
TensorFlow
A TensorFlow egy nyílt forráskódú platform a gépi tanuláshoz (ML). Ez egy olyan eszköz, amellyel ML modelleket fejleszthet és taníthat be. Amikor a modellt TensorFlow formátumba exportálja, egy protokollpufferfájlt fog használni a Custom Vision modellel, amelyet helyileg használhat a szkriptben.
Forgatókönyv részletei
Az Azure Cognitive Services számos lehetőséget kínál mesterségesintelligencia- (AI-) megoldásokhoz. Ezek egyike az Azure Custom Vision, amely lehetővé teszi a képosztályozók összeállítását, üzembe helyezését és fejlesztését. Ez az architektúra Custom Vision használ a szimulált drón által készített képek besorolására. Lehetővé teszi a mi és az eszközök internetes hálózatának (IoT) kombinálását. Az Azure Custom Vision objektumészlelési célokra is használható.
Lehetséges használati eset
Ez a megoldás ideális a mentési, szimulációs, robotikai, repülőgép- és légiipari iparágak számára.
A Microsoft Search and Rescue Lab hipotetikus használati esetet javasol Custom Vision. A laborban egy Szimulált Microsoft AirSim-drónt repül egy 3D-s renderelt környezetben. A szimulált drónnal szintetikus képeket rögzíthet az adott környezetben található állatokról. A képekből álló adathalmaz létrehozása után az adatkészlet használatával betanítja a Custom Vision osztályozómodellt. A modell betanítása érdekében címkézze fel a képeket az állatok nevével. Amikor újra repül a drónnal, készítsen új képeket az állatokról. Ez a megoldás azonosítja az állat nevét minden új képen.
A tesztkörnyezet gyakorlati alkalmazásában egy tényleges drón váltja fel a Microsoft AirSim szimulált drónját. Ha egy kisállat elveszik, a tulajdonos képeket biztosít a kisállatról a Custom Vision modell edzőjének. A szimulációhoz hasonlóan a képek a modell betanítása a kisállat felismerésére. Ezután a drónpilóta keres egy területet, ahol az elveszett kisállat lehet. Ahogy állatokat talál az út mentén, a drón kamerája képes képeket rögzíteni, és megállapítani, hogy az állat-e az elveszett kisállat.
A forgatókönyv üzembe helyezése
A referenciaarchitektúra üzembe helyezéséhez kövesse a keresési és mentési labor GitHub adattárában leírt lépéseket.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerzők:
- Jose Contreras | Vezető szoftvermérnök
Következő lépések
- További információ a Microsoft AirSimről
- További információ az Azure Custom Vision Cognitive Service-ről
- További információ az Azure Cognitive Servicesről
Kapcsolódó források (lehet, hogy a cikkek angol nyelvűek)
Olvassa el az Azure Architecture Center további cikkeit: