Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez az architektúra a Custom Vision használatával osztályozza a szimulált drón által készített képeket. Lehetővé teszi az AI és az eszközök internetes hálózatának (IoT) kombinálását. Az Azure Custom Vision objektumészlelési célokra is használható.
Architektúra
Töltse le az architektúra Visio-fájlját.
Munkafolyamat
- Használja az AirSim 3D-renderelt környezetét a drónnal készített képek készítéséhez. Használja a képeket betanítási adatkészletként.
- Importálja és címkézze be az adathalmazt egy Custom Vision-projektben . A cognitive service betanozza és teszteli a modellt.
- Exportálja a modellt TensorFlow formátumba, hogy helyileg használhassa.
- A modell tárolókban vagy mobileszközökön is üzembe helyezhető.
Összetevők
Microsoft AirSim Drónszimulátor
A Microsoft AirSim drone szimulátor az Unreal Engine-re épül. A szimulátor nyílt forráskódú, platformfüggetlen, és az AI kutatásának elősegítésére fejlesztették ki. Ebben az architektúrában a modell betanításakor használt képek adathalmazát hozza létre.
Azure Custom Vision
Az Azure Custom Vision az Azure Cognitive Services része. Ebben az architektúrában egy képosztályozó modellt hoz létre.
TensorFlow
A TensorFlow egy nyílt forráskódú platform a gépi tanuláshoz (ML). Ez egy eszköz, amely segít az ML-modellek fejlesztésében és betanítása. Amikor a modellt TensorFlow formátumba exportálja, egy protokollpufferfájlt fog használni a Custom Vision-modellel, amelyet helyileg használhat a szkriptben.
Forgatókönyv részletei
Az Azure Cognitive Services számos lehetőséget kínál mesterségesintelligencia-megoldásokhoz. Ezek egyike az Azure Custom Vision, amely lehetővé teszi a képosztályozók összeállítását, üzembe helyezését és fejlesztését. Ez az architektúra a Custom Vision használatával osztályozza a szimulált drón által készített képeket. Lehetővé teszi az AI és az eszközök internetes hálózatának (IoT) kombinálását. Az Azure Custom Vision objektumészlelési célokra is használható.
Lehetséges használati eset
Ez a megoldás ideális a mentési, szimulációs, robotikai, repülőgép-, repülőgép- és repülési iparágak számára.
A Microsoft Search and Rescue Lab hipotetikus használati esetet javasol a Custom Visionhez. A laborban egy Microsoft AirSim szimulált drónt repül egy 3D-renderelt környezetben. A szimulált drónnal szintetikus képeket készíthet az adott környezetben lévő állatokról. A képek adathalmazának létrehozása után az adatkészlet használatával betanítja a Custom Vision osztályozómodellt. A modell betanítása érdekében címkézheti a képeket az állatok nevével. Amikor újra repül a drónnal, készítsen új képeket az állatokról. Ez a megoldás azonosítja az állat nevét minden új képen.
A labor gyakorlati alkalmazásában egy tényleges drón helyettesíti a Microsoft AirSim szimulált drónt. Ha egy kisállat elveszik, a tulajdonos képeket biztosít a kisállatról a Custom Vision modell trénerének. A szimulációhoz hasonlóan a képek a modell betanítása a kisállat felismerésére. Ezután a drónpilóta keres egy területet, ahol az elveszett kisállat lehet. Ahogy állatokat talál az út mentén, a drón kamerája képes képeket rögzíteni, és megállapítani, hogy az állat az elveszett kisállat.
A forgatókönyv üzembe helyezése
A referenciaarchitektúra üzembe helyezéséhez kövesse a Keresési és mentési labor GitHub-adattárában leírt lépéseket.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerzők:
- Jose Contreras | Fő szoftvermérnök
További lépések
- További információ a Microsoft AirSimról
- További információ az Azure Custom Vision Cognitive Service-ről
- További információ az Azure Cognitive Servicesről
Kapcsolódó források (lehet, hogy a cikkek angol nyelvűek)
Olvassa el az Azure Architecture Center további cikkeit: