Idées de solution
Cet article présente une idée de solution. Si vous souhaitez nous voir développer le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le-nous savoir avec les Commentaires de GitHub.
Cette architecture utilise Custom Vision pour classifier les images prises par un drone simulé. Elle permet de combiner l’intelligence artificielle et l’Internet des objets (IoT). Azure Custom Vision peut également être utilisé pour la détection d’objets.
Architecture
Téléchargez un fichier Visio de cette architecture.
Workflow
- Utilisez l’environnement de rendu 3D AirSim pour capturer les images prises avec le drone. Utilisez les images comme jeu de données d’entraînement.
- Importez et étiquetez le jeu de données dans un projet Custom Vision. Le service cognitif entraîne et teste le modèle.
- Exportez le modèle au format TensorFlow pour pouvoir l’utiliser localement.
- Le modèle peut également être déployé sur un conteneur ou sur des appareils mobiles.
Components
Simulateur de drone Microsoft AirSim
Le simulateur de drone Microsoft AirSim s’appuie sur l’architecture Unreal Engine. Le simulateur est open source et multiplateforme. En outre, il a été développé pour améliorer les recherches d’IA. Cette architecture crée le jeu de données des images utilisées pour l’entraînement du modèle.
Azure Custom Vision
Azure Custom Vision fait partie d’Azure Cognitive Services. Cette architecture crée un modèle de classifieur d’image.
TensorFlow
TensorFlow est une plateforme open source pour Machine Learning (ML). Cet outil vous aide à développer et à entraîner des modèles ML. Lorsque vous exportez votre modèle au format TensorFlow, vous disposez d’un fichier de mémoire tampon de protocole avec le modèle Custom Vision que vous pouvez utiliser localement dans votre script.
Détails du scénario
Azure Cognitive Services offre de nombreuses possibilités pour les solutions d’intelligence artificielle (IA). L’une d’elles est Azure Custom Vision, qui vous permet de créer, de déployer et d’améliorer vos classifieurs d’images. Cette architecture utilise Custom Vision pour classifier les images prises par un drone simulé. Elle permet de combiner l’intelligence artificielle et l’Internet des objets (IoT). Azure Custom Vision peut également être utilisé pour la détection d’objets.
Cas d’usage potentiels
Cette solution est idéale pour les secteurs du sauvetage, de la simulation, de la robotique, de l’aéronautique, de l’aérospatiale et de l’aviation.
Le Search and Rescue Lab de Microsoft suggère un cas d’usage hypothétique pour Custom Vision. Dans ce laboratoire, vous simulez le pilotage d’un drone Microsoft AirSim dans un environnement 3D. Vous utilisez le drone simulé pour capturer des images synthétiques des animaux qui évoluent dans cet environnement. Après avoir créé un jeu de données d’images, vous utilisez le jeu de données pour entraîner un modèle de classifieur Custom Vision. Pour entraîner le modèle, vous étiquetez les images avec le nom des animaux. La prochaine fois que vous utiliserez le drone, prenez de nouvelles images des animaux. Cette solution identifie le nom de l’animal dans chaque nouvelle image.
Dans une application pratique en laboratoire, un drone réel remplace le drone simulé de Microsoft AirSim. En cas de perte d’un animal de compagnie, son propriétaire fournit des images de l’animal à l’instructeur Custom Vision. Comme dans la simulation, les images servent à entraîner le modèle afin de reconnaître l’animal de compagnie. Le pilote du drone lance ensuite une recherche dans une zone où l’animal s’est peut-être perdu. À mesure qu’il trouve des animaux sur son chemin, l’appareil photo du drone capture des images et détermine si l’animal est bien l’animal de compagnie perdu.
Déployer ce scénario
Pour déployer cette architecture de référence, suivez les étapes décrites dans le référentiel GitHub du Search and Rescue Lab.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteurs principaux :
- Jose Contreras | Principal Software Engineer
Étapes suivantes
- En savoir plus sur Microsoft AirSim
- En savoir plus sur Azure Custom Vision Cognitive Service
- En savoir plus sur Azure Cognitive Services
Ressources associées
Consultez d’autres articles du Centre des architectures Azure :