Bewerken

Vision-classificatiemodel met Azure Custom Vision Cognitive Service

Azure
GitHub

Oplossingsideeën

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.

Deze architectuur maakt gebruik van Custom Vision om afbeeldingen te classificeren die zijn gemaakt door een gesimuleerde drone. Het biedt een manier om AI en Internet of Things (IoT) te combineren. Azure Custom Vision kan ook worden gebruikt voor objectdetectie.

Architectuur

Diagram of the Search and Rescue Lab architecture to create an image classifier model.

Een Visio-bestand van deze architectuur downloaden.

Workflow

  1. Gebruik de 3D-gerenderde omgeving van AirSim om foto's te maken die met de drone zijn gemaakt. Gebruik de afbeeldingen als de trainingsgegevensset.
  2. Importeer en tag de gegevensset in een Custom Vision-project . De cognitieve service traint en test het model.
  3. Exporteer het model naar de TensorFlow-indeling, zodat u het lokaal kunt gebruiken.
  4. Het model kan ook worden geïmplementeerd in een container of op mobiele apparaten.

Onderdeel

Microsoft AirSim Drone Simulator

De Microsoft AirSim Drone-simulator is gebouwd op de Unreal Engine. De simulator is opensource, platformoverschrijdend en ontwikkeld om AI-onderzoek te helpen. In deze architectuur wordt de gegevensset gemaakt met afbeeldingen die worden gebruikt om het model te trainen.

Azure Custom Vision

Azure Custom Vision maakt deel uit van Azure Cognitive Services. In deze architectuur wordt een afbeeldingsclassificatiemodel gemaakt.

TensorFlow

TensorFlow is een opensource-platform voor machine learning (ML). Het is een hulpprogramma waarmee u ML-modellen kunt ontwikkelen en trainen. Wanneer u uw model exporteert naar tensorFlow-indeling, hebt u een protocolbufferbestand met het Custom Vision-model dat u lokaal in uw script kunt gebruiken.

Scenariodetails

Azure Cognitive Services biedt veel mogelijkheden voor AI-oplossingen (Artificial Intelligence). Een hiervan is Azure Custom Vision, waarmee u uw afbeeldingsclassificaties kunt bouwen, implementeren en verbeteren. Deze architectuur maakt gebruik van Custom Vision om afbeeldingen te classificeren die zijn gemaakt door een gesimuleerde drone. Het biedt een manier om AI en Internet of Things (IoT) te combineren. Azure Custom Vision kan ook worden gebruikt voor objectdetectie.

Mogelijke use-case

Deze oplossing is ideaal voor de reddings-, simulatie-, robotica-, vliegtuig-, luchtvaart- en luchtvaartindustrieën.

Microsoft Search and Rescue Lab stelt een hypothetische use case voor Custom Vision voor. In het lab vliegt u een gesimuleerde Drone van Microsoft AirSim rond in een 3D-gerenderde omgeving. U gebruikt de gesimuleerde drone om synthetische afbeeldingen van de dieren in die omgeving vast te leggen. Nadat u een gegevensset met afbeeldingen hebt gemaakt, gebruikt u de gegevensset om een Custom Vision-classificatiemodel te trainen. Als u het model wilt trainen, tagt u de afbeeldingen met de namen van de dieren. Als je de drone weer vliegt, neem je nieuwe foto's van de dieren. Deze oplossing identificeert de naam van het dier in elke nieuwe afbeelding.

In een praktische toepassing van het lab vervangt een drone de gesimuleerde Drone van Microsoft AirSim. Als een huisdier verloren gaat, geeft de eigenaar afbeeldingen van het huisdier aan de Custom Vision-modeltrainer. Net als in de simulatie worden de afbeeldingen gebruikt om het model te trainen om het huisdier te herkennen. Vervolgens zoekt de dronepiloot naar een gebied waar het verloren huisdier zich kan bevinden. Terwijl er onderweg dieren worden gevonden, kan de camera van de drone beelden vastleggen en bepalen of het dier het verloren huisdier is.

Dit scenario implementeren

Als u deze referentiearchitectuur wilt implementeren, volgt u de stappen die worden beschreven in de GitHub-opslagplaats van het Search and Rescue Lab.

Inzenders

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Belangrijkste auteurs:

Volgende stappen

Lees andere artikelen over Azure Architecture Center: