솔루션 아이디어
이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보를 사용하여 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.
이 아키텍처는 Custom Vision을 사용하여 시뮬레이션된 드론에서 촬영한 이미지를 분류합니다. AI와 IoT(사물 인터넷)를 결합하는 방법을 제공합니다. Azure Custom Vision은 개체 검색 용도로도 사용할 수 있습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
- AirSim의 3D 렌더링 환경을 사용하여 드론으로 촬영한 이미지를 찍습니다. 이미지를 학습 데이터 세트로 사용합니다.
- Custom Vision 프로젝트에서 데이터 세트를 가져오고 태그를 지정합니다. 인지 서비스는 모델을 학습하고 테스트합니다.
- 모델을 로컬로 사용할 수 있도록 TensorFlow 형식으로 내보냅니다.
- 모델을 컨테이너 또는 모바일 디바이스에 배포할 수도 있습니다.
구성 요소
Microsoft AirSim 드론 시뮬레이터
Microsoft AirSim 드론 시뮬레이터는 Unreal 엔진을 기반으로 합니다. 이 시뮬레이터는 오픈 소스, 크로스 플랫폼이며 AI 연구를 돕기 위해 개발되었습니다. 이 아키텍처에서는 모델을 학습하는 데 사용되는 이미지의 데이터 세트를 만듭니다.
Azure Custom Vision
Azure Custom Vision은 Azure Cognitive Services의 일부입니다. 이 아키텍처에서는 이미지 분류자 모델을 만듭니다.
TensorFlow
TensorFlow는 ML(기계 학습)을 위한 오픈 소스 플랫폼입니다. ML 모델을 개발하고 학습하는 데 도움이 되는 도구입니다. 모델을 TensorFlow 형식으로 내보낼 때 스크립트에서 로컬로 사용할 수 있는 Custom Vision 모델이 포함된 프로토콜 버퍼 파일이 있습니다.
시나리오 정보
Azure Cognitive Services는 AI(인공 지능) 솔루션에 대한 다양한 가능성을 제공합니다. 그 중 하나는 이미지 분류자를 빌드, 배포 및 개선할 수 있는 Azure Custom Vision입니다. 이 아키텍처는 Custom Vision을 사용하여 시뮬레이션된 드론에서 촬영한 이미지를 분류합니다. AI와 IoT(사물 인터넷)를 결합하는 방법을 제공합니다. Azure Custom Vision은 개체 검색 용도로도 사용할 수 있습니다.
잠재적인 사용 사례
이 솔루션은 구조, 시뮬레이션, 로봇 공학, 항공기, 항공 우주, 항공 산업에 이상적입니다.
Microsoft Search 및 Rescue Lab은 Custom Vision에 대한 가상 사용 사례를 제안합니다. 랩에서는 3D 렌더링 환경에서 Microsoft AirSim 시뮬레이션 드론을 비행합니다. 시뮬레이션된 드론을 사용하여 해당 환경에서 동물의 합성 이미지를 캡처합니다. 이미지의 데이터 세트를 만든 후에는 데이터 세트를 사용하여 Custom Vision 분류자 모델을 학습합니다. 모델을 학습하려면 이미지에 동물의 이름으로 태그를 지정합니다. 드론을 다시 날릴 때 동물의 새로운 이미지를 찍습니다. 이 솔루션은 각각의 새 이미지에서 동물의 이름을 식별합니다.
랩의 실제 애플리케이션에서 실제 드론은 Microsoft AirSim 시뮬레이션 드론을 대체합니다. 애완 동물을 분실하면 주인은 Custom Vision 모델 트레이너에게 애완 동물의 이미지를 제공합니다. 시뮬레이션에서와 마찬가지로 이미지는 애완 동물을 인식하도록 모델을 학습시키는 데 사용됩니다. 그런 다음, 드론 조종사는 잃어버린 애완 동물이 있을 수 있는 지역을 검색합니다. 길을 따라 동물을 발견하면 드론의 카메라는 이미지를 캡처하고 동물이 잃어버린 애완 동물인지 확인할 수 있습니다.
시나리오 배포
이 참조 아키텍처를 배포하려면 Search 및 Rescue 랩의 GitHub 리포지토리에 설명된 단계를 따르세요.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
주요 작성자:
- Jose Contreras | 수석 소프트웨어 엔지니어링
다음 단계
- Microsoft AirSim에 대해 자세히 알아보기
- Azure Custom Vision Cognitive Service에 대해 자세히 알아보기
- Azure Cognitive Services에 대해 자세히 알아보기
관련 참고 자료
다른 Azure 아키텍처 센터 문서를 읽어보세요.