解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息，例如潜在用例、备用服务、实现注意事项或定价指南，请通过提供 GitHub 反馈来告知我们。
此体系结构使用自定义视觉对模拟无人机拍摄的图像进行分类。 它提供了一种将 AI 和物联网 (IoT) 结合使用的方法。 Azure 自定义视觉还可用于物体检测目的。
体系结构
下载此体系结构的 Visio 文件。
工作流
- 使用 AirSim 的 3D 渲染环境通过无人机拍摄图像。 使用图像作为训练数据集。
- 将数据集导入自定义视觉项目中并进行标记。 认知服务训练并测试模型。
- 将模型导出为 TensorFlow 格式，以便可以在本地使用它。
- 该模型还可以部署到容器或移动设备。
组件
Microsoft AirSim 无人机模拟器
Microsoft AirSim 无人机模拟器基于 Unreal Engine 构建。 此模拟器是开源的跨平台工具，专为帮助 AI 研究而开发。 在此体系结构中，它会创建用于训练模型的图像数据集。
Azure 自定义视觉
Azure 自定义视觉是 Azure 认知服务的一部分。 在此体系结构中，它会创建图像分类器模型。
TensorFlow
TensorFlow 是一个开放源代码平台，适于机器学习 (ML)。 该工具可帮助你开发和训练 ML 模型。 将模型导出为 TensorFlow 格式时，会获得一个协议缓冲区文件，其中包含一个可在脚本中本地使用的自定义视觉模型。
方案详细信息
Azure 认知服务为人工智能 (AI) 解决方案提供了多种可能性。 其中一种便是 Azure 自定义视觉，此服务可用于生成、部署和改进图像分类器。 此体系结构使用自定义视觉对模拟无人机拍摄的图像进行分类。 它提供了一种将 AI 和物联网 (IoT) 结合使用的方法。 Azure 自定义视觉还可用于物体检测目的。
可能的用例
此解决方案非常适合救援、模拟、机器人、飞机以及航空航天工业。
Microsoft 搜索和救援实验室推荐了一个用于自定义视觉的假设用例。 在实验室中，你将在 3D 渲染的环境中操控 Microsoft AirSim 模拟无人机飞行。 使用模拟无人机捕获该环境中经过合成的动物图像。 创建图像数据集后，使用该数据集来训练自定义视觉分类器模型。 若要训练模型，请使用动物名称标记图像。 再次操控无人机飞行时，拍摄新的动物图像。 此解决方案在每个新图像中识别动物的名称。
在实验室的实际应用中，真正的无人机会取代 Microsoft AirSim 模拟无人机。 如果宠物丢失，其主人会向自定义视觉训练程序提供宠物图像。 就像模拟时一样，图像用于训练模型以识别宠物。 然后，无人机操控者会搜索丢失的宠物可能出现的区域。 沿路寻找动物时，无人机的相机可以捕获图像并确定路上遇到的动物是否为丢失的宠物。
部署此方案
若要部署这个用于参考的体系结构，请按照搜索和营救实验室的 GitHub 存储库中所述的步骤进行操作。
作者
本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。
主要作者：
- Jose Contreras | 首席软件工程师
后续步骤
相关资源
请阅读其他 Azure 体系结构中心文章：