你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure Percept Vision AI 模块

重要

Azure Percept DK 停用:

2022 年 11 月 9 日更新:一项固件更新,使视觉 SoM 和音频 SOM 能够在停用日期之后通过 DK 保留其功能,该更新将在停用日期之前可用。

Azure Percept 公共预览版将不断发展,以支持新的边缘设备平台和开发人员体验。 在这一发展过程中,Azure Percept DK 和 Audio Accessory 以及相关支持 Percept DK 的服务将于 2023 年 3 月 30 日停用。

自 2023 年 3 月 30 日起,Azure Percept DK 和 Audio Accessory 将不再受任何 Azure 服务的支持,包括 Azure Percept Studio、OS 更新、容器更新、查看 Web 流和自定义视觉集成。 Microsoft 将不再提供客户成功支持和任何相关的支持服务。 有关详细信息,请访问停用通知博客文章

Azureeyemodule 是负责在 Azure Percept DK 上运行 AI 视觉工作负载的边缘模块的名称。 它是 Azure IoT 边缘模块套件的一部分,在设置体验期间部署到 Azure Percept DK。 本文概述了该模块及其体系结构。

体系结构

显示 azureeyemodule 体系结构的关系图。

Azure Percept DK 上的 Azure Percept Workload 是在 azureeyemodule docker 容器内运行的 C++ 应用程序。 它使用 OpenCV GAPI 进行图像处理和模型执行。 Azureeyemodule 作为在 Azure Percept DK 上运行的 Azure IoT 模块套件的一部分,在 Mariner 操作系统上运行。

Azure Percept Workload 旨在接收图像以及输出图像和消息。 输出图像可能标有绘图,例如边界框、分段掩码、接点、标签等。 输出消息是推理结果的 JSON 流,可由下游任务引入和使用。 结果作为 RTSP 流提供,可在设备的端口 8554 上使用。 结果还会传送到设备上运行的另一个模块(在端口 3000 上运行),该模块为包装在 HTTP 服务器中的 RTSP 流提供服务。 无论采用哪种方式,都只能在本地网络上查看结果。

注意

对于 RTSP 源,没有任何加密或身份验证。 通过在 Web 浏览器或 RTSP 媒体播放器中键入正确的地址,本地网络上的任何人都可以查看 Azure Percept Vision 所看到的确切内容。

Azure Percept Workload 支持最终用户可利用的多项功能:

  • 一种适用于常见计算机视觉用例(例如对象分类和常见对象检测)的无代码解决方案。
  • 一种高级解决方案,开发人员可以将自己的(可能是级联的)训练模型带到设备中并运行它,并且可能会将结果传递到他们自己创建的在设备上运行的另一个 IoT 模块。
  • 一种重新训练循环,用于定期从设备抓取图像,在云中重新训练模型,然后将新训练的模型推回设备。 借助设备的功能动态更新和交换模型。

AI 工作负载详细信息

Workload 应用程序是 Azure Percept 高级开发 GitHub 存储库中的开源项目,由许多小型 C++ 模块组成,其中一些比较重要的模块包括:

  • main.cpp:设置所有内容,然后运行主循环。
  • iot:此文件夹包含用于处理 Azure IoT Edge 中心的传入和传出消息的模块以及孪生更新方法。
  • model:此文件夹包含用于计算机视觉模型的类层次结构的模块。
  • kernels:此文件夹包含用于 G-API 内核、操作和 C++ 包装器函数的模块。

开发人员可以使用此 Workload 应用程序生成自定义模块或自定义当前的 azureeyemodule。

后续步骤

  • 你已详细了解 azureeyemodule 和 Azure Percept Workload,接下来按照这些教程之一尝试使用自己的模型或管道
  • 或者,使用现成的机器学习笔记本之一尝试迁移学习