Share via

Azure IoT Edge 視覺 AI 的使用者介面和案例

  • 發行項

Azure IoT Edge 視覺 AI 系列的最後一篇文章將討論使用者如何與物聯網 （IoT） 和人工智慧 （AI） 解決方案互動。 本文也會提供兩個IoT Edge視覺 AI 案例範例。

使用者介面

使用者透過使用者介面與計算機系統互動（UI）。 UI 需求會根據整體目標而有所不同。 IoT 系統通常有四種 UI 類型：

  • 系統管理員 UI 允許完整存取裝置佈建、裝置和解決方案設定，以及使用者管理。 這些功能可以是一個解決方案的一部分，或個別的解決方案。
  • 操作員 UI 可讓您存取解決方案的操作元件，例如裝置管理、警示監視和設定。
  • 取 用者 UI僅適用於取用者面向的解決方案。 UI 類似於操作員的介面，但僅限於使用者所擁有的裝置。
  • 分析UI是互動式儀錶板，可提供遙測視覺效果和其他數據分析。

技術選擇

以下是一些可用來為IoT Edge視覺 AI 系統建立使用者介面的服務與軟體：

  • Azure App 服務 是開發人員快速建置、部署及調整 Web 和行動應用程式的平臺。 App Service 支援 .NET、.NET Core、Node.js、Java、PHP、Ruby 或 Python 等架構。 應用程式可以位於容器中，或在任何支援的操作系統、行動裝置或IoT Edge硬體上執行。 完全受控的 App Service 平臺符合企業級效能、安全性和合規性需求。

  • Azure SignalR Service 會將即時數據通訊和報告新增至應用程式，而不需要深入的即時通訊專業知識。 SignalR Service 可輕鬆地與許多 Azure 服務整合。

  • Azure 地圖服務 是IoT視覺效果和電腦視覺項目的技術。 Azure 地圖服務 可讓您使用簡單且安全的地理空間服務、API 和 SDK 來建立位置感知 Web 和行動應用程式。 Azure 地圖服務 擁有來自全球技術合作夥伴的內建位置情報。 您可以根據地理空間數據提供順暢的體驗。

  • Microsoft Entra ID 提供單一登錄和多重要素驗證來保護您的應用程式和使用者介面。

  • Power BI 是一組分析服務、應用程式和連接器，可將數據轉換成可自定義的互動式視覺效果和儀錶板。 Power BI 可作為受控服務或自我裝載套件，並聯機到許多熱門的資料庫系統和數據服務。 使用 Power BI Embedded，您可以建立面向客戶的報表和儀錶板，並將其品牌為您自己的應用程式。 Power BI 可以藉由自動化分析監視、管理和部署來節省開發人員資源。

使用者案例 1：品質控制

Contoso Boards 會產生計算機中使用的高品質電路板。 其頭號產品是主機板。

Contoso Boards 看到晶片放置問題增加。 調查確定電路板被錯誤地放在組裝線上。 Contoso Boards 需要一種方式來識別和檢查正確的電路板放置。

Contoso Boards 數據科學家熟悉 TensorFlow，並想要繼續使用它作為其主要 ML 模型結構。 Contoso Boards 也想要集中管理產生主機板的數條組裝線。

Contoso Boards 解決方案著重於邊緣偵測。

相機

下列相機選項支援此工作負載：

  • 相機 位置：相機直接高於90度，距離零件約16英吋。
  • 相機 類型：由於輸送系統相對緩慢移動，因此解決方案可以使用區域掃描相機搭配全域快門。
  • 幀速率：針對此使用案例，相機每秒會擷取約 30 個畫面格。
  • 解決方案：必要解析的公式為 Res=(object size) / (details to capture)。 根據此公式， Res=16"/8" 在 中 x 提供 200 萬像素（MP）和 4MP y，因此 Contoso Boards 需要能夠 4MP 解析度的相機。
  • 感測器類型：目標不會快速移動，而且只需要邊緣偵測，因此，DCM 感測器可正常運作。
  • 光源：解決方案使用白色擴散篩選反光。 此光源讓元件看起來幾乎為黑色，具有高對比度的邊緣偵測。
  • 色彩：單色會產生 AI 偵測模型最尖銳的邊緣。

下圖顯示相機在此案例中擷取的內容：

顯示相機在此IoT Edge案例中擷取的影像。

硬體加速

根據工作負載、TensorFlow 的使用，以及數個元件行的使用方式，GPU 型硬體是硬體加速的最佳選擇。

ML 模型

數據科學家最熟悉 TensorFlow，因此學習 ONNX 或其他 ML 架構會減緩模型開發的速度。 Azure Stack Edge 為所有元件行提供集中管理的邊緣解決方案。

使用者案例 2：保管庫 ty

Contoso Shipping 在裝貨碼頭發生了幾次行人事故。 大多數事故發生在一輛卡車離開貨櫃時，司機沒有看到一名碼頭工人走在卡車前。 Contoso Shipping 需要視覺 AI 解決方案，可以監看人員、預測其旅行方向，並警告潛在碰撞的司機。

Contoso Shipping 的大部分數據科學家都熟悉 OpenVINO，並想要在未來的硬體上重複使用解決方案模型。 解決方案也需要支援電源效率，並使用最少的相機數目。 最後，Contoso Shipping 想要從遠端管理解決方案以進行更新。

相機

此解決方案使用 11 個單色、10MP 的 BBC 相機與 IPX67 住房或天氣箱，安裝在 17 英尺的桿子上，距離卡車 100 英尺遠。 下列各節說明 Contoso Shipping 如何判斷這些規格。

相機 位置

相機 距離卡車前方需要 100 英尺。 相機 焦點必須在卡車前方和卡車前方10英尺，給予20英尺的焦點深度。 當地分區法將監控攝像頭高度限制為20英尺。

下圖顯示此案例的相機位置：

IoT Edge 視覺 AI 案例的相機放置圖例。

檢視的解析度和欄位

解決方案必須只擷取足夠的詳細數據，才能偵測框架中的人員。 每英尺圖元 （PPF） 可以大約 15-20，而不是臉部辨識所需的 80 PPF。

檢視欄位的公式為 FOV=(horizontal resolution) / (PPF)。 為了解析度，相機必須使用正確的感測器來進行使用案例。

此解決方案使用允許 16 英呎 FOV 的相機鏡頭。 使用上述公式，16 英呎 FOV 提供約 17.5 PPF，其落在所需的 15-20 PPF 內。 這個FOV表示解決方案應該使用10MP相機，其水準解析度約為5184圖元。

由於相機可以看到16英尺的道路，一個165英尺長的載入碼頭除以16英尺的FOV提供10.3125相機。 因此，解決方案需要 11、5184 水平圖元或 10MP 相機。

感應器類型

相機是戶外的，因此感測器類型不應該允許 開花。 Bloom 是當光線擊中感測器並多載感測器時，導致過度公開或白出。 選擇的感測器是一種感測器。

色彩和光源

Contoso 航運運營 24/7，也必須保護夜間人員。 單色處理低光條件比色彩更好。 在此情況下，不需要色彩資訊。 單色感測器的成本也較低。

ML 模型

由於數據科學家熟悉 OpenVINO，因此解決方案會在 ONNX 中建置數據模型。

硬體加速

從相機到伺服器的距離太遠，無法進行 Gb 乙太網路或 USB 連線，但有一個大型網狀 Wi-Fi 網路。 硬體必須透過Wi-Fi連線，並盡可能少使用電源。

根據這些需求，解決方案會使用 FPGA 處理器。 解決方案也可以使用 ASIC 處理器，但用途建置的 ASIC 晶片不符合未來可用性的需求。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主體作者：

若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。

下一步

這一系列文章說明如何使用 Azure IoT Edge 建置視覺 AI 工作負載。 如需本系列中的其他文章，請參閱：

若要深入瞭解 CNN、視覺 AI、Azure 機器學習 和 Azure IoT Edge，請參閱下列檔：

如需更多使用 Azure IoT 的電腦視覺架構、範例和想法，請參閱下列文章：