Share via

Azure IoT Edge視覺 AI 的相機選擇

  • 發行項

電腦視覺系統中最重要的元件之一是相機。 相機必須擷取並呈現人工智慧 (AI) 或機器學習 (ML) 模型可以正確評估及識別的影像。 本文提供不同相機類型、功能和考慮的深入瞭解。

相機類型

相機類型包括區域掃描、行掃描和內嵌智慧相機。 這些相機有許多不同的製造商。 選取符合您特定需求的廠商。

區域掃描相機

區域掃描相機會產生傳統的相機影像。 此相機通常具有圖元感應器的矩陣。 相機會擷取 2D 影像，並將其傳送至 Azure IoT Edge硬體以進行評估。

區域掃描相機會查看大型區域，而且很適合用來偵測變更。 可使用區域掃描相機的工作負載範例包括工作場所安全，或偵測或計算環境中的物件。

線條掃描相機

線條掃描相機有一列線性圖元感應器。 相機會以快速連續的 1 圖元寬度影像，將它們結合成視訊串流，並將串流傳送至IoT Edge裝置進行處理。

線條掃描相機適用于視覺工作負載，其中專案會移過相機，或需要旋轉才能偵測瑕疵。 然後，線條掃描相機會產生連續影像串流以供評估。 最適合使用線條掃描相機的工作負載範例如下：

  • 在傳送帶上移動的元件上的專案瑕疵偵測
  • 需要旋轉才能查看球形物件的工作負載
  • 需要輪替的工作負載

內嵌智慧相機

內嵌智慧相機是獨立的獨立系統，可以處理和取得影像。 內嵌智慧相機可以使用區域掃描或線條掃描相機來擷取影像，雖然線條掃描智慧相機很罕見。 這些相機通常具有 RS232 或乙太網路輸出埠，因此可以直接整合到可程式化邏輯控制器中， () 或 IIoT) 控制器的其他產業 IoT (IIoT。

相機功能

選取視覺工作負載的相機時，有幾個功能需要考慮。 下列各節將討論感應器大小、解析度和速度。 其他要考慮的相機功能包括：

  • 鏡頭選取
  • 焦距
  • 單色或色彩深度
  • 立體深度
  • 觸發程序
  • 實體大小
  • 支援

相機製造商可協助您瞭解應用程式所需的特定功能。

感應器大小

感應器大小是相機中評估最重要的因素之一。 感應器是相機內的硬體，可擷取目標並將其轉換成訊號，然後產生影像。 感應器包含數百萬個稱為 photosites的半導光解函式。

較高的 mbpixel 計數不一定會產生更好的影像。 例如，具有 12 百萬個相片專案的相機和 1 英吋感應器會產生比具有 12 百萬個相片專案和 1/2 英吋感應器的相機更清楚、更清楚的影像。 電腦視覺工作負載的相機通常有介於 1/4 英吋到 1 英吋之間的感應器大小。 在某些情況下，可能需要更大的感應器。

如果您的視覺工作負載具有下列功能，請選擇較大的感應器：

  • 精確度測量的需求
  • 較低的光線條件
  • 較短的曝光時間或快速移動專案

解決方案

解析度是相機選取的另一個重要因素。 如果您的工作負載需要更高的解析度相機：

  • 必須識別精細的功能，例如在整合電路晶片上寫入
  • 正在嘗試偵測臉部
  • 需要從距離識別車輛

下列影像顯示針對指定使用案例使用錯誤解決方案的問題。 這兩個影像都是從汽車距離 20 英呎的距離。 小紅色方塊代表一個圖元。

  • 下圖以 480 水準圖元拍攝：

    汽車的相片 480 圖元。

  • 下圖採用 5184 水準圖元：

    汽車的相片 5184 圖元。

速度

如果您的視覺工作負載需要每秒擷取許多影像，則兩個因素很重要。 第一個因素是相機介面連線的速度。 第二個因素是感應器的類型。 感應器有兩種類型， (CCD) 和作用中圖元感應器 () 。 SP 感應器有相片專案的直接讀取，因此它們通常會提供較高的畫面播放速率。

相機位置

您在視覺工作負載中擷取的專案會決定相機放置的位置和角度。 相機位置也可以與感應器類型、鏡頭類型和相機主體類型互動。 決定相機放置的最重要因素之二是光源和視野。

相機光源

在電腦視覺工作負載中，光源對於相機放置至關重要。 您可以套用數個不同的光源條件。 適用于一個視覺工作負載的光源條件可能會在不同的工作負載中產生不想要的效果。

電腦視覺工作負載有數種常見的光源類型：

  • 直接光源 是最常見的光源條件。 光源會投影在要擷取的物件上。
  • 線條光源 是最常用於線條掃描相機的單一光源陣列。 線條光源會在相機的焦點上建立單一光線線。
  • 擴散光源 會照亮物件，但會防止遮蔽陰影。 擴散光源最常用於反射或反射物件。
  • 擴散光源 通常與高度反射物件搭配使用，或防止在元件上擷取陰影。
  • 背景光源 用於物件後方，產生物件的剪下。 背面光源最適合用於測量、邊緣偵測或物件方向。
  • 自訂格線光源 是結構化光源條件，可設定物件上的光線格線。 已知的格線投影提供更精確的專案元件、元件和放置測量。
  • Strobe 光源 用於高速移動元件。 strobe 必須與相機同步，才能 凍結 物件以進行評估。 Strobe 光源有助於防止動作模糊效果。
  • 深色欄位光源 會使用數個光線來擷取元件的不同角度。 例如，如果元件在輸送帶上平平，則燈會以 45 度的角度指向帶。 深色欄位光源最適用于高度反射的清楚物件，而且通常用於 鏡頭臨時偵測。

下圖示范光源的角度位置：

此圖顯示IoT Edge視覺工作負載的光源角度位置。

檢視欄位

在規劃視覺工作負載時，您必須知道所評估物件的檢視欄位 (FOV) 。 FOV 在相機選取、感應器選取和鏡頭設定中扮演了一部分。 FOV 元件包括：

  • 與物件的距離。 例如，物件是否在輸送帶上監視，且相機位於兩英呎上方，或橫跨一個駐留區？ 不同距離的相機感應器和鏡頭組態不同。
  • 涵蓋範圍區域。 電腦視覺嘗試監視小型或大型的區域嗎？ 此因素會直接與相機解析度、鏡頭和感應器類型相互關聯。
  • 太陽的方向。 如果電腦視覺工作負載是室內的，您應該考慮一天中的太陽方向。 當它移動時，太陽的角度可能會影響電腦視覺模型。 如果相機在鏡頭中取得直接反射，則它可能會盲目，直到太陽的角度變更為止。 如果太陽在受監視的物件上投射陰影，物件可能會遮蔽。
  • 物件的相機角度。 如果相機太高或太低，可能會遺漏工作負載嘗試擷取的詳細資料。

通訊介面

在規劃電腦視覺工作負載時，請務必瞭解相機輸出如何與系統的其餘部分互動。 相機會以數種標準方式與IoT Edge裝置通訊：

  • 即時串流通訊協定 (RTSP) 是控制串流視訊伺服器的應用層級網路通訊協定。 RTSP 會透過 TCP/IP 連線，將即時視訊資料從相機傳輸到IoT Edge計算端點。

  • Open Network Video Interface Forum (ONVIF) 是一個全球開放產業論壇，可開發 IP 型相機的開放標準。 這些標準描述 IP 相機與下游系統、互通性和開放原始碼之間的通訊。

  • 通用序列匯流排 (USB) 連線的相機會透過 USB 埠直接連線到IoT Edge計算裝置。 此連線較不復雜，但會限制相機可從IoT Edge裝置找到的距離。

  • 數位相機序列介面 (CSI) 包含來自行動產業處理器介面 (MIPI) 聯盟的數個標準。 CSI 描述如何在相機與主機處理器之間進行通訊。 CSI-2 于 2005 年發行，有數層：

    • 實體層 (C-PHY 或 D-PHY)
    • 通道合併層
    • 低階通訊協定層
    • 圖元到位元組轉換圖層
    • 應用程式層

    CSI-2 v3.0 新增了 RAW-24 色彩深度、整合序列連結和智慧區域相關支援。

參與者

本文由 Microsoft 維護。 最初是由下列參與者所撰寫。

主體作者：

若要查看非公用LinkedIn設定檔，請登入 LinkedIn。

下一步

Azure IoT Edge視覺 AI 中的硬體加速