在 Azure Percept Studio 中建立無程式碼視覺解決方案

發行項
02/07/2023

重要

淘汰 Azure Percept DK：

更新 22 2023 年 2 月:P ercept DK 視覺和音訊配件元件的韌體更新 (也稱為視覺和音訊 SOM) 現已可供使用，且可讓配件元件在淘汰日期後繼續運作。

Azure Percept 公開預覽版將持續演進，以支援新的邊緣裝置平台和開發人員體驗。在此演進過程中，Azure Percept DK 和 Audio Accessory 以及 Percept DK 相關聯的 Azure 支援服務將於 2023 年 3 月 30 日淘汰。

自 2023 年 3 月 30 日起，任何 Azure 服務將不再支援 Azure Percept DK 和 Audio Accessory，包括 Azure Percept Studio、作業系統更新、容器更新、檢視 Web 串流，以及自訂視覺整合。 Microsoft 將不再提供客戶成功支援和任何相關聯的支援服務。如需詳細資訊，請參閱淘汰通知部落格文章。

Azure Percept Studio 可讓您建置和部署自定義電腦視覺解決方案，不需要撰寫程式代碼。在本文中，您將：

在 Azure Percept Studio 中建立視覺專案
使用您的 devkit 收集訓練影像
在自訂視覺中為您的訓練影像加上標籤
定型自定義物件偵測或分類模型
將模型部署至 devkit
藉由設定重新定型來改善您的模型

本教學課程適用於沒有 AI 體驗且剛開始使用 Azure Percept 的開發人員。

必要條件

Azure Percept DK (devkit)
Azure 訂用帳戶
Azure Percept DK 安裝體驗：您已將 devkit 連線至 Wi-Fi 網路、建立 IoT 中樞，並將 devkit 連線至 iot 中樞

建立視覺原型

啟動瀏覽器並移至 Azure Percept Studio。
在概觀頁面上，按兩下 [示範 & 教學課程] 索引標籤
在 [視覺教學課程和示範] 底下，按兩下 [建立視覺原型]。
在 [新增 Azure Percept 自訂視覺原型] 頁面上，執行下列動作：
1. 在 [ 項目名稱] 方塊中，輸入視覺原型的名稱。
2. 在 [ 專案描述 ] 方塊中輸入視覺原型的描述。
3. 選取 [裝置類型] 下拉式功能表底下的Azure Percept DK。
4. 在 [ 資源 ] 下拉功能表下選取資源，或單擊 [ 建立新資源]。如果您選擇建立新的資源，請在 [ 建立 ] 視窗中執行下列動作：
  1. 輸入新資源的名稱。
  2. 選取 Azure 訂閱。
  3. 選取資源群組或建立新的資源群組。
  4. 選取您的慣用區域。
  5. 選取定價層 (我們建議使用 S0) 。
  6. 按兩下視窗底部的 [ 建立 ]。
5. 針對 [專案類型]，選擇您的視覺專案是否會執行物件偵測或影像分類。如需專案類型的詳細資訊，請按兩下 [ 說明我選擇]。
6. 針對 [優化]，選取您要將項目優化，以取得精確度、低網络等待時間，或兩者之間的平衡。
7. 按一下 [ 建立 ] 按鈕。

將裝置連線到您的專案並擷取映像

建立視覺解決方案之後，您必須將devkit及其對應的 IoT 中樞新增至其中。

開啟您的 devkit。
在 [IoT 中樞] 下拉功能表中，選取 Devkit 在 OOBE 期間連線到的 IoT 中樞。
在 [ 裝置] 下拉功能表中，選取您的 devkit。

接下來，您必須載入影像或擷取影像，以定型 AI 模型。我們建議每個標籤類型至少上傳30個影像。例如，如果您想要建置狗和貓偵測器，您必須上傳至少 30 張狗影像和 30 張貓影像。若要使用 devkit 的視覺 SoM 擷取影像，請執行下列動作：

在 [ 影像擷取 ] 視窗中，選取 [ 檢視裝置串流 ] 以檢視視覺 SoM 視訊串流。
請檢查視訊串流，以確保您的視覺SoM相機已正確對齊以拍攝定型圖片。視需要進行調整。
在 [ 影像擷取 ] 視窗中，按兩下 [ 拍攝相片]。
或者，選取 [ 自動擷取映像 ] 方塊，設定自動化影像擷取以一次收集大量影像。在 [ 擷取速率 ] 底下選取您慣用的影像速率，以及您想要在 [ 目標] 底下收集的影像總數。按兩下 [設定自動擷取 ] 開始自動擷取程式。

當您有足夠的相片時，請按兩下一 步：標記畫面底部的影像和模型定 型]。所有影像都會儲存在自訂視覺中。

注意

如果您選擇將定型影像直接上傳至自訂視覺，請注意，圖像檔案大小不能超過 6MB。

標記影像並定型您的模型

在定型模型之前，請先將標籤新增至您的影像。

在 [標記影像和模型定型] 頁面上，按兩下 [在自訂視覺中開啟專案]。
在 [自訂視覺] 頁面的左側，按兩下 [標記] 下的 [取消標記]，以檢視您在上一個步驟中剛收集的影像。選取一或多個未標記的影像。
在 [ 影像詳細數據] 視窗中，按兩下影像以開始標記。如果您選取物件偵測作為項目類型，您也必須在想要標記的特定物件周圍繪製周框方塊。視需要調整周框方塊。輸入您的物件標籤，然後按下 + 以套用標記。例如，如果您要建立視覺解決方案，以在商店架需要重新裝載時通知您，請將捲標「空白架」新增至空的擱置影像，並將捲標「完整架」新增至完全庫存的架子影像。針對所有未標記的影像重複。
標記影像之後，按兩下視窗右上角的 X 圖示。按兩下 [標記] 底下的 [標記]，以檢視所有新標記的影像。
標記影像之後，您就可以開始定型 AI 模型。若要這樣做，請按兩下頁面頂端附近的 [ 訓練 ]。每個標籤類型至少必須有15個影像，才能定型模型 (我們建議至少使用30個) 。定型通常需要大約 30 分鐘的時間，但如果您的影像集非常大，則可能需要較長的時間。
定型完成時，您的畫面會顯示您的模型效能。如需評估這些結果的詳細資訊，請參閱模型評估檔。定型之後，您可能也會想要測試模型的其他影像，並視需要重新定型。每次定型模型時，都會儲存為新的反覆專案。如需如何改善模型效能的其他資訊，請參閱自訂視覺檔。

注意

如果您選擇在自訂視覺中的其他影像上測試模型，請注意，測試圖像檔案大小不能超過 4 MB。

當您滿意模型的效能之後，請關閉瀏覽器索引標籤來關閉自訂視覺。

部署 AI 模型

返回至 [Azure Percept Studio] 索引標籤，然後按 [下一步：評估並部署] 畫面底部。
[ 評估及部署 ] 視窗會顯示所選模型反覆專案的效能。在 [ 模型反復 專案] 下拉功能表下，選取您想要部署到 devkit 的反復專案，然後按兩下畫面底部的 [ 部署模型 ]。
部署模型之後，請檢視裝置的視訊串流，以查看您的模型推斷運作情形。