了解和測試模型

  • 5 分鐘

我們已經建立一個機器學習模型了！ 現在來進行測試，並看看它的執行成效。

模型效能

測試模型時，自訂視覺會顯示三個計量。 計量是可協助您瞭解模型執行成效的指標。 這些指標不會指出模型有多真實或準確。 這些指標只會呈現出模型根據您所提供資料執行的成效。 模型根據已知資料執行的成效，可讓您概略了解該模型使用新資料執行時的成效。

針對整個模型及每個類別提供下列計量：

計量 描述
precision 如果您的模型可預測標記，此計量便能指出預測正確標記的可能性有多高。
recall 在模型應正確預測的標記中，此計量會指出模型正確預測到的標記百分比。
average precision 以不同的閾值計算精確度和召回率來測量模型效能。

測試自訂視覺模型時，會在反覆項目測試結果中看到每個計量的數值。

常見的錯誤

測試模型之前，我們先來介紹幾個「初學者錯誤」，讓您在一開始建立機器學習模型時能留意。

使用不平衡的資料

部署模型時，您可能會看到以下警告訊息：

Unbalanced data detected. The distribution of images per tag should be uniform to ensure model performance.

此警告訊息表示您資料的每個類別樣本數並不平均。 雖然在這個情境下有多個選項可選，但是解決不平衡資料的常見方法，是使用綜合少數過度取樣技術 (SMOTE)。 SMOTE 會從現有的定型集區複製定型範例。

注意

在我們的模型中，您可能不會看到此警告，特別是當您已上傳一小部分的資料集時。 相較於具有 100 張以上相片的其他模型，Red-tail Hawk (Dark morph) 模型資料子集包含少於 60 張相片。 使用不平衡的資料是在任何機器學習模型中要監看的內容。

過度學習模型

如果您沒有足夠的資料或資料不夠多元，模型可能會變得過度學習。 當模型過度學習時，會充分了解提供的資料集，並配合這些資料中的模式過度學習。 在這個情況下，模型針對定型資料的執行成效會很好，但遇到未曾見過的新資料時成效則不佳。 基於這個理由，我們一律會使用新的資料來測試模型！

使用定型資料進行測試

跟過度學習一樣，如果使用您用於定型模型的資料來測試模型，模型的執行成效會相當好。 但是將模型部署到生產環境時，執行成效很可能會不佳。

使用錯誤的資料

另一個常見的錯誤是使用錯誤的資料來定型模型。 某些資料實際上可能會降低模型的精確度。 例如，使用「具有雜訊」的資料可能會降低模型的精確度。 如果資料中具有雜訊，資料集裡會有太多沒有用的資訊，而且會造成模型產生混淆。 只有在資料是模型可使用的正確資料時，資料才越多越好。 您可能需要清除錯誤的資料或移除特徵，以提高模型準確度。

測試模型

根據自訂視覺所提供的計量，我們的模型成效令人滿意。 讓我們來測試模型以查看其在未曾見過資料上的執行效能。 我們要使用在網路上搜尋到的鳥類影像。

  1. 在網頁瀏覽器中，搜尋符合您定型模型來辨識的其中一個物種的鳥類影像。 複製影像的 URL。

  2. 在自訂視覺入口網站中，選取 [鳥類分類] 專案。

  3. 在頂端功能表列上，選取 [快速測試]。

  4. 在 [快速測試] 中，將 URL 貼到 [影像 URL] 中，然後按 Enter 測試模型的精確度。 預測會顯示在視窗中。

自訂視覺會分析影像以測試模型的精確度，並顯示結果：

Screenshot that shows prediction results after a quick test on an image in the Custom Vision project.

在下一個步驟中，我們將部署模型。 部署模型之後，我們可使用所建立的端點來執行更多測試。