使用 A/B 測試執行應用程式實驗

  • 發行項

您可以使用合作夥伴中心來定義遠端變數，您可以在執行時間從通用 Windows 平台 (UWP) 應用程式擷取這些變數，並與使用者測試這些值的變化，以識別推動所需使用者行為的最有效值。 您的應用程式可以使用遠端變數來設定應用程式體驗，例如應用程式內購買、註冊流程、標題和廣告位置。

A/B 測試的目標是要藉由提供更吸引人的應用程式體驗，來識別遠端變數值的變化，這些值可能會讓您獲得提高的轉換率 (例如，更多應用程式內購買)。 識別出成功的變化之後，您可以立即結束實驗，並從合作夥伴中心為整個使用者受眾啟用該變化，而不需要重新發佈您的應用程式。

建立和執行 A/B 測試

若要建立並執行 A/B 測試，請按照下列步驟操作：

  1. 在合作夥伴中心建立專案並定義遠端變數。 此專案包含實驗的變數和預設變數值。
  2. 為應用程式編寫程式碼以進行實驗。 使用 Microsoft Store Services SDK 中的 API，從您在合作夥伴中心建立的專案取得遠端變數值，使用此資料來修改您正在測試的功能行為，並將檢視事件和轉換事件傳送至合作夥伴中心。
  3. 在合作夥伴中心定義您的實驗。 在您的專案中建立實驗，以定義 A/B 測試的唯一目標和變化。
  4. 在合作夥伴中心儀表版中執行和管理您的實驗。 啟用您的實驗，並使用合作夥伴中心來檢閱實驗的結果並完成實驗。

如需示範端對端流程的逐步解說，請參閱使用 A/B 測試建立並執行您的第一個實驗。

需求

合作夥伴中心的 A/B 測試僅支援 UWP 應用程式。

您必須先設定開發電腦，才能使用 A/B 測試來執行實驗：

  • 請遵循這裡的指示來設定您的開發電腦以進行 UWP 開發。
  • 安裝 Microsoft Store Services SDK。 除了用於實驗的 API 之外，此 SDK 也為其他功能提供 API，例如顯示廣告，並將您的客戶導向意見反應中樞來在應用程式上收集意見反應。

最佳作法

若要達到最有用的結果，建議您在使用 A/B 測試執行實驗時遵循這些建議：

  • 請考慮執行只有兩種變化的實驗，並使用隨機 50/50 比率分佈來指派變化。
  • 執行實驗至少 2 到 4 周，以收集具有統計意義且可採取動作的足夠資料。

詞彙 定義
Project 遠端變數的集合，其中包含可以使用 Microsoft Store Services SDK 存取應用程式的預設值。 專案也可以選擇性地包含一或多個共用相同遠端變數的實驗。
Experiment 一組參數，定義使用者將接收的 A/B 測試。 專案範圍內會定義實驗，而每個實驗都包含：

  • 檢視事件，指出使用者何時開始檢視屬於實驗一部分的變化。
  • 具有轉換事件的一或多個目標，指出何時達到目標。
  • 定義實驗所使用變數資料的一或多個變化。 控制項變化會使用專案中為實驗定義的預設變數值。 除了控制變體之外，實驗通常至少有一個額外的變體與實驗唯一的變數值。
專案識別碼 將應用程式與合作夥伴中心帳戶中的專案建立關聯的唯一識別碼。 您必須使用此識別碼來連線到應用程式程式碼中的 A/B 測試服務，以接收變體資料並提供檢視和轉換事件報告給合作夥伴中心。 如需詳細資訊，請參閱撰寫應用程式以進行實驗的程式碼。

每個專案，以及專案中的所有實驗，都與一個專案識別碼完全相關聯。 您可以使用專案識別碼來協助區分不同的實驗組。 例如，您可能有一組實驗會發佈給組織中的測試人員，以及一組您只發佈給應用程式外部使用者的實驗。 如果應用程式實作多個實驗，應用程式可能參考多個專案識別碼。
變化程度 您在實驗中測試的一或多個變數集合。 每個實驗都必須至少有一個變數和兩種變化 (包括控制項)。 實驗最多可以有五個變化。
變數 您的應用程式用來初始化屬性或應用程式中某些其他值的值。 在實驗期間，變數的值會從在變化中變更。 結束實驗之後，變數會從您選擇的變化指派的值發佈給應用程式的所有使用者。 變數可以有下列類型：string、Boolean、double 和 integer。
檢視事件 任意字串，表示當使用者開始檢視屬於實驗一部分的變化時的活動。 一般而言，這是程式碼中的事件名稱。 當使用者開始檢視變化時，您的應用程式程式碼會將此檢視事件字串傳送至合作夥伴中心。 如需詳細資訊，請參閱撰寫應用程式以進行實驗的程式碼。
轉換事件 任意字串，代表實驗要達到的目標。 一般而言，這是程式碼中的事件名稱。 當使用者達到目標時，您的應用程式程式碼會將此轉換事件字串傳送至合作夥伴中心。 如需詳細資訊，請參閱撰寫應用程式以進行實驗的程式碼。