A/B のテストとは何ですか?

A/B テストは、特定の変数の最適な設定を判断するための実験を実行するための手法です。 たとえば、ゲーム内ストアのアイテムについて、さまざまな販売価格をテストするとします。

A/B テストでは、各バケットに重みが割り当てられたプレイヤーをランダムに分割する一連のプレーヤー "バケット" を作成します。 各バケットには別の価格が割り当てられます。 プレイヤーには、バケットに割り当てられている価格が表示されます。 次に、各バケットの結果を比較して、最も効果的な価格を決定します。

次の値の表は、このような場合の例を示しています。

A B C
Weight 50% 25% 25%
アイテムあたりの価格 $1.99 $2.99 $4.99
合計ユーザー数 10020 4996 5025
ユーザへの支払い% 2.1% 2.0% 1.8%
収益 $418 $298 $451
ARPU $0.0417 $0.0596 $0.0898

ここでは、最高の価格を持っているにもかかわらず、最大の平均収益 (ARPU) を生み出すことができましたが、テストの "勝者" と表示されます。

PlayFab での A/B テストのサポート

ここでは、PlayStream のプレーヤーのセグメンテーション機能の上にある A/B テストのサポートを構築しています。 各テストバケットは、プレイヤーセグメントとして実装されます。 このため、"A" と "B" という2つのバケットで "価格テスト" と呼ばれる A/B テストを実行している場合は、2つの新しいセグメント "価格テスト-A" と "価格テスト-B" を作成します。 すべてのプレイヤーは、選んだバケットに基づいて、これら2つのセグメントのいずれかに自動的に割り当てられます。

現時点では、さまざまなプレイヤーに対して直接表示できる PlayFab の唯一の機能は、セグメントに基づく、ゲーム内の経済のターゲットストア上書き機能です。 これは、実際には、A/B テストで現時点では、ストア (価格と項目のコレクションを含む) だけであることを意味します。

ただし、他の PlayFab 機能を追加して、タイトルデータなどのさまざまなプレーヤーにさまざまなデータをターゲットにすることもできます。

テストを有効にすると、バケットに基づいて、基本的な主要業績評価指標 (Kpi) に関する日次レポートの生成が開始されます。 これにより、テストの有効性を判断することができます。 後で、外部分析プロバイダーを使用して、より詳細な分析を行うことができるようになります。

初めての A/B テストを作成する

Playfab ゲームマネージャーにサインインした後、[ playfab ] タブを選択し、[ A/B テスト] サブタブをクリックします。

ゲームマネージャー-再生ストリーム-A/B テスト

ここでは、最初の A/B テストを作成できます。 テストの作成時には、A/B テスト名バケット数、および各バケットの名前割合(重み) を指定する必要があります。

ウエイトは、100までに追加する必要があり、名前は一意である必要があります。 これに対応するセグメントには、自動的にtest name - バケット名という名前が付けられます。 たとえば、 Gem 価格テストコントロールです。

ゲームマネージャー-再生ストリーム-A/B テスト-新しい A/B テスト

バケットの割り当ては probabilistic であることに注意してください。各バケットの人口は、指定された重みのうち最大数% 大きくなる可能性があります。 これは、プレーヤーのベースが大きくなったときに evens になります。

テストをストアにフックする

テストを設定したら、[経済] タブの [カタログ] セクションの [ストア] サブセクションに移動します。ここでは、[ストアの編集] ページでストアの上書きを設定することができます。

ゲームマネージャー-経済-カタログ-ストア-編集

詳細については、「ストアセグメントが優先されるブログ」を参照してください。

結果を確認する

テストを作成したら、デイリー A/B テストの KPI レポートとして参照される daily レポートの生成を開始します。 これにより、現在実行している各テストについて、プレイヤーバケットごとの主要な Kpi が提供されます。

ストアの上書きを構成する前に基準を取得するために、少なくとも数日はこのレポートを実行することをお勧めします。 ユーザーは、作成時に無作為に割り当てられる PlayFab Id に基づいて分割します。 プレイヤーの probabilistic の割り当てにより、テストの開始時に KPI が一様になることはほとんどありません。

テストの結果について確信が持てるようになったら、プライマリストアを再構成して、テストを安全に削除することができます。

A/B テストでの今後の作業

現在、ストアはセグメントの上書きを含む唯一の PlayFab 機能領域です。 タイトルデータをセグメントによって、また他の領域によってすぐに上書きすることを計画しています。

これは、タイトルデータを要求するユーザーのセグメントに基づいて、タイトル全体の変数を構成できる、ストアの上書きのような外観になります。 これにより、タイトルのさまざまな機能を調整することができます。

また、すべてのプレイヤーに対してではなく、既存のセグメント内で A/B テストを実行できるようにする計画もあります。 したがって、たとえば、価格で A/B テストを実行してみてください。これは、VIP セグメントのメンバーにのみ適用されます。

リンク