Dynamics 365 Customer Insights - Journeys でのA/Bテスト

[アーティクル]
01/31/2024

Customer Insights - Journeys では、強力な A/B テストを使用して、トリガーベースの顧客体験を調べ、顧客に到達するための最善の方法についてのインサイトを得ることができます。

A/B テストを使用すると、どのチャネルまたはコンテンツメッセージング戦略がより高い成功につながるかを測定できます。各テストでは、ユーザーのコントロールグループ (バージョン A) とバリアント (バージョン B) を比較します。コントロールグループは既定のエクスペリエンスを受け取ります。バリアントグループは、異なるエクスペリエンスまたはメッセージを受け取ります。グループの結果を比較することで、どれが最も効果的かを判断できます。

例 1: トリガーベース体験の A/B テストの作成

誰かが購入を完了したときにアクティブ化されるトリガーベースの体験で 2 つの異なるメールをテストするとします。

通常のように電子メールエディターで、最初のコンテンツを作成します。コンテンツを完成させ、エラーがないかを確認して、実用面での不備がないよう確認をしてください。
コンテンツの準備ができたら、Customer Insights - Journeys>エンゲージメント>体験で、既存の体験を選択するか、新しい体験を作成します。
体験を選択した後、プラス記号 (+) を選択して要素を追加し、以下の操作を行います:
- どのバリエーションのパフォーマンスが優れているかをテストする を選択します。
- テストしたいチャンネルを選択します。この例では、2 つのメールをテストします。バージョン A 用に 1 つとバージョン B 用に 1 つを選択し、テストの作成 を選択します。
A/B テストタイルを選択すると、サイドペインが開きます。

Jこのペインには以下のパラメータを含みます:
- 表示名 : テストを識別するに、テストの名前を入力します。この名前は、A/B テストパネルと、実行中のテストを確認する際の顧客体験分析に表示されます。
- バージョン: ステップ 1 で準備したチャネルのコンテンツ (この場合は、テストする 2 通のメール) を選択します。体験ビルダーで子タイルを選択するか、サイドパネルで選択することで、ドロップダウンリストを介して行うことができます。
- 初期対象ユーザー : これは、結果が出る前に A/B テストを控えておきたい対象ユーザーグループです。このオプションはセグメントベースの体験でのみ使用できます。これは、抑制する顧客の数を決定するのに役立つ顧客の総数がすでにわかっているためです。トリガーベースの体験には、顧客がアクションを完了したときに入るため、このオプションはありません。そのため、この体験に参加する顧客の総数は不明です。
- 実験の配布: 使用したい対象ユーザーの配布を選択します。スライダーは自動的に五分五分に設定されていますが、希望の配分に設定することができます。バージョンが受け取ることができる最小値は 10% 、最大値は 90% です。従来、バージョン A がコントロールグループであり、バージョン B がバリアントであることを忘れないでください。
- 優勢な指標 : 優勢な指標を選択することで、最も多くの体験の目標イベントがヒットしたバージョン、最も多くのクリック数、または最も多くの開封数などテストの優勢となる条件を設定することができます。この場合、開封率を高めたいので、開封率オプションを選択します。
- テストの終了 : テストを自動的に終了させるか、特定の日時に終了させるかを選択することもできます。結果が統計的に有意に達した場合に、テストで勝者を自動的に決定します。これは、明確な勝者が 80-95 パーセントの信頼度で決定すると、システムは勝者のバージョンを残りの対象ユーザーに送信します。敗者のバージョンは破棄されます。 A/B テストを終了するオプションとして統計的有意性を選択したが、30 日経過しても明確な勝者が見つからなかった場合、システムは自動的にデフォルトバージョンを送信します。
- 既定のバージョン: 最後に、テストが正常に終了しない場合に備えて、既定のバージョンを選択します。日時指定の締め切りまでに勝者が決まらなかった場合は、既定のバージョンが自動的に送信されます。
すべてを設定し、体験を公開する準備が整うまでに、A/B テストは次のようになっているはずです。

例 2: セグメントベース体験の A/B テストの作成

今月ロイヤルティプログラムに参加した新しいメンバーを歓迎する体験を作成したいと想像してみましょう。 2 つの異なる件名をテストして開封率を高めたいと考えています。

最初の例で説明した手順 1 ～ 3 を完了しますが、サイドペインの外観が異なることに気づくでしょう。これは、セグメントベースの体験では、最初から顧客の総数が決まっているためです。これにより、2 種類の A/B テストを作成できます。

対照グループを使用しない A/B テスト: この A/B テストは、勝者が決定するまで顧客がテストを通過するトリガーベースの体験と同様に動作します。
コントロールグループを使用した A/B テスト: これにより、テストする顧客の数をシステムに正確に伝えることができます。たとえば、セグメントに 100 人のロイヤルティメンバーがいる場合、最初に 20 パーセント、つまり各バージョンがそれぞれ10人のメンバーを受け入れる 20 人のメンバーでテストしたいとします。 A/B テストの後、残り 80 人のメンバーに勝利バージョンが届きます。初期の対象ユーザーと分布は、いつでも好みに合わせて調整できます。

この例では、コントロールグループを使用した A/B テストを使用します。他のすべての設定は例 1 と同じです。

A/B テストのライフサイクルを監視する

体験を公開した後、それを開いてテストのライフサイクルを追跡できます。

下書き: テストはまだ実行されていないため、設定を編集できます。
進行中 : これらのテストは現在実行中です。設定はロックされており、大幅な変更はできません。
停止: これらのテストは停止され、マーケティング担当者は送信するバージョンを選択できます。
終了: 統計的に有意な優勢な結果を見つけたり、設定された日時に終了するよう予定されている場合に、タイムアウトで完了したテストです。終了したテストは再利用できません。

結果を理解する

A/B テストの結果は、次の 3 つの可能性があります :

テストの結果、優勢な結果が明確に決まった : テストの結果、一方のバージョンのパフォーマンスがもう一方のバージョンよりも優れていると結論付けられました。優勢なバージョンには「勝者」バッジが付いており、体験でファネルした新規顧客に配布されます。
テストは決定的ではなかった : テストの結果、受信者はバージョン B と同じようにバージョン A を使用する可能性が高いと結論付けられました。この場合、既定のバージョンが体験でファネルした新規顧客に送られます。
テストが停止された : これは、作業者や他のメンバーが、テストが終了する前にテストを中止したことを意味します。この場合、作業者または他のメンバーによって指定されたバージョンが、体験でファネルした新規顧客に送信されます。

よくあるご質問

あるバージョンが別のバージョンよりもパフォーマンスが明らかに優れているように見えるのに、A/B テストの測定値が決定的ではないのはなぜですか?
- 少なくとも 1,000 人の顧客を含む大規模な対象者セットの場合、勝利バリアントの信頼レベルは少なくとも 95% である必要があります。小規模な対象者セットでは、信頼レベルが 80% にまで低くなる可能性があります。信頼レベルが低くても問題ない場合、または 1,000 未満の対象者でテストしている場合は、テストを早めに終了して最も満足したバージョンを送信するオプションが常にあります。
2 つ以上のバージョンで A/B テストを行うことはできますか?
- 現時点ではありません。
セグメントベースの体験のコントロールグループオプションが表示されないのはなぜですか?
- セグメントの合計数を変更する属性ブランチまたはタイルを配置すると、テストが完了するまでシステムは何人の顧客を保留すべきかわからないため、コントロールグループオプションは削除されます。
テストが予期せず終了してしまうのはなぜですか?
- 統計的に有意な結果を得てテストを終了することを選択した場合、システムは体験を公開してから最初の 30 日以内に勝者を獲得しようとします。どのバージョンも勝者と宣言されなかった場合、テストは終了し、デフォルトのバージョンが残りの対象ユーザーに送信されます。