除外グループによる相互作用効果の防止
関連する同時実験では、結果の歪みを防ぐために、プレイヤーが 1 つの実験のみを見るようにすることが重要です。ここで除外グループの出番となります。PlayFab の除外グループを使用すると、相互に排他的な実験を作成できます。 除外グループでは、参加対象のオーディエンス (プレイヤー) を一度に 1 つの実験にのみ参加するように制限します。これにより、同じユーザーが除外グループ内で重複する実験を見ることがなくなります。つまり、両方の実験が同じゲーム フローで設定され、同じプレイヤー セットを対象とする場合であっても、ある実験で収集されたデータは他の実験の影響を受けません。 除外グループでは、実験間でプレイヤーのデータが重複することなくトラフィックが割り当てられ、各実験でプレイヤーが異なるバケットにランダムに分配されます。これにより、コンバージョン率の変化が対象オーディエンスの重複やバイアスなしに正しい実験に帰属し、相互作用効果が排除されたクリーンな結果が保証されます。 関連しない実験では、プレイヤーが複数の実験に参加しても問題ありません。ただし、以下のように実験が関連していて、同時または重複する実行スケジュールがある場合には、各実験でプレイヤーを排他的に保つとよいでしょう:- 同じゲーム フロー上での構成のバリエーション
- 同じファネルに関する構成のバリエーションで、プレイヤーの重複の可能性がある場合
除外グループを使用すると、各実験がトラフィックを他と競合するため、実験の統計的検出力が低下します。したがって、実験が関連していて相互作用効果が予想される場合に除外グループを使用してください。
除外グループの作成
Game Manager から:- Title に移動します
- 左側のメニューから Experiments を選択します
- ページ右側の Experiment Settings を選択すると設定ページが開きます
- Exclusion Group の下で Add exclusion group を選択します
- グループの Name と Description を入力し、Save を選択します
ある実験が除外グループ内で実行されている場合、その実験の実行完了まで、その除外グループを削除することはできません。
除外グループを持つ実験の作成
Game Manager の Experiments ページから:- New Experiment を選択すると、実験構成ページが開きます
- Experiment Name、Description、Start Date & Time、Duration (最長 90 日) などの実験構成の詳細を入力します
- 実験の対象オーディエンスを選択します。既定では、実験のオーディエンスは「Run across all title players」です。ラジオ ボタン「Select player segment」を選択してドロップダウンを選択することで、セグメントで実験を実行するように構成します
- 相互に排他的な実験を実行するには、ボタン「Add exclusion group」を選択して Exclusion Group の下で構成します
- 既存の Exclusion group name のドロップダウン リストから除外グループを選択します
- 実験の対象となる総トラフィックの割合である % traffic allocation を入力します
- % traffic allocation が Available traffic % より大きい場合、実験のスケジュールまたは即時実行は保持されません
- Variants の下で、Control Variant と Treatment Variant を定義します
- Schedule、Save as Draft、または Run Now を選択します