​

実験の重要用語

実験を実践として理解し、重要用語を理解するために、以下を読んでください:

​

実験

A/B 実験はゲーム体験の 2 つ以上の構成 (バリアント) を比較する方法であり、マルチバリアント実験は複数のゲーム要素を構成し、コンバージョン目標の達成にどの組み合わせ (バリアント) が最適かを判断できるようにします。 これは、ユーザーを 2 つ以上のグループにランダムに分割し、一定期間にわたって各グループに異なる体験を提供し、収集されたテレメトリの統計分析を行うことによって行われ、実験で決めた目標に基づいてどのバリエーションが優れているかを判断します。 PlayFab Experiments では、A/B テスト (スプリット テストとも呼ばれる) とマルチバリアント テストの両方をサポートしています。

​

コンバージョン率

コンバージョンとは、プレイヤーに取って欲しい任意の望ましい行動を指します。コンバージョンは金銭的な目標に結び付いている必要はありません。ボタンを選択することから、購入してプレイヤーになることまで、あらゆることが含まれます。 コンバージョンは実験の目標です。コンバージョンは絶対数であるのに対し、コンバージョン率はコンバージョン数を総プレイヤー トラフィックで割った値です。

​

仮説

仮説は、特定の介入がプレイヤーの行動にどのような影響を及ぼすかについての主張を提示するものです。仮説は、どのシナリオを実験するのか、なぜ実験するのか、変更後にどのような変化が現れる可能性があるかについてのアイデアの組み合わせです。

​

セグメント

セグメントは、ユーザーが定義した条件/基準に従って共通の特性を共有する個々のプレイヤーをグループに整理します。 セグメントに合わせてカスタマイズされた体験で実験を実行し、オーディエンスがより肯定的に反応するという仮説を検証できます。

​

対象オーディエンスの %

実験の対象と見なされ、コントロール バリアントまたはトリートメント バリアントに関連付けられる総プレイヤー ベースに対する割合。

​

コントロール バリアント

コントロール バリアントは、実験が機能することを確認するための比較の尺度として実験で使用される既存の体験です。実験のベースライン測定を提供します。これは、実施している処置が実験結果を引き起こしていること、そして実験外の何かではないことを確認します。

​

トリートメント バリアント

トリートメント バリアントは、実験の中で実験的処置 (体験の差異) を受けます。A/B 実験で研究され、体験の変更を含むのはトリートメント バリアントです。

​

変数

変数は機能や体験の構成を設定するために定義されます。機能変数を定義することで、コードを再デプロイすることなく機能を反復できます。

​

P 値

A/B 実験における p 値は、バリアント グループ間に差がないという確率です。 p 値が高い場合、A グループと B グループの差はサンプリング ノイズによるものであることを意味します。p 値が低い (しきい値未満) の場合、バリアント間に実際の差があり、示された差分が最も可能性の高い実際の差であることを意味します。

​

信頼区間

A/B テストにおいて、信頼区間はサンプリング エラーのリスクを軽減し、ある意味で新しいバリアントを実装することに関連するリスクを管理します。ツールが「コンバージョン率は X% +/- Y% であると 95% 信頼できる」と示す場合、+/- Y% を誤差幅として考慮する必要があります。結果にどの程度自信があるかは、主に誤差幅の大きさに依存します。2 つのコンバージョン範囲が重複する場合は、有効な結果を得るためにテストを続ける必要があります。 タイプ 1 エラー: タイプ 1 エラーは「偽陽性」の尺度であり、実験のバリエーションが統計的に有意な差を生じさせたという誤った信念です。テストが結論を出せなかったにもかかわらず、決定的な勝者が宣言されます。 タイプ 2 エラー: タイプ 2 エラーは「偽陰性」の尺度であり、実験のバリエーションが統計的に有意な差を生じさせなかったという誤った信念です。実際は勝者が存在するはずのときに、コントロールとバリエーションの間で決定的な勝者が宣言されません。