​

実験の重要用語

実験の手法に慣れ、重要な用語を理解するために、以下をお読みください。

​

実験

A/B 実験はゲーム体験の 2 つ以上の構成 (バリアント) を比較する方法であり、多変量実験は複数のゲーム要素を構成し、コンバージョン目標の達成にどの組み合わせ (バリアント) が最適かを判断できるようにします。 これは、ユーザーを 2 つ以上のグループにランダムに分割し、一定期間にわたって各グループに異なる体験を提供し、収集されたテレメトリの統計分析を行うことによって行われ、実験で決めた目標に基づいてどのバリエーションが優れているかを判断します。 PlayFab 実験では、A/B テスト (スプリット テストとも呼ばれる) と多変量テストの両方をサポートしています。

​

コンバージョン率

コンバージョンとは、プレイヤーに取ってほしい行動を指します。コンバージョンは金銭的な目標に結び付いている必要はありません。ボタンを選択することから、購入してプレイヤーになることまで、あらゆることが含まれます。 コンバージョンは実験の目標です。コンバージョンは絶対数であるのに対し、コンバージョン率はコンバージョン数を総プレイヤー トラフィックで割った値です。

​

仮説

仮説は、特定の介入がプレイヤーの行動にどのような影響を及ぼすかについての主張を提示するものです。仮説は、どのシナリオを実験するのか、なぜ実験するのか、変更後にどのような変化が現れる可能性があるかについてのアイデアの組み合わせです。

​

セグメント

セグメントは、ユーザーが定義した条件/基準に従って共通の特性を共有する個々のプレイヤーをグループに整理します。 セグメントに合わせてカスタマイズされた体験で実験を実行し、対象ユーザーがより肯定的に反応するという仮説を検証できます。

​

対象プレイヤーに対する割合 (%)

実験の対象と見なされ、コントロール バリアントまたはトリートメント バリアントに関連付けられる総プレイヤー ベースに対する割合。

​

コントロール バリアント

コントロール バリアントは、実験が機能することを確認するための比較の尺度として実験で使用される既存の体験です。実験のベースライン測定を提供します。これにより、実験結果の原因が実験外の要因ではなく、適用したトリートメントであることを確認できます。

​

トリートメント バリアント

トリートメント バリアントは、実験の中で実験的なトリートメント (体験の差異) を受けます。A/B 実験で分析対象となり、体験の変更を含むのはトリートメント バリアントです。

​

変数

変数は機能や体験の構成を設定するために定義されます。機能変数を定義することで、コードを再デプロイすることなく機能を反復処理できます。

​

p 値

A/B 実験における p 値は、バリアント グループ間に差がない確率です。 p 値が高い場合、A グループと B グループの差はサンプリング ノイズによるものであることを意味します。p 値が低い (しきい値を下回る) 場合、バリアント間に確かな違いがあり、示された差異はほぼそのまま実質的な差異である可能性が高いと考えられます。

​

信頼区間

A/B テストにおいて、信頼区間はサンプリング エラーのリスクを軽減し、ある意味で新しいバリアントを実装することに関連するリスクを管理します。ツールが「コンバージョン率は X% +/- Y% であると 95% 信頼できる」と示す場合、+/- Y% を誤差幅として考慮する必要があります。結果にどの程度自信があるかは、主に誤差幅の大きさに依存します。2 つのコンバージョン範囲が重複する場合は、有効な結果を得るためにテストを続ける必要があります。 第 1 種の過誤: 第 1 種の過誤は「偽陽性」の測定値です。実験のバリエーションが統計的に有意な差を生じさせたという誤判定です。テストが結論を出せなかったにもかかわらず、決定的な有意差があると判定されます。 第 2 種の過誤: 第 2 種の過誤は「偽陰性」の測定値です。実験のバリエーションが統計的に有意な差を生じさせなかったという誤判定です。コントロールとバリエーションの間に有意差が存在するはずのときに、決定的な有意差はないと判定されます。