​

Experiments 关键术语

要熟悉将实验作为一种实践并理解其关键术语，请阅读以下内容：

​

Experiments

A/B 实验是一种比较两种或多种游戏体验配置（变体）的方法，而多变量实验允许你配置多个游戏元素，并确定哪种组合（变体）在实现你的转化目标方面表现最佳。 这是通过将用户随机分成两个或多个组，并在一段时间内为每个组提供不同的体验来实现的，然后对收集到的遥测数据进行统计分析，以根据你为实验设定的目标确定哪个变体表现更好。 借助 PlayFab Experiments，可同时支持 A/B 测试（也称为拆分测试）和多变量测试。

​

转化率

转化是指你希望玩家采取的任何期望操作。转化不必与货币目标相关联。这可以包括从点击一个按钮到进行购买并成为玩家的任何操作。 转化是实验的目标。转化是绝对数字，而转化率是转化数除以总玩家流量。

​

假设

假设提出一个关于给定干预如何影响玩家行为的主张。假设是关于试验哪些场景以及原因，以及在更改后可能出现什么变化的想法的组合。

​

Segment

Segment 根据用户定义的合格条件/标准将单个玩家组织成共享共同特征的群组。 你可以使用一个 Segment 的自定义体验进行实验，以验证受众会做出更积极响应的假设。

​

% of target audience（目标受众百分比）

被考虑用于实验并与控制或处理变体相关联的总玩家群的百分比。

​

控制变体 (Control Variant)

控制变体是在实验中作为比较尺度使用的现有体验，以确保实验有效运行。它为实验提供基线测量。它确保你给予的处理组是导致实验结果的原因，而不是实验之外的其他因素。

​

处理变体 (Treatment Variant)

处理变体接收实验中的实验性处理或体验差异。在 A/B 实验中被研究的正是处理变体，其中包含体验的变化。

​

变量 (Variables)

定义变量以设置功能或体验配置。定义功能变量使你能够在不重新部署代码的情况下对功能进行迭代。

​

P 值 (P-value)

A/B 实验中的 P 值是变体组之间没有差异的概率。 当 P 值较高时，意味着 A 组和 B 组之间的任何差异都是由抽样噪声造成的。当 P 值较低（低于我们的阈值）时，意味着变体之间存在真正的差异，且显示的增量最有可能是实际差异。

​

置信区间 (Confidence Interval)

在 A/B 测试中，置信区间可减轻抽样误差的风险，在某种意义上管理实施新变体的相关风险。如果工具指示 “我们有 95% 的把握认为转化率是 X% +/- Y%“，那么你需要将 +/- Y% 视为误差范围。你对结果的信心程度在很大程度上取决于误差范围有多大。如果两个转化率范围重叠，你需要继续测试以获得有效结果。 第 1 类错误 (Type 1 Error)： 第 1 类错误是 “误报” 的度量，即错误地认为实验中的变体产生了统计显著性差异。虽然测试结果并不确定，但仍宣布了明确的胜出者。 第 2 类错误 (Type 2 Error)： 第 2 类错误是 “漏报” 的度量，即错误地认为实验中的变体没有产生统计显著性差异。当在控制组和变体之间本应存在明确胜出者时，却没有得出明确胜出者的结论。