使用排除组防止交互效应
对于相关的并发实验,玩家只能看到其中一个实验以防止结果出现偏差非常重要。这就是排除组发挥作用的地方。PlayFab 排除组允许你创建相互排斥的实验。 使用排除组,你可以将参与的目标受众(玩家)限制为一次只能参与一个实验。这样可确保在排除组内相同的用户不会看到重叠的实验。这意味着为一个实验收集的数据不会受到任何其他实验的影响,即使这两个实验都设置在相同的游戏流程中并针对相同的玩家集。 在排除组中,流量分配的进行不会在实验之间重叠玩家数据,并且在每个实验的不同玩家桶中随机分配。这可确保得到干净的结果,其中转化率的变化归因于正确的实验,没有偏差和目标受众重叠,消除任何交互效应。 对于不相关的实验,玩家是否成为多个实验的一部分无关紧要。但是,如果实验相关,如下面所示,具有并发或重叠的运行时间表,你可能希望让玩家专属于每个实验:- 同一游戏流程上的配置变化
- 涉及同一漏斗且存在玩家重叠可能性的配置变化
使用排除组会降低你实验的统计功效,因为每个实验都在与其他实验竞争流量。因此,当实验相关且预期存在交互效应时才使用排除组。
创建排除组
从 Game Manager 中:- 导航到你的 Title
- 从左侧菜单中选择 Experiments
- 在页面右侧选择 Experiment Settings,打开设置页面
- 在 Exclusion Group 下,选择 Add exclusion group
- 输入组的 Name 和 Description,然后选择 Save
如果某些实验正在某个排除组内运行,则该排除组在其下所有实验运行完成之前无法删除。
创建带排除组的实验
从 Game Manager 的 Experiments 页面:- 选择 New Experiment,打开实验配置页面
- 输入实验配置详细信息,如 Experiment Name、Description、Start Date & Time、Duration(最长 90 天)
- 为实验选择目标 Audience。默认情况下,实验的受众是”Run across all title players”。通过选择单选按钮”Select player segment”并从下拉菜单中选择来配置在 Segment 上运行实验
- 要运行相互排斥的实验,通过选择按钮”Add exclusion group”在 Exclusion Group 下进行配置
- 从现有 Exclusion group name 的下拉列表中选择排除组
- 输入 % traffic allocation,即有资格参与该实验的总流量百分比
- 如果 % traffic allocation 大于 Available traffic %,则实验的排期或立即运行将不会保留
- 在 Variants 下,定义 Control Variant 和 Treatment Variant(s)
- 选择 Schedule、Save as Draft 或 Run Now
