A/B 실험은 두 개 이상의 게임 경험 구성(변형)을 비교하는 방법이고, 다변량(multivariate) 실험은 여러 게임 요소를 구성해 어떤 조합(변형)이 전환 목표를 달성하는 데 가장 효과적인지 판별할 수 있게 해줍니다.이는 사용자들을 무작위로 두 개 이상의 그룹으로 나누고 일정 기간 동안 각 그룹에 서로 다른 경험을 제공한 뒤, 수집된 텔레메트리에 대해 통계 분석을 수행해 실험에서 설정한 목표에 대해 어떤 변형이 더 나은 성과를 내는지 판별하는 방식으로 이루어집니다.PlayFab Experiments를 사용하면 A/B 테스트(스플릿 테스트라고도 함)와 다변량 테스트를 모두 지원할 수 있습니다.
전환은 플레이어가 수행하기를 원하는 모든 행동을 가리킵니다. 전환이 반드시 금전적 목표와 연관될 필요는 없습니다. 버튼 선택부터 구매를 통해 유료 플레이어가 되는 것까지 무엇이든 포함될 수 있습니다.전환은 실험의 목표입니다. 전환은 절대 수치인 반면, 전환율은 전환 수를 전체 플레이어 트래픽으로 나눈 값입니다.
대조 변형은 실험에서 비교의 기준으로 사용되는 기존 경험으로, 실험이 제대로 작동함을 보장하기 위해 사용됩니다. 실험에 대한 기준선 측정치를 제공합니다. 이는 여러분이 제공하는 처리(treatment)가 실험 결과의 원인이지, 실험 외부의 다른 요인이 원인이 아님을 확인시켜 줍니다.
A/B 실험에서 p-값은 변형 그룹 간에 차이가 없을 확률입니다.p-값이 높으면 A 그룹과 B 그룹 사이의 어떤 차이도 표본 노이즈에 의한 것임을 의미합니다. p-값이 낮으면(임계값 미만) 변형 간에 실제 차이가 존재하며, 표시된 델타가 가장 가능성 있는 실제 차이임을 의미합니다.
A/B 테스트에서 신뢰 구간은 표본 오차의 위험을 완화하며, 어떤 의미에서는 새로운 변형을 구현할 때 수반되는 위험을 관리해 줍니다. 도구가 “우리는 전환율이 X% +/- Y%라고 95% 신뢰합니다”라고 표시한다면, +/- Y%를 오차 범위로 감안해야 합니다. 결과에 대해 얼마나 신뢰할 수 있는가는 대체로 오차 범위가 얼마나 큰지에 달려 있습니다. 두 전환율 범위가 겹친다면, 유효한 결과를 얻기 위해 테스트를 계속해야 합니다.1종 오류(Type 1 Error):
1종 오류는 “위양성(false positive)“에 대한 척도로, 실험의 변형이 통계적으로 유의한 차이를 만들었다고 잘못 믿는 것입니다. 실제로는 결론이 나지 않았음에도 결정적인 승자가 선언됩니다.2종 오류(Type 2 Error):
2종 오류는 “위음성(false negative)“에 대한 척도로, 실험의 변형이 통계적으로 유의한 차이를 만들지 않았다고 잘못 믿는 것입니다. 대조와 변형 사이에 결정적인 승자가 있어야 함에도 선언되지 않습니다.
