실험 요약
이 가이드는 실험이라는 실무를 소개합니다. 왜 초기에 실험해야 하는지, 모범 사례 권장 사항을 자세히 설명하고, 프로세스에 익숙해지는 데 도움이 되는 정보를 제공합니다.실험이 중요한 이유
실험은 게임 경험 변경의 효과를 확인하기 위한 가장 좋은 표준(gold standard)입니다. 게임 경험 변경의 효과를 이해하고 이를 뒷받침할 데이터를 확보하면, 보다 효과적인 게임 디자인·경험·마케팅 전략을 수립할 수 있는 의사 결정을 내리기가 더 쉬워집니다. 지속적인 실험을 통해 변경 사항의 효과가 시간이 지남에 따라 감소하는지 여부를 판단할 수 있습니다. 게임 개발 여정의 어느 단계(제작 또는 운영)에 있든, PlayFab Experiments는 개인, 팀, 스튜디오가 실증 데이터를 수집하면서 게임 경험을 신중하게 변경할 수 있게 해주며, 이를 통해 게임에 무엇이 가장 잘 맞는지 정확히 파악할 수 있도록 돕습니다. 실험은 통제되고 제한된 잠재고객(플레이어 트래픽) 안에서 게이머의 행동에 대한 인사이트를 제공하는 효과적인 실무 방식입니다. 따라서 플레이어 기반을 만족스럽지 않은 게임 경험으로부터 보호할 수 있습니다. 또한 리소스를 더 효과적으로 활용하고, 라이브 게임에서 게임 기능을 손쉽게 활성화하거나 비활성화할 수 있습니다. 실험은 “우리가 그렇게 생각한다”에서 “우리가 안다”로 의사 결정의 힘을 전환시킵니다. 통제되고 제한된 잠재고객(플레이어 트래픽) 안에서 게이머의 행동에 대한 인사이트를 제공하는 효과적인 실무 방식입니다. 따라서 플레이어 기반을 거부감이 드는 게임 경험으로부터 보호할 수 있습니다. 또한 리소스를 더 잘 활용할 수 있고, 라이브 게임에서 게임 기능을 손쉽게 켜고 끌 수 있습니다. 다음은 실험 시 게임 스튜디오의 일반적인 목표입니다.- 활성 플레이어 기반 증가
- 더 높은 전환율
- 더 낮은 이탈률
실험의 신뢰성이 중요합니다
실행 중인 실험 결과를 바탕으로 의사 결정을 내릴 때는, 관계/인과관계가 존재하는지 확인하고 싶을 것입니다. 실험의 신뢰성은 실험 결과의 통계적 유의성으로 판단됩니다. PlayFab 실험 결과의 초점은 신뢰성입니다. 모든 지표는 통계적 유의성을 검사받습니다. 예를 들어 유지율에서 2%의 상승을 측정하는 실험을 실행했고 그것이 p-값 0.04로 통계적으로 유의하다고 나타났다면, 이는 A와 B 사이에 차이가 없다고 가정할 경우(즉, 귀무가설이 참이라고 가정할 경우) 2% 이상의 결과가 관찰될 확률이 4%임을 의미합니다. 실제 차이는 직접 측정할 수 없으며, 통계는 합리적인 추정치를 얻기 위해 사용됩니다. 노이즈(무작위성)가 우리를 잘못 인도할 가능성도 있습니다. 통계적 유의성은 위험 허용도와 신뢰 수준을 반영하므로 중요합니다. 지표는 매일 변동할 수 있으며, 통계 분석은 노이즈가 많은 환경에서 비즈니스 의사 결정을 위한 견고한 수학적 토대를 제공합니다. PlayFab Experiments는 지표 변동을 95% 신뢰 수준 또는 p-값 0.05에서 통계적으로 유의한 것으로 표시합니다.표본 비율 불일치(SRM, Sample Ratio Mismatch)
표본 비율 불일치(SRM이라고 함)는 실험 변형 간의 예상 사용자 비율(예: 실험 시작 전 구성한 값)과 실험 종료 시 관찰된 실제 사용자 비율 사이에 유의한 차이가 있음을 나타내는 데이터 품질 검사입니다. SRM은 대조 변형과 처리 변형에 고르지 않은 방식으로 영향을 미치는 누락된 데이터나 중복 문제가 있음을 나타냅니다. 통제된 실험의 기본 원칙은 처리 변형과 대조 변형이 통계적으로 동등해야 한다는 것입니다. 이 원칙이 위배되면 실험 결과가 선택 편향(selection bias)의 영향을 받을 수 있습니다. SRM이 있는 분석은 신뢰할 수 없는 것으로 간주되며 의사 결정에 사용해서는 안 됩니다. 실제로 실험에 SRM이 있다면, SRM을 해결하기 전까지는 분석에서 어떠한 결론도 도출해서는 안 됩니다.SRM을 감지하는 방법
대조 변형과 처리 변형 각각에 10% 트래픽으로 실행되도록 구성된 실험 예를 들어보겠습니다.
이 시나리오에서는 각 시나리오의 두 플라이트 간 실제 비율은 동일하지만, 처리와 대조의 사용자 수가 커질수록 p-값은 점점 더 작아집니다. 이는 관찰된 결과가 예상과 다름을 나타냅니다.
SRM을 조사하는 방법
SRM 조사와 해결은 복잡하고 불확실한 프로세스입니다. 따라서 SRM을 해결하려면 구조적인 접근 방식, 넓은 시야, 근본 원인 및 해결 전략의 가능성에 대한 인식이 필요합니다. 이를 위해 다음을 수행하세요.- “왜 이런 일이 발생했는가?”라는 질문부터 시작
- 그 SRM의 원인에 대한 가설을 세움
- 그 가설이 참이라면 관찰될 증거를 예측
- 그 증거를 찾음
- 원인을 분석해 해결 방안을 도출
- 이 문제가 하나의 분석/실험에서만 발생했는가, 아니면 여러 개에서 발생했는가?
- 처리(treatment)는 무엇을 하는가? 실험의 성격은 무엇인가?
- 현재(SRM)와 이전(SRM이 없던 이전 실험) 사이에 무엇이 변했는가?
- 뷰, 파이프라인, 필터 중 변경된 것이 있는가?
SRM의 일반적인 근본 원인
- 처리 경험이 대조 경험보다 게임에서 더 자주 크래시함
- 처리 경험이 의도치 않게 다른 양의 데이터를 전송함. 예를 들어 텔레메트리 버퍼를 늘리는 클라이언트 측 실험은 되돌아오는 데이터 양을 확실히 증가시켜 SRM을 유발함
실무로서의 실험
- 가설로 시작하기 실험에 명확한 목표와 시나리오가 있도록 가설을 세우세요. 또한 테스트 중인 변경 사항이 의미 있을 만큼 충분히 중요한지 확인하세요. 가설을 세울 때는 다음 템플릿을 사용하세요. 관찰 [A]와 피드백 [B]를 바탕으로, 플레이어 [D]에 대해 [C]를 변경하면 [E]가 일어날 것이라고 믿습니다. [F]를 확인하고 [G]를 얻으면 검증됩니다.
- 실험을 올바르게 스케줄링하기 신뢰할 수 있는 결과를 얻으려면 A/B 실험을 비교 가능한 기간 동안 실행하세요. 계절적 성수기와 비수기를 반드시 감안하세요.
- 실험 기간 실험에 충분한 시간을 부여하세요. 실험에 할당된 시간이 부족하면 결과가 왜곡될 수 있습니다. 실행 시간이 너무 짧으면 통계적으로 정확한 결론을 위한 충분한 데이터 포인트를 수집하지 못할 수 있습니다. 실행 시간이 너무 길면 잠재적 대상에게 승리한 변형을 롤아웃하지 못해 전환을 놓칠 위험이 있습니다. 확신이 서지 않으면 재테스트하는 것도 충분히 합리적입니다.
- 플라이트 비율(%)에 유의하기 플라이트 비율은 표본 크기를 결정합니다. 올바른 표본 크기로 잠재고객을 타깃팅하세요. 그렇지 않으면 신뢰할 수 있는 결과를 얻지 못하고, 그 데이터에 기반한 의사 결정이 잘못될 수 있습니다.
- 1종 및 2종 오류 방지하기 실험의 통계는 확실성이 아닌 확률을 제공합니다. 따라서 실험의 어느 변형이 최고인지 100% 확실하게 알려줄 수는 없습니다. 그러므로 1종 및 2종 오류를 피하세요. 1종 오류를 피하려면 의사 결정에 도달하기 전 필요한 유의 수준을 높이고(기본값으로 95%로 설정해 두었습니다) 실험을 더 오래 실행해 더 많은 데이터를 수집하세요. 2종 오류의 가능성을 줄이려면 실험의 플라이팅 모집단(표본 크기)을 늘리세요.
- 실험 중간에 변경하지 말기 이상적인 기간이 끝나기 전에 테스트를 중단하거나 원래 가설의 일부가 아니었던 새로운 변수를 도입하면 결과를 신뢰할 수 없게 됩니다. 즉, 어떤 변경이 전환 상승을 유발했는지 아니면 단지 무작위 우연인지 판단하기 어려워집니다. 변형이 많을수록 신뢰할 수 있는 결과를 얻기 위해 테스트를 더 오래 실행해야 한다는 점에 유의하세요. 세밀한 접근 방식을 취하세요. 권장 사항은 동일한 변형 그룹에서 동시에 2~4개의 변수로 실험하는 것입니다. 이것이 테스트 기간과 효율성의 최적 균형을 제공합니다.
- p-값에 반영된 통계적 유의성에 유의하기 데이터가 신뢰할 수 있는지 확인하세요. 데이터 신뢰성의 척도가 통계적 유의성이며, 이는 결과가 무작위 우연에 의한 것이 아님을 판별합니다. p-값은 AB 실험이 기반으로 하는 귀무가설에서 통계적 유의성을 판별하는 데 사용됩니다. p-값은 수집된 데이터와 귀무가설 간의 적합성을 측정합니다. p-값이 낮을수록 귀무가설을 기각하는 데 더 큰 확신을 가질 수 있습니다.
- 열린 마음 유지하기 때때로 아무리 놀랍더라도 통상적인 지식이나 이전 경험을 사용해 의사 결정을 내리기 위해 통계적 정보를 무시하고 싶은 유혹을 받을 수 있습니다. 테스트 결과에 확신이 서지 않으면 다시 실행하고 데이터를 비교해 보세요.
실험 문화와 프로세스 도입
실험 문화는 가치가 있습니다. 이를 다른 프로세스의 일부로 체화해 조직 전반에서 모두가 이점을 얻을 수 있도록 해야 합니다. 일관된 A/B 실험은 플레이어에게 긍정적인 제품 가치를 더할 방법을 찾을 확률을 높여 전환을 상당히 개선할 수 있습니다. 의사 결정 패러다임을 HiPPO(가장 급여가 높은 사람의 의견, Highest Paid Person’s Opinion) 의존에서 데이터 기반 선택으로 전환할 수 있습니다. 더 많은 직원의 아이디어가 테스트라는 형태로 빛을 볼 것입니다. 무엇보다 아이디어를 쉽게 시도할 수 있을 때, 결과와 다음 단계에 대해 이야기하게 됩니다. 그 위에 직원들은 출근하고 싶은 동기를 느낍니다. 실험 문화를 구축하려면 게임 반복(iteration)을 위한 신뢰할 수 있고 반복 가능한 프로세스를 도입하세요. 다음의 기본 단계를 사용해 지속적 실험 문화를 획득할 수 있습니다.- 목표 설정 실행 가능한 실험 목표(예: 참여도)는 팀이 ‘성장’과 같은 추상적인 목표에 매몰되지 않고 실험을 앞으로 진행할 수 있게 해줍니다.
- 팀의 지원으로 더 많이 테스트하고 우선순위 정하기 비즈니스 영향을 기준으로 가설/아이디어를 브레인스토밍하고 우선순위를 정할 수 있도록 정성적·정량적 데이터를 수집하고 분석하세요. 신뢰할 수 있고 반복 가능한 프레임워크를 사용해 실험 여정 전반에서 팀을 안내하세요. 그렇지 않으면 갑자기 더 많이 실험하고 여러 변경을 하라고 요청받았을 때 팀은 갈피를 잡지 못할 것입니다.
- 결과를 팀에 다시 전달하기 테스트 결과를 팀 단위로 공유하여 실험 주변의 모멘텀을 구축하세요. 공유는 향후 테스트를 반복하고 개선하는 방법에 대한 인사이트를 팀에 제공합니다. 이는 사람들이 추가 실험에 흥미를 느끼게 해줍니다.
- 실패 포용하기 실패는 테스트의 일부이며, 실패를 정상적인 것으로 받아들이세요. 실패가 실험을 멈추게 하지 말고, 성찰·학습하고 실험을 계속 이어가세요.
- 좋은 실험 위생 습관 실천하기 팀이 수행하는 모든 실험에 대해 표준 프로토콜을 만드세요. 이는 실험을 누가 통제하든 상관없이 실험 결과를 정확하고 의미 있게 유지하는 데 도움이 됩니다.