Experiments
개요
PlayFab Experiments 기능은 게임에 대한 최적의 전략을 찾아내는 데 도움을 줍니다. 여러 실험을 동시에 실행하고 통계적 신뢰성을 보장할 수 있게 해줍니다. 실험을 통해 다양한 버전의 게임 구성, 가격 모델, 아웃리치 메커니즘을 비교하여 타이틀의 목표(참여, 수익화, 리텐션 등)에 가장 적합한 변형을 결정함으로써 플레이어 경험을 향상시킬 수 있습니다.PlayFab Experiments의 기능
PlayFab Experiments는 게임에서 실험을 실행하기 위한 맞춤형 솔루션입니다. Microsoft의 내부 실험 플랫폼을 기반으로 하며, Minecraft, Azure, Office, Bing 등 여러 Microsoft 제품에서 사용하는 업계 최고 수준의 기능을 제공합니다. PlayFab Experiments는 다음과 같은 기능을 제공합니다.- PlayFab Game Manager의 (대화형이고 자기 주도적인) 사용자 인터페이스와 확장 가능한 API를 통해 여러 개의 실험을 동시에 만들고 관리합니다.
- 기존 트래픽을 활용하여 원하는 대상을 무작위이지만 통제된 방식으로 타겟팅합니다. 세그먼트에 대해 실험을 수행하고 각 배리언트의 대상 청중 비율을 정의할 수 있습니다.
- 실험을 예약하거나 즉시 실행합니다.
- 실험의 스코어카드 결과를 분석합니다. 스코어카드는 안정적으로 계산되고 풍부한 통계 세부 정보를 포함합니다. 통계적 유의성을 나타내며, Sample Ratio Mismatch가 관찰되면 알림을 제공합니다.
- Title Data, Player Profile, PlayStream events, CloudScript, Insights Explorer 등 다른 PlayFab 서비스와의 통합성.
PlayFab Experiments 배리언트를 사용한 실험 구성
실험은 인게임 경험이든, 다른 게임 성장 전략이든 게임 구성을 비교합니다. 이러한 구성은 게임 코드를 통해 활성화되고 배리언트-변수 쌍 또는 배리언트-오버라이드 쌍에 매핑될 수 있습니다. 각 구성은 어떠한 게임 경험이든 활성화할 수 있도록 실험의 배리언트에 쉽게 매핑됩니다. 컨트롤 경험은 컨트롤 배리언트에 매핑되고, 하나 이상의 트리트먼트 배리언트에 매핑된 트리트먼트 경험과 비교하여 플레이어 행동을 연구하고 어떤 배리언트 경험 또는 구성이 더 잘 동작하는지 결정합니다.변수에 매핑된 게임 구성(새로운 코드 배포 불필요)
- 각 구성은 배리언트에 쉽게 매핑되며, 각 배리언트는 변수로 지원됩니다. 이러한 변수는 매개변수화를 통해 다양한 게임 경험 세트를 묶을 수 있습니다.
게임 구성으로서의 오버라이드(게임 코드 변경 불필요)
- PlayFab 서비스를 사용하는 게임 구성은 추가 코드 없이 오버라이드를 사용하여 실험할 수 있습니다.
- 오버라이드는 구성의 하위 집합으로, 기본 타이틀 데이터에 대한 수정 사항을 포함하며 Experimentation에서 배리언트로 사용될 수 있습니다. 현재 오버라이드를 사용한 실험은 Title Data를 사용하는 경우에만 가능합니다.
- Title Data와 관련된 구성은 게임의 서버 측 원격 구성을 저장하고 관리하는 데 이상적인 키-값 쌍의 집합입니다. 클라이언트 측에서 가져올 수 있도록 타이틀 전역 구성 변수를 접근 가능하고 체계적으로 유지합니다.
오버라이드를 사용한 동시 실험의 경우, 상호 배타적인 대상 청중에 대해 실험하는 것이 좋습니다. 이는 오버라이딩 구성의 올바른 할당을 보장하고 클라이언트 측에서 상호작용이 없도록 하여 통계적으로 올바른 실험 설계와 분석 결과를 가져옵니다.
PlayFab Experiments 한눈에 보기
PlayFab Experiments를 사용하면 여러 개의 무작위 실험을 관리되고 통제된 방식으로 동시에 실행할 수 있습니다. 이 과정에서 다음과 같은 일이 발생합니다.- 실행 중인 각 실험의 배리언트 그룹에 대한 고유 식별자인 variant ID가 각 플레이어 프로필에 태그됩니다. 이러한 variant ID는 클라이언트 또는 서버 측 코드를 통해 서로 다른 트리트먼트에 할당됩니다. 이를 통해 서로 다른 트리트먼트 동작을 구현합니다.
- 각 배리언트 그룹은 변수에 의해 지원되고 정의됩니다. 이러한 변수는 배리언트 그룹의 속성으로, 매개변수화를 통해 다양한 게임 경험 세트를 묶을 수 있게 합니다.
- 통계적 유의성 계산과 함께 실험 결과의 신뢰할 수 있는 계산이 제공됩니다.
- 대상 청중의 트래픽이 크게 벗어날 때 문제를 감지합니다. 이는 종종 크래시를 일으키거나 로깅에 영향을 미치는 트리트먼트로 인해 발생합니다. PlayFab의 실험 기능은 이러한 문제를 표시하여 신뢰할 수 있는 실험을 실행할 수 있게 합니다.