제외 그룹으로 상호작용 효과 방지
관련된 동시 실험의 경우 결과가 왜곡되는 것을 방지하기 위해 플레이어가 실험 중 하나만 볼 수 있도록 하는 것이 중요합니다. 여기에서 제외 그룹이 등장합니다. PlayFab 제외 그룹을 사용하면 상호 배타적인 실험을 만들 수 있습니다. 제외 그룹을 사용하면 참여 대상(플레이어)이 한 번에 하나의 실험에만 참여하도록 제한할 수 있습니다. 이렇게 하면 동일한 사용자가 제외 그룹 내에서 중복되는 실험을 보지 않도록 보장할 수 있습니다. 즉, 한 실험에서 수집된 데이터는 두 실험이 동일한 게임 흐름에서 설정되고 동일한 플레이어 집합을 대상으로 하더라도 다른 실험의 영향을 받지 않습니다. 제외 그룹에서는 트래픽 할당이 실험 간 플레이어 데이터가 중복되지 않도록 이루어지며, 각 실험에 대해 서로 다른 플레이어 버킷으로 무작위 분배됩니다. 이를 통해 대상 그룹의 중복이나 편향 없이 전환율의 변화가 올바른 실험에 기인한다고 볼 수 있는 깨끗한 결과를 얻을 수 있으며, 상호작용 효과가 제거됩니다. 관련 없는 실험의 경우 플레이어가 둘 이상의 실험에 참여하더라도 문제가 되지 않습니다. 하지만 아래와 같이 실험이 관련되어 있고 동시 또는 겹치는 실행 일정을 가지고 있다면, 각 실험에 대해 플레이어를 배타적으로 유지하는 것이 좋을 수 있습니다.- 동일한 게임 흐름에 대한 구성의 변형
- 플레이어 중복 가능성이 있는 동일한 퍼널을 포함하는 구성의 변형
제외 그룹을 사용하면 각 실험이 트래픽을 두고 다른 실험과 경쟁하기 때문에 실험의 통계적 검정력이 감소합니다. 따라서 실험이 관련되어 있고 상호작용 효과가 예상되는 경우에만 제외 그룹을 사용하세요.
제외 그룹 만들기
게임 관리자에서:- **타이틀(Title)**로 이동합니다.
- 왼쪽 메뉴에서 **실험(Experiments)**을 선택합니다.
- 페이지 오른쪽에서 **실험 설정(Experiment Settings)**을 선택하면 설정 페이지가 열립니다.
- 제외 그룹 아래에서 **제외 그룹 추가(Add exclusion group)**를 선택합니다.
- 그룹의 **이름(Name)**과 **설명(Description)**을 입력하고 **저장(Save)**을 선택합니다.
특정 실험이 제외 그룹 내에서 실행 중인 경우, 해당 실험이 완료될 때까지 그 제외 그룹은 삭제할 수 없습니다.
제외 그룹으로 실험 만들기
게임 관리자의 실험 페이지에서:- **새 실험(New Experiment)**을 선택하면 실험 구성 페이지가 열립니다.
- 실험 이름(Experiment Name), 설명(Description), 시작 날짜 및 시간(Start Date & Time), 기간(Duration)(최대 90일)과 같은 실험 구성 세부 정보를 입력합니다.
- 실험의 대상 그룹을 선택합니다. 기본적으로 실험의 대상 그룹은 “모든 타이틀 플레이어에 걸쳐 실행(Run across all title players)“입니다. 라디오 버튼 “플레이어 세그먼트 선택(Select player segment)“을 선택하고 드롭다운에서 선택하여 세그먼트에서 실험을 실행하도록 구성합니다.
- 상호 배타적인 실험을 실행하려면 제외 그룹(Exclusion Group) 아래에서 “제외 그룹 추가(Add exclusion group)” 버튼을 선택하여 구성합니다.
- 기존 **제외 그룹 이름(Exclusion group name)**의 드롭다운 목록에서 제외 그룹을 선택합니다.
- **% 트래픽 할당(% traffic allocation)**을 입력하는데, 이는 실험에 사용될 수 있는 총 트래픽의 백분율입니다.
- % 트래픽 할당이 **사용 가능한 트래픽 %(Available traffic %)**보다 크면 실험 예약 또는 즉시 실행이 유지되지 않습니다.
- 변형(Variants) 아래에서 **컨트롤 변형(Control Variant)**과 **처리 변형(Treatment Variant)**을 정의합니다.
- 일정 예약(Schedule), 초안으로 저장(Save as Draft), 또는 **지금 실행(Run Now)**을 선택합니다.
