테스트에서의 의사 결정 일관성, 품질 및 관련성 개선
요약
인증은 팀이 진정한 가치를 제공하는 이슈에만 시간을 투자하도록 하는 동시에 의사 결정이 정확하고 일관되도록 보장해야 합니다.소개
인증팀은 매년 이슈의 심각성과 규정 미준수 여부를 판단하기 위해 수천 건의 결정을 내립니다. 여러 지역에 걸쳐 있고 현장 테스터부터 리드, 관리자, 소프트웨어 엔지니어에 이르기까지 여러 계층의 내부 평가가 이루어지는 비즈니스에서 일관된 결정을 내리는 것은 어려운 과제입니다. FMA는 관련된 모든 사람이 핵심 결정을 빠르고 일관되게 내릴 수 있도록 엄격한 프레임워크를 제공하며, 전체 문서화가 필요 없을 만큼 사소하다고 판단되는 이슈를 표시하여 상당한 시간을 절약합니다.개요
FMA는 각 이슈에 심각도, 확률, 재현성이라는 세 가지 서로 다른 점수를 부여하기 위한 프레임워크를 제공합니다. 이 점수의 합계에 따라 이슈 유형이 다음 유형 중 하나로 결정됩니다.- Condition for Resubmission(CFR): 개발자가 재제출에서 이슈를 수정하기 전까지 타이틀을 출시할 수 없을 만큼 심각한 이슈이거나, 특정 기간 내(대개 최종 사용자 상호 작용 첫날까지)에 제공되는 Content Update를 통해 수정할 수 있는 이슈입니다.
- Standard Reporting Issue(SRI): 심각하기는 하지만 제출물의 게시를 중단시킬 만큼 심각하지는 않은 이슈입니다.
- Issue of Note(ION): 기존 테스트 케이스에 직접 매핑할 수 없는 SRI 이슈입니다.
- 심각도: 6가지 가능한 결과
- 확률: 6가지 가능한 결과
- 재현성: 6가지 가능한 결과
FMA의 첫 번째 구성 요소: 심각도
심각도를 사용하면 이벤트 외부의 요소를 고려하지 않고 이슈가 얼마나 심각한지 정의할 수 있습니다. FMA 분석은 다양한 심각도 수준을 사용하기 쉬운 단계로 세분화합니다. 인증의 요구 사항에 맞춰 다음과 같은 심각도 기준이 마련되었습니다.
이 6가지 잠재적 범주는 영향이 없는 경우부터 매우 큰 영향까지 각 이슈를 정의합니다. 전체 등급 산정 작업을 통해 각 범주에 대한 가중 등급이 만들어졌습니다.
여러 사람이 일관되게 이슈를 올바른 범주에 할당하기가 비교적 간단하기 때문에, 이 등급은 프레임워크의 견고한 부분을 이룹니다. 이 방식에 만족하는 대신, 테스트 케이스별로 단계를 수정하여 사용하기 매우 쉽고 특정 테스트 케이스의 특이성을 반영할 수 있는 시스템을 만들기로 했습니다.
한 가지 예가 Headset State Change(HSC)입니다.
그림 1. HSC 예시.
FMA의 두 번째 구성 요소: 확률
정의: 확률을 사용하면 최종 사용자가 특정 이슈에 잠재적으로 노출될 가능성이 얼마나 되는지 평가할 수 있습니다. 심각도에 사용된 것과 비슷하지만 수정된 표를 사용합니다.
예:
- 타이틀을 실행할 때 이슈가 발생합니다. 확률 = 8.
- 온라인 세션에 참가할 때 이슈가 발생합니다. 확률 = 4.
- 한 게임 모드 내의 특정 하위 메뉴 하나에서만 이슈가 발생하고 다른 곳에서는 발생하지 않습니다. 확률 = -3.
FMA의 세 번째 구성 요소: 재현성
정의: 재현성은 최초 발생 이후 최종 사용자가 특정 문제를 다시 경험할 가능성이 얼마나 되는지를 나타냅니다. 지금까지 두 값이 문제의 심각도 및 확률과 어떻게 관련되는지 살펴보았습니다. 이제 문제의 재현성을 파악해야 합니다. 심각도 및 확률에 사용된 것과 비슷하지만 수정된 표를 사용합니다.
확률과 마찬가지로 다음 값과 같은 테스트 결과의 빈도 값을 사용합니다.
빈도:
콘솔 1: 5/5
콘솔 2: 4/5
값을 계산하려면 성공한 재현 시도 횟수(첫 번째 숫자)를 합산한 다음 전체 시도 횟수(두 번째 숫자)의 합으로 나눕니다. 이 숫자에 6을 곱하면 최종 값이 됩니다. 예에서 계산은 9 ÷ 10 x 6 = 5.4이며, 최종 재현성 값은 5입니다.
FMA 점수 산정 설명
세 가지 시스템을 올바르게 사용하면 세 개의 숫자를 얻게 됩니다. 이 숫자를 더하면 최종 점수가 됩니다. 그림 2. FMA 점수 산정 예시.