​

XBOX 인증 Failure Mode Analysis(FMA)

테스트에서의 의사 결정 일관성, 품질, 관련성을 개선하기.

​

요약

인증은 팀이 진정한 가치를 제공하는 이슈에만 시간을 투자하도록 하면서 의사 결정이 정확하고 일관되도록 보장해야 합니다.

​

소개

인증팀은 매년 이슈의 심각성과 규정 위반 여부를 판단하는 수천 건의 결정을 내립니다. 여러 지역에 걸쳐 있고 현장 테스터부터 리드, 관리자, 소프트웨어 엔지니어에 이르기까지 여러 계층의 내부 평가를 거치는 비즈니스 특성상, 일관된 결정을 내리는 것은 어려운 과제입니다. FMA는 관련된 모든 사람이 핵심 결정을 빠르고 일관되게 내릴 수 있도록 엄격한 프레임워크를 제공하며, 전체 문서화가 불필요할 정도로 사소한 이슈를 표시해 상당한 시간을 절약합니다.

​

개요

FMA는 각 이슈에 세 가지 서로 다른 점수를 부여하는 프레임워크를 제공합니다: 심각도(severity), 확률(probability), 재현성(repeatability). 이 점수의 합계로 이슈 유형이 다음 중 하나로 결정됩니다.

• Condition for Resubmission (CFR): 이 이슈들은 개발자가 재제출에서 문제를 해결하기 전까지는 타이틀을 출시할 수 없을 정도로 심각하거나, 특정 기간 내(종종 최종 사용자 상호 작용 첫날까지) 제공되는 콘텐츠 업데이트를 통해 해결될 수 있습니다.
• Standard Reporting Issue (SRI): 이 이슈들은 심각하지만, 제출 게시를 막을 정도로 심각하지는 않습니다.
• Issue of Note (ION): 기존 테스트 케이스에 직접 매핑할 수 없는 SRI 이슈입니다.

각 이슈가 어디에 속하는지 결정하는 논리적 진행 과정은 부분적으로 테스트 케이스의 문구와, 소매 환경에서 발생하고 있는 이벤트의 확률 및 재현성에 대한 개인적 평가를 기반으로 합니다. 의사 결정의 모든 영역을 지원하기 위해 심각도, 확률, 재현성이라는 핵심 개념을 한곳에 통합합니다. 가능하기는 하지만, 이 방식은 모든 경우를 포괄하기 위해 잠재적으로 수만 건의 항목이 있는 데이터베이스가 필요할 수 있습니다. 결과를 설명하는 데 필요한 라인 항목 수가 과도하게 많아지는 것을 피하기 위해 이슈를 구성 요소로 분리하는 것이 중요합니다. 인증의 경우 FMA는 다음과 같은 변수를 갖는 시스템을 사용합니다.

• 심각도: 6가지 가능한 결과
• 확률: 6가지 가능한 결과
• 재현성: 6가지 가능한 결과

심각도(다음 섹션에서 상세히 설명)는 설명 문자열로 구성되어 있어 데이터를 정렬하기 위한 시나리오 데이터베이스가 필요합니다. 확률과 재현성 모두는 이슈 자체에서 수학적으로 도출됩니다. 이러한 분리를 유지함으로써 테스트 케이스당 6가지 심각도 시나리오만으로 216가지의 가능성을 정렬할 수 있습니다. 테스트 케이스의 복잡성에 따라 이 수가 더 많을 수 있지만, 크게 많아지지는 않습니다. 6개의 문장을 작성하고 확률과 재현성의 개별 수학을 적용하면 216개의 개별 시나리오를 작성하는 것과 동일한 값을 얻을 수 있습니다. 관리 용이성과 사용 편의성이라는 이점도 얻을 수 있습니다.

​

FMA의 첫 번째 구성 요소: 심각도

심각도는 이벤트 외부의 어떤 것도 고려하지 않고 이슈가 얼마나 심각한지 정의할 수 있게 해줍니다. FMA 분석은 다양한 심각도 수준을 사용자 친화적인 스택으로 분해합니다. 인증의 필요에 초점을 맞춰 다음과 같은 심각도 경고가 도출되었습니다. 이 6가지 잠재 범주는 영향 없음부터 매우 큰 영향까지 각 이슈를 정의합니다. 전체 등급 부여 작업을 통해 각 범주에 가중치가 부여된 등급이 만들어졌습니다. 이 등급은 여러 사람이 이슈를 올바른 범주에 일관되게 할당하기가 비교적 쉽기 때문에 프레임워크의 견고한 부분을 이룹니다. 이 접근법에 만족하는 대신, 대신 우리는 테스트 케이스당 단계를 수정해 매우 사용자 친화적이고 특정 테스트 케이스의 특성을 반영할 수 있는 시스템을 만들었습니다. 한 가지 예로 Headset State Change (HSC)가 있습니다. 그림 1. HSC 예시. 심각도 진술은 두 가지 특정 형태를 취합니다. 첫 번째 형태는 초점을 맞춘 진술로 대부분의 이슈를 포괄합니다. 예를 들어, “타이틀이 헤드셋 상태 변경 후 사용자 경험을 저해하는 보통 수준의 오디오 손상/왜곡을 나타냅니다.” 이 스타일을 사용하면 테스트 팀이 심각도와 관련해 이슈에 올바른 범주를 정확하게 할당할 수 있습니다. 두 번째 스타일은 더 구체적입니다. 예를 들어, “타이틀이 헤드셋 상태 변경 후 TV나 헤드폰 중 어느 쪽으로도 오디오를 출력하지 않습니다.” 이 스타일은 랩에서 자주 관찰되는 특정 동작을 포착하여 이슈를 어떻게 할당해야 하는지에 대한 의문을 남기지 않습니다.

​

FMA의 두 번째 구성 요소: 확률

확률은 최종 사용자가 특정 이슈에 노출될 가능성이 얼마나 되는지 평가할 수 있게 해줍니다. 심각도에 사용된 것과 유사한 그리드가 수정되어 사용됩니다. 예시:

1. 타이틀 실행 시 이슈가 발생. 확률 = 8.
2. 온라인 세션 참여 시 이슈가 발생. 확률 = 4.
3. 이슈가 하나의 게임 모드 내 특정 하위 메뉴에서만 발생하고 다른 어느 곳에서도 발생하지 않음. 확률 = -3.

평가에는 일부 주관성이 포함됩니다. 그러나 테스터가 약간 다른 판단을 내리더라도 시스템은 신뢰할 수 있고 올바른 최종 결과를 산출합니다.

​

FMA의 세 번째 구성 요소: 재현성

재현성은 최종 사용자가 처음 발생한 후에 특정 문제를 다시 경험할 가능성이 얼마나 되는지 보여줍니다. 심각도와 확률에 사용된 것과 유사한 그리드가 수정되어 사용됩니다. 확률과 마찬가지로 테스트 결과의 빈도 값을 사용하세요. 예를 들어: 빈도:

• 콘솔 1: 5/5
• 콘솔 2: 4/5

값을 계산하려면 성공한 재현 시도 수(첫 번째 숫자)를 합하고 총 시도 수(두 번째 숫자)의 합으로 나눕니다. 이 숫자에 6을 곱해 최종 값을 얻습니다. 예시에서 계산은 다음과 같습니다: 9 ÷ 10 × 6 = 5.4, 즉 최종 재현성 값은 5입니다.

​

FMA 점수 설명

세 시스템을 올바르게 사용하면 세 개의 숫자를 얻게 됩니다. 이 숫자들을 더해 최종 점수를 얻고, 이를 이슈 유형에 매핑합니다.