XBOX 認定における Failure Mode Analysis (FMA)
テストにおける意思決定の一貫性、品質、および妥当性の向上。概要(Abstract)
認定においては、意思決定が正確かつ一貫していることを担保しつつ、チームが真に価値のある問題にのみ時間を投じるようにする必要があります。はじめに
認定チームは、問題の重大性と非準拠性を判定するために、毎年何千もの意思決定を行います。 一貫した意思決定を行うことは、複数の地域にまたがり、フロアのテスター、リード、マネージャー、ソフトウェアエンジニアといった複数の社内評価レイヤーが存在するビジネスにおいては課題です。 FMA は、関係者全員が迅速かつ一貫した重要な意思決定を行えるようにする厳格なフレームワークを提供すると同時に、完全にドキュメント化するには軽微すぎると判断される問題にフラグを立てることで大幅な時間の節約を実現します。概要
FMA は、各問題に 重大度(severity)、発生確率(probability)、および 再現性(repeatability) の 3 つの異なるスコアを割り当てるフレームワークを提供します。これらのスコアの合計により、問題タイプが以下のいずれかに決定されます。- Condition for Resubmission (CFR): これらの問題は深刻であり、開発者が再提出で修正するか、特定の期限(多くの場合エンドユーザー操作の初日まで)以内に Content Update を通じて修正できない限り、タイトルを出荷できません。
- Standard Reporting Issue (SRI): これらの問題は深刻ですが、提出物のパブリッシュを止めるほど厳しくありません。
- Issue of Note (ION): 既存のテストケースに直接マッピングできない SRI の問題です。
- 重大度: 6 通りの潜在的な結果
- 発生確率: 6 通りの潜在的な結果
- 再現性: 6 通りの潜在的な結果
FMA の第 1 の構成要素: 重大度(Severity)
重大度により、事象の外側にあるものを考慮することなく、問題がどれほど深刻かを定義できます。 FMA 分析は、重大度のさまざまなレベルをユーザーフレンドリーなスタックに分解します。認定のニーズに焦点を当てて、以下の重大度警告が作成されました。
これら 6 つの潜在的カテゴリが、影響なしから非常に高い影響まで、各問題を定義します。総合評価のエクササイズにより、各カテゴリに重み付けされた評価が作成されました。
これらの評価は、複数の人物にわたって問題を正しいカテゴリに一貫して割り当てることが比較的容易であるため、フレームワークの堅牢な部分を構成します。このアプローチにとどまらず、私たちは代わりに、非常にユーザーフレンドリーで特定のテストケースの特殊性を反映できるシステムを作るために、テストケースごとにステップを修正することを選びました。
一例が Headset State Change (HSC) です。
図 1. HSC の例。
重大度ステートメントには 2 つの特定の形式があります。第 1 の形式は、集中的なステートメントでほとんどの問題をカバーします。例: 「タイトルは、ヘッドセット状態の変更後にユーザーエクスペリエンスを損なう中程度のオーディオ破損/歪みを示す。」 このスタイルにより、テストチームは重大度に関連して問題を正しいカテゴリに正確に割り当てられます。
第 2 のスタイルはより具体的です。例: 「タイトルは、ヘッドセット状態の変更後に TV またはヘッドフォンのいずれかからのオーディオ出力を停止する。」 このスタイルは、ラボでよく見られる特定の動作をとらえ、問題の割り当て方法に疑いの余地を残しません。
FMA の第 2 の構成要素: 発生確率(Probability)
発生確率により、エンドユーザーが特定の問題に遭遇する可能性がどれほどあるかを評価できます。重大度で使用したものと類似のグリッドを修正して使用します。
例:
- タイトル起動時に問題が発生。発生確率 = 8。
- オンラインセッション参加時に問題が発生。発生確率 = 4。
- 1 つのゲームモード内の特定のサブメニューでのみ問題が発生し、他では発生しない。発生確率 = -3。
FMA の第 3 の構成要素: 再現性(Repeatability)
再現性は、最初の発生後にエンドユーザーが同じ問題を再度経験する可能性を示します。重大度と発生確率で使用したものと類似のグリッドを修正して使用します。
発生確率と同様に、テスト結果から頻度値を使用します。例:
頻度:
- コンソール 1: 5/5
- コンソール 2: 4/5