テストにおける意思決定の一貫性、品質、妥当性の向上
要約
認定では、意思決定が正確かつ一貫していることを保証すると同時に、チームが真に価値のある問題にのみ時間を投資するようにする必要があります。はじめに
認定チームは、問題の深刻度と非準拠を判断するために、毎年何千もの意思決定を行っています。 複数の地域にまたがり、現場のテスターからリード、マネージャー、ソフトウェア エンジニアに至るまで、内部評価の層が幾重にも存在するビジネスにおいて、一貫した意思決定を行うことは困難です。 FMA は、関係者全員が重要な意思決定を迅速かつ一貫して行えるようにする厳格なフレームワークを提供すると同時に、完全に文書化するには軽微すぎると判断された問題にフラグを立てることで、大幅な時間の節約を可能にします。概要
FMA は、各問題に重大度、発生確率、再現性という 3 つの異なるスコアを割り当てるためのフレームワークを提供します。これらのスコアの合計により、問題の種類が次のいずれかに決まります。- 再提出条件 (CFR): これらの問題は深刻であり、開発者が再提出で問題を修正するまで、または特定の期間内 (多くの場合、エンド ユーザーが操作を開始する初日まで) に配信されるコンテンツ更新によって問題を修正できるまで、タイトルを出荷できません。
- 標準報告問題 (SRI): これらの問題は深刻ですが、提出物の公開を止めるほど重大ではありません。
- 注意事項 (ION): これらの SRI 問題は、既存のテスト ケースに直接対応付けることができません。
- 重大度: 6 つの可能な結果
- 発生確率: 6 つの可能な結果
- 再現性: 6 つの可能な結果
FMA の第 1 の構成要素: 重大度
重大度を使用すると、イベント以外のことを考慮せずに、問題がどの程度深刻であるかを定義できます。 FMA 分析では、重大度のさまざまなレベルをわかりやすい段階に分類します。認定のニーズに焦点を当てて、次の重大度の基準が作成されました。
これら 6 つのカテゴリにより、影響なしから非常に大きな影響まで、各問題が定義されます。全体的な評価作業により、各カテゴリに重み付けされた評価が作成されました。
複数の担当者間で問題を正しいカテゴリに一貫して割り当てることが比較的容易であるため、これらの評価はフレームワークの堅牢な部分を構成しています。この方法で妥協するのではなく、テスト ケースごとに段階を変更して、非常に使いやすく、特定のテスト ケースの特性を反映できるシステムを作成することにしました。
例として、ヘッドセットの状態変更 (HSC) があります。
図 1. HSC の例。
FMA の第 2 の構成要素: 発生確率
定義: 発生確率を使用すると、エンド ユーザーが特定の問題に遭遇する可能性がどの程度あるかを評価できます。 重大度に使用するものと似たグリッドを、変更を加えて使用します。
例:
- タイトルの起動時に問題が発生する。発生確率 = 8。
- オンライン セッションへの参加時に問題が発生する。発生確率 = 4。
- 1 つのゲーム モード内の特定の 1 つのサブメニューで問題が発生し、それ以外の場所では発生しない。発生確率 = -3。
FMA の第 3 の構成要素: 再現性
定義: 再現性は、最初に問題が発生した後に、エンド ユーザーがその問題に再び遭遇する可能性がどの程度あるかを示します。 ここまで、2 つの値が問題の重大度と発生確率にどのように関連するかを説明しました。次に、問題の再現性を特定する必要があります。 重大度と発生確率に使用するものと似たグリッドを、変更を加えて使用します。
発生確率と同様に、次のようなテスト結果の頻度の値を使用します。
頻度:
本体 1: 5/5
本体 2: 4/5
値を計算するには、再現に成功した試行回数 (最初の数値) を合計し、試行回数の合計 (2 番目の数値) の和で割ります。この数値に 6 を掛けると最終的な値が得られます。この例では、計算は 9 ÷ 10 x 6 = 5.4 となり、最終的な再現性の値は 5 になります。
FMA スコアリングの説明
3 つのシステムを正しく使用すると、3 つの数値が得られます。これらの数値を合計して最終スコアを求めます。 図 2. FMA スコアリングの例。