XBOX 認證失敗模式分析 (FMA)

---

​

提升測試中決策的一致性、品質和相關性

​

摘要

認證必須確保決策準確且一致，同時確保小組只將時間投入在真正具有價值的問題上。

​

簡介

認證小組每年要做出數千項決策，以判定問題的嚴重程度與不合規情況。 在一個跨區域且內部評估層級眾多 (從第一線測試人員到主管、經理和軟體工程師) 的業務中，做出一致的決策是一項挑戰。 FMA 提供嚴謹的架構，讓所有相關人員都能快速且一致地做出關鍵決策，同時藉由標記被視為過於輕微而無須完整記錄的問題，節省大量時間。

​

概觀

FMA 提供一個架構，為每個問題指派三個不同的分數：嚴重性、可能性和重複性。這些分數的總和會將問題類型判定為下列其中一種類型。

• 重新提交條件 (CFR)： 這些問題嚴重到在開發人員於重新提交中修正問題之前，遊戲無法出貨；或者，問題可透過在特定時間範圍內 (通常是在終端使用者互動的第一天之前) 提供的內容更新來修正。
• 標準報告問題 (SRI)： 這些問題很嚴重，但嚴重程度不足以阻止提交內容發佈。
• 注意事項問題 (ION)： 這些 SRI 問題無法直接對應到現有的測試案例。

決定每個問題歸屬的邏輯推演，部分是根據測試案例的措辭，以及對零售環境中所發生事件之可能性與重複性的個人評估。 為了服務決策的所有層面，嚴重性、可能性和重複性這些關鍵概念會集中在同一處。雖然可行，但這種方法需要一個可能包含數萬筆項目的資料庫，才能涵蓋所有可能的情況。 務必將問題拆分為其組成部分，以避免描述結果時需要過多的明細項目。 在認證方面，FMA 使用具有下列變數的系統。

• 嚴重性： 六種可能的結果
• 可能性： 六種可能的結果
• 重複性： 六種可能的結果

嚴重性 (詳見下一節) 由描述性字串組成，因此需要一個情境資料庫來排序資料。可能性和重複性則都是以數學方式從問題本身擷取而來。 藉由維持這種區隔，您只需為每個測試案例使用六個嚴重性情境，就能排序 216 種可能性。視測試案例的複雜度而定，這個數字可能會更多，但不會多出太多。 只要撰寫六個陳述，再分別套用可能性和重複性的數學計算，就能得到與撰寫 216 個個別情境相同的價值。您將獲得易於管理且容易使用的好處。

​

FMA 的第一個基礎要素：嚴重性

嚴重性可讓您在不考慮事件以外任何因素的情況下，定義問題的嚴重程度。 FMA 分析將不同的嚴重性層級細分為容易使用的堆疊。針對認證的需求，產生了下列嚴重性警告。 這六個可能的類別定義了每個問題，範圍從沒有影響到影響非常大。透過整體評等作業，為每個類別建立了加權評等。 這些評等構成了架構中穩固的一部分，因為由多位人員一致地將問題指派到正確類別相對容易。我們並未就此滿足，而是選擇修改每個測試案例的步驟，以建立一個非常容易使用、且能反映特定測試案例特性的系統。 耳機狀態變更 (HSC) 就是一個例子。 圖 1. HSC 範例。 請注意它們採用的兩種特定形式。第一種形式以重點陳述涵蓋大部分問題。例如：「遊戲在耳機狀態變更後出現中度音訊損毀/失真，降低使用者體驗。」 這種形式可讓測試小組在嚴重性方面，準確地將問題指派到正確的類別。 第二種形式則更為具體。例如：「遊戲在耳機狀態變更後，停止透過電視或耳機輸出音訊。」 這種形式能捕捉實驗室中經常看到的特定行為，讓問題的指派方式毫無疑義。

​

FMA 的第二個基礎要素：可能性

定義：可能性可讓我們評估終端使用者可能遇到特定問題的機率有多高。 我們使用與嚴重性類似的表格，但經過修改。 範例：

1. 問題在啟動遊戲時發生。可能性 = 8。
2. 問題在加入線上工作階段時發生。可能性 = 4。
3. 問題只在某個遊戲模式中的一個特定子功能表發生，且不會在其他任何地方發生。可能性 = -3。

評估包含一些主觀判斷。不過，即使測試人員的判斷略有不同，系統仍然可靠，並能產生正確的最終結果。

​

FMA 的第三個基礎要素：重複性

定義：重複性顯示終端使用者在問題首次出現後，再次遇到特定問題的可能性有多高。 我們已說明了兩個值如何與問題的嚴重性和可能性相關。您現在需要識別問題的重複性。 請使用與嚴重性和可能性類似的表格，但經過修改。 與可能性相同，請使用測試結果中的頻率值，例如下列值： 頻率： 主機 1：5/5 主機 2：4/5 若要計算值，請將成功重現的次數 (第一個數字) 加總，然後除以總嘗試次數 (第二個數字) 的總和。將此數字乘以 6，即可得到最終值。在此範例中，計算方式如下：9 ÷ 10 x 6 = 5.4，表示最終的重複性值為 5。

​

FMA 評分說明

正確使用這三個系統時，您會得到三個數字。將這些數字相加即可得到最終分數。 圖 2. FMA 評分範例。