Analyse des modes de défaillance (FMA) de la certification XBOX

---

​

Améliorer la cohérence, la qualité et la pertinence de la prise de décision lors des tests

​

Résumé

La certification doit garantir une prise de décision précise et cohérente, tout en veillant à ce que l’équipe ne consacre du temps qu’aux problèmes qui apportent une réelle valeur.

​

Introduction

L’équipe de certification prend chaque année des milliers de décisions pour déterminer la gravité et la non-conformité des problèmes. Prendre des décisions cohérentes représente un défi dans une activité à la fois interrégionale et comportant plusieurs niveaux d’évaluation interne, des testeurs sur le terrain jusqu’aux responsables, aux managers et aux ingénieurs logiciels. La FMA offre un cadre strict qui permet à toutes les personnes impliquées de prendre des décisions clés rapidement et de manière cohérente, tout en faisant gagner un temps considérable grâce au signalement des problèmes jugés trop mineurs pour être entièrement documentés.

​

Vue d’ensemble

La FMA fournit un cadre permettant d’attribuer trois notes différentes à chaque problème : la gravité, la probabilité et la répétabilité. La somme de ces notes détermine le type du problème parmi les types suivants.

• Condition de nouvelle soumission (CFR) : ces problèmes sont suffisamment graves pour que le titre ne puisse pas être commercialisé tant que le développeur ne les a pas corrigés dans une nouvelle soumission, ou qu’ils ne peuvent pas être corrigés au moyen d’une mise à jour de contenu livrée dans un délai précis, souvent dès le premier jour d’interaction avec l’utilisateur final.
• Problème de signalement standard (SRI) : ces problèmes sont graves, mais pas suffisamment pour empêcher la publication de la soumission.
• Problème à noter (ION) : ces problèmes SRI ne peuvent pas être associés directement à un cas de test existant.

La progression logique permettant de décider où se situe chaque problème repose en partie sur la formulation des cas de test et sur une évaluation personnelle de la probabilité et de la répétabilité de l’événement dans l’environnement commercial. Pour couvrir tous les domaines de la prise de décision, les concepts clés de gravité, de probabilité et de répétabilité sont réunis en un seul endroit. Bien que possible, cette approche nécessite une base de données contenant potentiellement des dizaines de milliers d’entrées pour couvrir toutes les éventualités. Il est important de décomposer les problèmes en leurs éléments constitutifs afin d’éviter un nombre excessif d’entrées nécessaires pour décrire un résultat. Pour la certification, la FMA utilise un système comportant les variables suivantes.

• Gravité : six résultats possibles
• Probabilité : six résultats possibles
• Répétabilité : six résultats possibles

La gravité (détaillée dans la section suivante) est constituée de chaînes descriptives et nécessite donc une base de données de scénarios pour ordonner les données. La probabilité et la répétabilité sont toutes deux extraites mathématiquement du problème lui-même. En conservant cette séparation, vous pouvez ordonner 216 possibilités en utilisant seulement six scénarios de gravité par cas de test. Ce nombre peut être plus élevé selon la complexité du cas de test, mais pas de beaucoup. En rédigeant six énoncés et en appliquant séparément les calculs de probabilité et de répétabilité, vous obtenez la même valeur que si vous rédigiez 216 scénarios distincts. Vous bénéficiez ainsi d’une gestion simplifiée et d’une plus grande facilité d’utilisation.

​

Le premier pilier de la FMA : la gravité

La gravité vous permet de définir le sérieux d’un problème sans tenir compte de quoi que ce soit en dehors de l’événement. L’analyse FMA décompose les différents niveaux de gravité en une échelle facile à utiliser. En se concentrant sur les besoins de la certification, l’échelle de gravité suivante a été établie. Ces six catégories possibles définissent chaque problème, de l’absence d’impact à un impact très élevé. Un exercice d’évaluation global a permis d’établir des notes pondérées pour chaque catégorie. Ces notes constituent un élément solide du cadre, car il est relativement facile pour plusieurs personnes d’affecter de manière cohérente les problèmes à la bonne catégorie. Plutôt que de nous contenter de cette approche, nous avons choisi d’adapter les niveaux à chaque cas de test afin de créer un système très facile à utiliser et capable de refléter les particularités de cas de test spécifiques. Le changement d’état du casque (HSC) en est un exemple. Figure 1. Exemple HSC. Notez qu’ils prennent deux formes spécifiques. La première forme couvre la plupart des problèmes au moyen d’énoncés ciblés. Par exemple : « Le titre présente une corruption/distorsion audio modérée à la suite d’un changement d’état du casque, ce qui nuit à l’expérience utilisateur. » Ce style permet aux équipes de test d’affecter avec précision la bonne catégorie de gravité au problème. Le second style est plus spécifique. Par exemple : « Le titre cesse d’émettre du son via le téléviseur ou le casque à la suite d’un changement d’état du casque. » Ce style décrit des comportements spécifiques souvent observés en laboratoire, ce qui ne laisse aucun doute sur la manière d’affecter le problème.

​

Le deuxième pilier de la FMA : la probabilité

Définition : la probabilité nous permet d’évaluer dans quelle mesure un utilisateur final est susceptible d’être exposé à un problème donné. Nous utilisons une grille similaire à celle utilisée pour la gravité, mais avec des modifications. Exemples :

1. Le problème se produit au lancement du titre. Probabilité = 8.
2. Le problème se produit lorsque l’utilisateur rejoint une session en ligne. Probabilité = 4.
3. Le problème se produit dans un sous-menu spécifique d’un mode de jeu et nulle part ailleurs. Probabilité = -3.

L’évaluation comporte une part de subjectivité. Cependant, le système reste fiable et produit le bon résultat final, même lorsque les testeurs portent des jugements légèrement différents.

​

Le troisième pilier de la FMA : la répétabilité

Définition : la répétabilité indique dans quelle mesure un utilisateur final est susceptible de rencontrer à nouveau un problème donné après sa première manifestation. Nous avons vu comment deux valeurs se rapportent à la gravité et à la probabilité du problème. Vous devez maintenant déterminer la répétabilité du problème. Utilisez une grille similaire à celles utilisées pour la gravité et la probabilité, mais avec des modifications. Comme pour la probabilité, utilisez les valeurs de fréquence issues du résultat du test, telles que les valeurs suivantes : Fréquence : Console 1 : 5/5 Console 2 : 4/5 Pour calculer la valeur, additionnez les tentatives de reproduction réussies (les premiers nombres) et divisez le résultat par la somme du nombre total de tentatives (les seconds nombres). Multipliez ce nombre par 6 pour obtenir la valeur finale. Dans l’exemple, le calcul est le suivant : 9 ÷ 10 x 6 = 5,4, ce qui signifie que la valeur finale de répétabilité est 5.

​

Explication de la notation FMA

Lorsque vous utilisez correctement les trois systèmes, vous obtenez trois nombres. Additionnez-les pour obtenir la note finale. Figure 2. Exemple de notation FMA.