Analyse des modes de défaillance (FMA) de la certification XBOX

---

​

Améliorer la cohérence, la qualité et la pertinence de la prise de décision lors des tests

​

Résumé

La certification doit garantir que la prise de décision est précise et cohérente, tout en veillant à ce que l’équipe consacre son temps uniquement aux problèmes qui offrent une réelle valeur.

​

Introduction

L’équipe de certification prend des milliers de décisions chaque année pour déterminer la gravité et la non-conformité des problèmes. Prendre des décisions cohérentes est un défi dans une organisation à la fois interrégionale et dotée de plusieurs niveaux d’évaluation interne, des testeurs sur le terrain jusqu’aux chefs d’équipe, aux gestionnaires et aux ingénieurs logiciels. La FMA offre un cadre rigoureux qui permet à toutes les personnes concernées de prendre rapidement et de façon cohérente des décisions clés, tout en économisant beaucoup de temps grâce au signalement des problèmes jugés trop mineurs pour être entièrement documentés.

​

Aperçu

La FMA fournit un cadre permettant d’attribuer trois notes différentes à chaque problème : la gravité, la probabilité et la répétabilité. La somme de ces notes détermine le type de problème, parmi les types suivants.

• Condition de nouvelle soumission (CFR) : Ces problèmes sont suffisamment graves pour que le titre ne puisse pas être livré tant que le développeur ne les a pas corrigés dans une nouvelle soumission, ou tant qu’ils ne peuvent pas être corrigés au moyen d’une mise à jour de contenu livrée dans un délai précis, souvent dès le premier jour d’interaction des utilisateurs finaux.
• Problème de signalement standard (SRI) : Ces problèmes sont graves, mais pas suffisamment pour empêcher la publication de la soumission.
• Problème à noter (ION) : Ces problèmes SRI ne peuvent pas être associés directement à un cas de test existant.

La progression logique servant à déterminer à quelle catégorie appartient chaque problème repose en partie sur la formulation des cas de test et sur une évaluation personnelle de la probabilité et de la répétabilité de l’événement dans l’environnement de vente au détail. Pour couvrir tous les aspects de la prise de décision, les concepts clés de gravité, de probabilité et de répétabilité sont réunis en un seul endroit. Bien que cela soit possible, cette approche exige une base de données comptant potentiellement des dizaines de milliers d’entrées pour couvrir toutes les éventualités. Il est important de décomposer les problèmes en leurs éléments constitutifs afin d’éviter un nombre excessif d’entrées nécessaires pour décrire un résultat. Pour la certification, la FMA utilise un système comportant les variables suivantes.

• Gravité : Six résultats possibles
• Probabilité : Six résultats possibles
• Répétabilité : Six résultats possibles

La gravité (décrite en détail dans la section suivante) est constituée de chaînes descriptives et nécessite donc une base de données de scénarios pour ordonner les données. La probabilité et la répétabilité sont toutes deux extraites mathématiquement du problème lui-même. Grâce à cette séparation, vous pouvez ordonner 216 possibilités en utilisant seulement six scénarios de gravité par cas de test. Ce nombre peut être plus élevé selon la complexité du cas de test, mais pas de beaucoup. En rédigeant six énoncés et en appliquant séparément les calculs de probabilité et de répétabilité, vous obtenez la même valeur qu’en rédigeant 216 scénarios distincts. Vous bénéficiez ainsi d’une meilleure facilité de gestion et d’utilisation.

​

Le premier élément constitutif de la FMA : la gravité

La gravité vous permet de définir à quel point un problème est grave sans tenir compte de quoi que ce soit en dehors de l’événement. L’analyse FMA décompose les différents niveaux de gravité en une échelle facile à utiliser. En fonction des besoins de la certification, l’échelle de gravité suivante a été établie. Ces six catégories possibles définissent chaque problème, de l’absence d’impact à un impact très élevé. Un exercice de cotation global a permis de créer des cotes pondérées pour chaque catégorie. Les cotes constituent un élément solide du cadre, car il est relativement facile pour plusieurs personnes d’attribuer de façon cohérente les problèmes à la bonne catégorie. Plutôt que de nous contenter de cette approche, nous avons choisi d’adapter les échelons à chaque cas de test afin de créer un système très facile à utiliser et capable de refléter les particularités de cas de test précis. Un exemple est le changement d’état du casque d’écoute (HSC). Figure 1. Exemple HSC. Remarquez qu’ils prennent deux formes précises. La première forme couvre la plupart des problèmes au moyen d’énoncés ciblés. Par exemple : « Le titre présente une corruption ou une distorsion audio modérée à la suite d’un changement d’état du casque d’écoute, ce qui nuit à l’expérience utilisateur. » Ce style permet aux équipes de test d’attribuer avec précision la bonne catégorie de gravité au problème. Le deuxième style est plus précis. Par exemple : « Le titre cesse d’émettre du son par le téléviseur ou par le casque d’écoute à la suite d’un changement d’état du casque d’écoute. » Ce style décrit des comportements précis souvent observés en laboratoire, ce qui ne laisse aucun doute quant à la façon d’attribuer le problème.

​

Le deuxième élément constitutif de la FMA : la probabilité

Définition : La probabilité nous permet d’évaluer dans quelle mesure un utilisateur final est susceptible d’être exposé à un problème donné. Nous utilisons une grille semblable à celle utilisée pour la gravité, mais avec des modifications. Exemples :

1. Le problème survient au lancement du titre. Probabilité = 8.
2. Le problème survient lorsque l’utilisateur se joint à une session en ligne. Probabilité = 4.
3. Le problème survient dans un sous-menu précis d’un seul mode de jeu et ne survient nulle part ailleurs. Probabilité = -3.

L’évaluation comporte une part de subjectivité. Cependant, le système demeure fiable et produit le bon résultat final, même lorsque les testeurs portent des jugements légèrement différents.

​

Le troisième élément constitutif de la FMA : la répétabilité

Définition : La répétabilité indique dans quelle mesure un utilisateur final est susceptible de rencontrer de nouveau un problème donné après sa manifestation initiale. Nous avons vu comment deux valeurs se rapportent à la gravité et à la probabilité du problème. Vous devez maintenant déterminer la répétabilité du problème. Utilisez une grille semblable à celles utilisées pour la gravité et la probabilité, mais avec des modifications. Comme pour la probabilité, utilisez les valeurs de fréquence tirées du résultat du test, comme les valeurs suivantes : Fréquence : Console 1 : 5/5 Console 2 : 4/5 Pour calculer la valeur, additionnez les tentatives de reproduction réussies (les premiers nombres) et divisez le résultat par la somme du nombre total de tentatives (les deuxièmes nombres). Multipliez ce nombre par 6 pour obtenir la valeur finale. Dans l’exemple, le calcul se présente ainsi : 9 ÷ 10 x 6 = 5,4, ce qui signifie que la valeur finale de répétabilité est 5.

​

Explication de la notation FMA

Lorsque vous utilisez correctement les trois systèmes, vous obtenez trois nombres. Additionnez ces nombres pour obtenir la note finale. Figure 2. Exemple de notation FMA.