Mejorar la coherencia, la calidad y la relevancia de la toma de decisiones en las pruebas
Resumen
La certificación debe garantizar que la toma de decisiones sea precisa y coherente, a la vez que asegura que el equipo invierta tiempo solo en los problemas que ofrecen un valor real.Introducción
El equipo de certificación toma miles de decisiones cada año para determinar la gravedad y el incumplimiento de los problemas. Tomar decisiones coherentes es un desafío en un negocio que abarca varias regiones y que alberga varias capas de evaluación interna, desde los evaluadores de planta hasta los responsables, los administradores y los ingenieros de software. FMA ofrece un marco estricto que permite a todos los implicados tomar decisiones clave de forma rápida y coherente, a la vez que se ahorra una cantidad de tiempo significativa al marcar los problemas considerados demasiado menores como para documentarse por completo.Información general
FMA proporciona un marco para asignar tres puntuaciones diferentes a cada problema: gravedad, probabilidad y repetibilidad. La suma de estas puntuaciones determina el tipo de problema, que será uno de los siguientes tipos.- Condición para el nuevo envío (CFR): estos problemas son lo suficientemente graves como para que el título no pueda publicarse hasta que el desarrollador corrija el problema en un nuevo envío, o bien el problema puede corregirse mediante una actualización de contenido entregada en un plazo específico, a menudo el primer día de interacción del usuario final.
- Problema de informe estándar (SRI): estos problemas son graves, pero no lo suficiente como para impedir que se publique el envío.
- Problema destacado (ION): estos problemas SRI no pueden asignarse directamente a un caso de prueba existente.
- Gravedad: seis resultados posibles
- Probabilidad: seis resultados posibles
- Repetibilidad: seis resultados posibles
El primer componente básico de FMA: la gravedad
La gravedad le permite definir lo grave que es un problema sin tener en cuenta nada ajeno al evento. El análisis FMA desglosa los distintos niveles de gravedad en una escala fácil de usar. Centrándose en las necesidades de la certificación, se elaboró la siguiente advertencia de gravedad.
Estas seis categorías posibles definen cada problema, desde ningún impacto hasta un impacto muy alto. Un ejercicio de clasificación general creó clasificaciones ponderadas para cada categoría.
Las clasificaciones constituyen una parte sólida del marco porque resulta relativamente sencillo asignar de forma coherente los problemas a la categoría correcta entre varias personas. En lugar de conformarnos con este enfoque, optamos por modificar los pasos por caso de prueba para crear un sistema muy fácil de usar y capaz de reflejar las particularidades de casos de prueba específicos.
Un ejemplo es el cambio de estado de los auriculares (HSC).
Figura 1. Ejemplo de HSC.
El segundo componente básico de FMA: la probabilidad
Definición: la probabilidad nos permite evaluar la posibilidad de que un usuario final quede potencialmente expuesto a un problema determinado. Usamos una cuadrícula similar a la que se usa para la gravedad, pero con modificaciones.
Ejemplos:
- El problema se produce al iniciar el título. Probabilidad = 8.
- El problema se produce al unirse a una sesión en línea. Probabilidad = 4.
- El problema se produce en un submenú específico dentro de un modo de juego y no se produce en ningún otro lugar. Probabilidad = -3.
El tercer componente básico de FMA: la repetibilidad
Definición: la repetibilidad muestra la posibilidad de que un usuario final vuelva a experimentar un problema determinado después de su manifestación original. Hemos visto cómo dos valores se relacionan con la gravedad y la probabilidad del problema. Ahora debe identificar la repetibilidad del problema. Use una cuadrícula similar a las que se usan para la gravedad y la probabilidad, pero con modificaciones.
Al igual que con la probabilidad, use los valores de frecuencia del resultado de la prueba, como los siguientes:
Frecuencia:
Consola 1: 5/5
Consola 2: 4/5
Para calcular el valor, sume los intentos de reproducción correctos (los primeros números) y divídalos entre la suma del número total de intentos (los segundos números). Multiplique este número por 6 para obtener el valor final. En el ejemplo, el cálculo es el siguiente: 9 ÷ 10 x 6 = 5,4, lo que significa que el valor final de repetibilidad es 5.
Explicación de la puntuación de FMA
Cuando usa correctamente los tres sistemas, obtiene tres números. Sume estos números para obtener la puntuación final. Figura 2. Ejemplo de puntuación de FMA.