​

Análisis de modos de error (FMA) de la certificación de XBOX

Mejorar la coherencia, la calidad y la relevancia de la toma de decisiones en las pruebas.

​

Resumen

La certificación debe garantizar que la toma de decisiones sea precisa y coherente, a la vez que asegura que el equipo invierta tiempo solo en los problemas que ofrecen un valor real.

​

Introducción

El equipo de certificación toma miles de decisiones cada año para determinar la gravedad y el incumplimiento de los problemas. Tomar decisiones coherentes es un desafío en un negocio que abarca varias regiones y que alberga varias capas de evaluación interna, desde los evaluadores de planta hasta los responsables, los administradores y los ingenieros de software. FMA ofrece un marco estricto que permite a todos los implicados tomar decisiones clave de forma rápida y coherente, a la vez que se ahorra una cantidad de tiempo significativa al marcar los problemas considerados demasiado menores como para documentarse por completo.

​

Información general

FMA proporciona un marco para asignar tres puntuaciones diferentes a cada problema: gravedad, probabilidad y repetibilidad. La suma de estas puntuaciones determina el tipo de problema como uno de los siguientes tipos.

• Condición de reenvío (CFR): estos problemas son lo suficientemente graves como para que el título no pueda publicarse hasta que el desarrollador corrija el problema en un reenvío, o el problema pueda corregirse mediante una actualización de contenido entregada en un plazo específico, a menudo antes del primer día de interacción del usuario final.
• Problema de informe estándar (SRI): estos problemas son graves, pero no lo suficiente como para impedir que se publique el envío.
• Problema destacable (ION): estos problemas SRI no pueden asignarse directamente a un caso de prueba existente.

La progresión lógica para decidir dónde se sitúa cada problema se basa en parte en la redacción de los casos de prueba y en una evaluación personal de la probabilidad y la repetibilidad del evento que se produce en el entorno comercial. Para dar servicio a todas las áreas de toma de decisiones, los conceptos clave de gravedad, probabilidad y repetibilidad se reúnen en un solo lugar. Aunque es posible, este enfoque crea la necesidad de una base de datos con potencialmente decenas de miles de entradas para cubrir todas las eventualidades. Es importante dividir los problemas en sus componentes para evitar un número excesivo de entradas de línea necesarias para describir un resultado. Para la certificación, FMA usa un sistema que tiene las siguientes variables.

• Gravedad: seis resultados posibles
• Probabilidad: seis resultados posibles
• Repetibilidad: seis resultados posibles

La gravedad (como se detalla en la sección siguiente) se compone de cadenas descriptivas y, por tanto, requiere una base de datos de escenarios para ordenar los datos. Tanto la probabilidad como la repetibilidad se extraen matemáticamente del propio problema. Al mantener esta separación, puede ordenar 216 posibilidades usando solo seis escenarios de gravedad por caso de prueba. Este número podría ser mayor, según la complejidad del caso de prueba, pero no mucho. Al escribir seis instrucciones y aplicar las matemáticas independientes de la probabilidad y la repetibilidad, se obtiene el mismo valor que al escribir 216 escenarios independientes. Se obtiene el beneficio de la facilidad de administración y de uso.

​

El primer componente básico de FMA: la gravedad

La gravedad le permite definir cuán grave es un problema sin considerar nada fuera del evento. El análisis de FMA desglosa los distintos niveles de gravedad en una pila fácil de usar. Centrándose en las necesidades de la certificación, se elaboró la siguiente advertencia de gravedad. Estas seis categorías posibles definen cada problema, desde sin impacto hasta un impacto muy alto. Un ejercicio de clasificación general creó clasificaciones ponderadas para cada categoría. Las clasificaciones constituyen una parte sólida del marco porque es relativamente fácil asignar de forma coherente los problemas a la categoría correcta entre varias personas. En lugar de conformarnos con este enfoque, optamos por modificar los pasos por caso de prueba para crear un sistema muy fácil de usar y capaz de reflejar las idiosincrasias de casos de prueba específicos. Un ejemplo es el cambio de estado de los auriculares (HSC). Figura 1. Ejemplo de HSC. Las instrucciones de gravedad adoptan dos formas específicas. La primera forma cubre la mayoría de los problemas mediante instrucciones específicas. Por ejemplo, “El título presenta una corrupción/distorsión de audio moderada tras un cambio de estado de los auriculares que desmerece la experiencia del usuario”. Este estilo permite a los equipos de pruebas asignar con precisión la categoría correcta al problema en relación con la gravedad. El segundo estilo es más específico. Por ejemplo, “El título deja de emitir audio a través del televisor o de los auriculares tras un cambio de estado de los auriculares”. Este estilo captura comportamientos específicos que se observan a menudo en los laboratorios, sin dejar ninguna duda sobre cómo asignar el problema.

​

El segundo componente básico de FMA: la probabilidad

La probabilidad nos permite evaluar cuán probable es que un usuario final quede potencialmente expuesto a un problema determinado. Se usa una cuadrícula similar a la de gravedad, con modificaciones. Ejemplos:

1. El problema ocurre al iniciar el título. Probabilidad = 8.
2. El problema ocurre al unirse a una sesión en línea. Probabilidad = 4.
3. El problema ocurre en un submenú específico dentro de un modo de juego y no ocurre en ningún otro lugar. Probabilidad = -3.

La evaluación incluye cierta subjetividad. Sin embargo, el sistema sigue siendo confiable y produce el resultado final correcto, incluso cuando los evaluadores emiten juicios ligeramente diferentes.

​

El tercer componente básico de FMA: la repetibilidad

La repetibilidad muestra cuán probable es que un usuario final vuelva a experimentar un problema determinado después de la manifestación original. Se usa una cuadrícula similar a las utilizadas para la gravedad y la probabilidad, con modificaciones. Al igual que con la probabilidad, use los valores de frecuencia del resultado de la prueba. Por ejemplo: Frecuencia:

• Consola 1: 5/5
• Consola 2: 4/5

Para calcular el valor, sume los intentos de reproducción correctos (los primeros números) y divídalos entre la suma del número total de intentos (los segundos números). Multiplique este número por 6 para obtener el valor final. En el ejemplo, el cálculo es el siguiente: 9 ÷ 10 × 6 = 5,4, lo que significa que el valor final de repetibilidad es 5.

​

Explicación de la puntuación de FMA

Cuando usa los tres sistemas correctamente, obtiene tres números. Sume estos números para obtener la puntuación final, que se asigna a un tipo de problema: