Análise de Modo de Falha (FMA) da Certificação XBOX

---

​

Melhorando a consistência, a qualidade e a relevância da tomada de decisões nos testes

​

Resumo

A Certificação precisa garantir que a tomada de decisões seja precisa e consistente, assegurando ao mesmo tempo que a equipe invista tempo apenas em problemas que ofereçam valor real.

​

Introdução

A equipe de Certificação toma milhares de decisões todos os anos para determinar a gravidade e a não conformidade de problemas. Tomar decisões consistentes é um desafio em uma empresa que é inter-regional e abriga várias camadas de avaliação interna, desde os testadores no laboratório até líderes, gerentes e engenheiros de software. A FMA oferece uma estrutura rigorosa que permite a todos os envolvidos tomar decisões importantes de forma rápida e consistente, economizando um tempo significativo ao sinalizar os problemas considerados pequenos demais para serem totalmente documentados.

​

Visão geral

A FMA fornece uma estrutura para atribuir três pontuações diferentes a cada problema: gravidade, probabilidade e repetibilidade. A soma dessas pontuações determina o tipo do problema como um dos tipos a seguir.

• Condição para Reenvio (CFR): esses problemas são graves o suficiente para que o título não possa ser lançado até que o desenvolvedor corrija o problema em um reenvio, ou o problema pode ser corrigido por meio de uma Atualização de Conteúdo entregue em um prazo específico, geralmente até o primeiro dia de interação do usuário final.
• Problema de Relatório Padrão (SRI): esses problemas são graves, mas não o suficiente para impedir que o envio seja publicado.
• Problema Digno de Nota (ION): esses problemas SRI não podem ser mapeados diretamente para um caso de teste existente.

A progressão lógica para decidir onde cada problema se enquadra baseia-se parcialmente na redação dos casos de teste e em uma avaliação pessoal da probabilidade e da repetibilidade do evento que ocorre no ambiente de varejo. Para atender a todas as áreas da tomada de decisões, os conceitos principais de gravidade, probabilidade e repetibilidade são reunidos em um só lugar. Embora isso seja possível, essa abordagem cria a necessidade de um banco de dados com potencialmente dezenas de milhares de entradas para cobrir todas as eventualidades. É importante dividir os problemas em suas partes componentes para evitar um número excessivo de entradas necessárias para descrever um resultado. Para a Certificação, a FMA usa um sistema com as seguintes variáveis.

• Gravidade: seis resultados possíveis
• Probabilidade: seis resultados possíveis
• Repetibilidade: seis resultados possíveis

A gravidade (conforme detalhado na próxima seção) é composta por cadeias de caracteres descritivas e, portanto, requer um banco de dados de cenários para ordenar os dados. Tanto a probabilidade quanto a repetibilidade são extraídas matematicamente do próprio problema. Ao manter essa separação, você pode ordenar 216 possibilidades usando apenas seis cenários de gravidade por caso de teste. Esse número pode ser maior, dependendo da complexidade do caso de teste, mas não muito. Ao escrever seis declarações e aplicar a matemática separada de probabilidade e repetibilidade, você obtém o mesmo valor que escrever 216 cenários separados. Você obtém o benefício da facilidade de gerenciamento e de uso.

​

O primeiro pilar da FMA: gravidade

A gravidade permite definir o quão grave é um problema sem considerar nada fora do evento. A análise de FMA divide os vários níveis de gravidade em uma pilha fácil de usar. Com foco nas necessidades da Certificação, o seguinte alerta de gravidade foi produzido. Essas seis categorias possíveis definem cada problema, de nenhum impacto até um impacto muito alto. Um exercício de classificação geral criou classificações ponderadas para cada categoria. As classificações formam uma parte robusta da estrutura, pois é relativamente fácil atribuir problemas de forma consistente à categoria correta entre várias pessoas. Em vez de nos contentarmos com essa abordagem, optamos por modificar as etapas por caso de teste para criar um sistema muito fácil de usar e capaz de refletir as particularidades de casos de teste específicos. Um exemplo é a Alteração do Estado do Headset (HSC). Figura 1. Exemplo de HSC. Observe como elas assumem duas formas específicas. A primeira forma abrange a maioria dos problemas em declarações focadas. Por exemplo, “O título apresenta corrupção/distorção de áudio moderada após uma alteração no estado do headset, o que prejudica a experiência do usuário.” Esse estilo permite que as equipes de teste atribuam com precisão a categoria correta ao problema em relação à gravidade. O segundo estilo é mais específico. Por exemplo, “O título deixa de emitir áudio pela TV ou pelos fones de ouvido após uma alteração no estado do headset.” Esse estilo captura comportamentos específicos frequentemente observados nos laboratórios, não deixando dúvidas sobre como atribuir o problema.

​

O segundo pilar da FMA: probabilidade

Definição: a probabilidade nos permite avaliar a chance de um usuário final ser potencialmente exposto a determinado problema. Usamos uma grade semelhante à usada para a gravidade, mas com modificações. Exemplos:

1. O problema ocorre ao iniciar o título. Probabilidade = 8.
2. O problema ocorre ao ingressar em uma sessão online. Probabilidade = 4.
3. O problema ocorre em um submenu específico dentro de um modo de jogo e não ocorre em nenhum outro lugar. Probabilidade = -3.

A avaliação inclui alguma subjetividade. No entanto, o sistema permanece confiável e produz o resultado final correto, mesmo quando os testadores fazem julgamentos ligeiramente diferentes.

​

O terceiro pilar da FMA: repetibilidade

Definição: a repetibilidade mostra a chance de um usuário final passar por determinado problema novamente após a manifestação original. Já abordamos como dois valores se relacionam com a gravidade e a probabilidade do problema. Agora você precisa identificar a repetibilidade do problema. Use uma grade semelhante às usadas para gravidade e probabilidade, mas com modificações. Assim como na probabilidade, use os valores de frequência do resultado do teste, como os seguintes valores: Frequência: Console 1: 5/5 Console 2: 4/5 Para calcular o valor, some as tentativas de reprodução bem-sucedidas (os primeiros números) e divida pela soma do número total de tentativas (os segundos números). Multiplique esse número por 6 para obter o valor final. No exemplo, o cálculo fica assim: 9 ÷ 10 x 6 = 5,4, o que significa que o valor final de repetibilidade é 5.

​

Explicação da pontuação de FMA

Quando você usa os três sistemas corretamente, obtém três números. Some esses números para obter a pontuação final. Figura 2. Exemplo de pontuação de FMA.