Resumo de experimentos
Este guia apresenta a prática de experimentação. Ele detalha por que você deve experimentar desde cedo, recomendações de práticas recomendadas e fornece informações para ajudar você a se familiarizar com o processo.Por que os experimentos são importantes
Os experimentos são o padrão-ouro para identificar os efeitos das alterações na experiência de jogo. Se você entender os efeitos das alterações na experiência de jogo e tiver dados para comprová-los, será mais fácil tomar uma decisão que permita criar designs de jogo, experiências e estratégias de marketing mais eficazes. A experimentação contínua permite determinar se a eficácia das suas alterações diminui com o tempo. Independentemente da etapa da jornada de desenvolvimento do jogo (criação ou operação) em que você esteja, o PlayFab Experiments permite que indivíduos, equipes e estúdios façam alterações cuidadosas nas experiências de jogo enquanto coletam dados empíricos, o que, por sua vez, ajuda a descobrir exatamente o que funciona melhor para o jogo. Os experimentos são uma prática eficaz que oferece insights sobre o comportamento de um jogador em um público controlado e limitado (tráfego de jogadores), protegendo assim sua base de jogadores de uma experiência de jogo insatisfatória. Além disso, você pode aproveitar melhor os recursos e habilitar ou desabilitar facilmente recursos do jogo em um jogo ao vivo. Os experimentos ajudam você a passar de um poder de decisão baseado em “achamos” para um baseado em “sabemos”. É uma prática eficaz que oferece insights sobre o comportamento do jogador com um público controlado e limitado (tráfego de jogadores), protegendo assim sua base de jogadores de uma experiência de jogo desagradável. Além disso, é possível aproveitar melhor os recursos e habilitar/desabilitar facilmente recursos do jogo em um jogo ao vivo. Estas são algumas metas comuns dos estúdios de jogos ao experimentar:- Aumento da base de jogadores ativos
- Taxa de conversão mais alta
- Taxa de rotatividade mais baixa
A confiabilidade do experimento é importante
Ao tomar decisões com base nos resultados dos experimentos que está executando, você deve garantir que exista uma relação/causalidade. A confiabilidade de um experimento é equiparada à significância estatística dos resultados do experimento. A confiabilidade é o foco dos resultados dos experimentos do PlayFab. Todas as métricas são verificadas quanto à significância estatística. Por exemplo, se você executar um experimento que mede um aumento de dois por cento na retenção e ele for mostrado como estatisticamente significativo com um valor-p de 0,04, isso significa que há 4% de chance de que um resultado de 2% ou mais tivesse sido observado supondo que não houvesse diferença entre A e B (ou seja, supondo que a hipótese nula seja verdadeira). A diferença real não é diretamente mensurável, e a estatística é usada para obter uma estimativa razoável. Há uma chance de que o ruído (aleatoriedade) nos engane. A significância estatística é importante porque reflete sua tolerância a riscos e seu nível de confiança. As métricas podem flutuar de um dia para o outro, e a análise estatística fornece uma base matemática sólida para tomar decisões de negócios em um ambiente ruidoso. O PlayFab Experiments sinaliza movimentos de métricas como estatisticamente significativos com 95% de confiança ou um valor-p de 0,05.Incompatibilidade de proporção de amostra (SRM)
Uma incompatibilidade de proporção de amostra (conhecida como SRM) é uma verificação de qualidade de dados que indica uma diferença significativa entre as proporções esperadas de usuários entre as variantes do experimento (por exemplo, configuradas antes do início do experimento) e as proporções reais de usuários observadas no final do experimento. Um SRM indica que há dados ausentes ou um problema de redundância que afeta as variantes de controle e de tratamento de maneira desigual. O princípio básico dos experimentos controlados exige que as variantes de tratamento e de controle sejam estatisticamente equivalentes. Quando esse princípio é violado, os resultados do experimento podem sofrer de viés de seleção. Uma análise que tem SRMs é considerada não confiável e você não deve usá-la para tomar decisões. De fato, se um experimento tiver um SRM, não tire conclusões da análise (não até que você tenha resolvido o SRM).Como detectar SRM
Vejamos um exemplo em que um experimento está configurado para ser executado com 10% do tráfego em cada uma das variantes de controle e de tratamento.
Nesse cenário, embora a proporção real entre os dois flights seja a mesma em cada cenário, obtém-se um valor-p cada vez menor para contagens de usuários maiores em Treatment e Control. Isso indica que o resultado observado não é o esperado.
Como investigar o SRM
A investigação e a resolução do SRM são um processo complexo e incerto. Portanto, resolver um SRM exige uma abordagem estruturada, com uma visão panorâmica e a consciência da probabilidade das causas raiz e das estratégias de resolução. Para isso:- Comece com a pergunta “por que isso aconteceu?”
- Formule uma hipótese sobre a causa desse SRM
- Preveja quais seriam as evidências observadas se essa hipótese fosse verdadeira
- Encontre essas evidências
- Analise a causa para identificar uma solução
- Isso aconteceu em apenas uma análise/experimento ou em vários?
- O que o tratamento faz? Qual é a natureza do experimento?
- Algo mudou entre agora (SRM) e antes (experimento anterior sem SRM)?
- Algum dos modos de exibição, pipelines ou filtros mudou?
Causas raiz comuns de SRMs
- A experiência de tratamento no jogo falha mais do que a experiência de controle
- A experiência de tratamento envia involuntariamente quantidades diferentes de dados. Por exemplo, um experimento no cliente que aumenta o buffer de telemetria certamente aumentará a quantidade de dados que retorna, o que causará um SRM
Experimentos como prática
- Comece com uma hipótese Formule uma hipótese para garantir que o experimento tenha uma meta e um cenário claros. Além disso, verifique se as alterações que você está testando são significativas o bastante para importar. Para formar uma hipótese, use o seguinte modelo: Por causa da observação [A] e do feedback [B], acredita-se que alterar [C] para os jogadores [D] fará [E] acontecer. Isso será validado quando eu vir [F] e obtiver [G].
- Agende o experimento corretamente Para obter resultados confiáveis, execute seus experimentos A/B por períodos comparáveis. Leve em conta os picos e vales sazonais.
- Duração de um experimento Dê tempo suficiente ao experimento. Um tempo insuficiente alocado para o experimento pode distorcer os resultados. Se o tempo de execução for muito curto, talvez você não colete pontos de dados suficientes para uma conclusão estatisticamente precisa. Se o tempo de execução for muito longo, você corre o risco de perder conversões por não distribuir a variante vencedora aos potenciais jogadores. Em caso de dúvida, é perfeitamente razoável testar novamente.
- Preste atenção à % de um flight A % do flight determina o tamanho da amostra. Direcione o público com o tamanho de amostra correto; caso contrário, você não obterá resultados confiáveis, e as decisões tomadas com base nesses dados poderão ser falhas.
- Evite erros do tipo 1 e do tipo 2 A estatística em experimentos fornece probabilidade, não certeza. Portanto, ela não pode fornecer 100% de certeza de que uma variante do experimento é a melhor. Por isso, evite erros do tipo 1 e do tipo 2. Para evitar o erro do tipo 1, aumente o nível de significância exigido antes de chegar a uma decisão (o que já fizemos para você, definindo-o como 95% por padrão) e execute o experimento por mais tempo para coletar mais dados. E, para reduzir a chance de erro do tipo 2, aumente a população de flighting do experimento (tamanho da amostra).
- Não faça alterações no meio de um experimento Se você interromper o teste antes do fim da duração ideal ou introduzir novas variáveis que não faziam parte da hipótese original, os resultados não serão confiáveis. Ou seja, seria difícil determinar se uma das alterações causou o aumento nas conversões ou se foi apenas acaso. Observe que, quanto mais variações houver, mais tempo você precisará executar os testes para obter resultados confiáveis. Adote uma abordagem granular. A recomendação é experimentar de 2 a 4 variáveis em qualquer grupo de variantes ao mesmo tempo. Isso oferece o melhor equilíbrio entre duração do teste e eficiência.
- Preste atenção à significância estatística refletida no valor-p Verifique se os dados são confiáveis. A medida da confiabilidade dos dados é a significância estatística, que determina que os resultados não se devem ao acaso. Os valores-p são usados para determinar a significância estatística em uma hipótese nula, na qual os experimentos A/B se baseiam. Ele mede a compatibilidade entre os dados coletados e a hipótese nula. Quanto menor ele for, mais confiança se pode ter ao rejeitar a hipótese nula.
- Mantenha a mente aberta Às vezes, você pode ficar tentado a ignorar as informações estatísticas em favor do conhecimento convencional ou até de experiências anteriores para tomar a decisão, não importa o quanto isso o surpreenda. Se você não estiver convencido dos resultados de um teste, execute-o novamente e compare os dados.
Adote a cultura e o processo de experimentos
A cultura de experimentos é valiosa. Você deve incorporá-la como parte dos outros processos, para que todos na organização se beneficiem dela. A experimentação A/B consistente pode melhorar substancialmente a conversão, pois você tem mais chances de encontrar formas de agregar valor positivo ao produto para os jogadores. Você pode mudar o paradigma de tomada de decisões, deixando de depender das HiPPOs (a opinião da pessoa mais bem paga) para passar a fazer escolhas baseadas em dados. Mais ideias dos funcionários verão a luz do dia na forma de testes. Mais importante, quando é fácil experimentar ideias, fale sobre os resultados e as próximas etapas. Além disso, os funcionários se sentem motivados a vir trabalhar. Para criar uma cultura de experimentação, introduza processos confiáveis e repetíveis para a iteração do jogo. Você pode adquirir uma cultura de experimentação constante usando as seguintes etapas fundamentais:- Defina metas Metas de experimento acionáveis (por exemplo, engajamento) permitem que a equipe avance com os experimentos, em vez de ficar presa a objetivos abstratos como “crescimento”.
- Teste mais com o apoio da sua equipe e priorize Colete e analise dados qualitativos e quantitativos para que hipóteses/ideias possam ser discutidas e priorizadas com base no impacto nos negócios. Oriente sua equipe ao longo de toda a jornada de experimentação usando uma estrutura confiável e repetível; caso contrário, a equipe se sentirá perdida se você, de repente, pedir que ela experimente mais e faça várias alterações.
- Comunique os resultados à sua equipe Crie impulso em torno da experimentação comunicando os resultados dos testes em equipe. O compartilhamento fornece à equipe insights sobre como iterar e melhorar os testes futuros. Isso deixa as pessoas entusiasmadas com novas experimentações.
- Aceite o fracasso O fracasso faz parte dos testes; normalize-o. Não deixe que o fracasso paralise a experimentação; reflita, aprenda e siga em frente para continuar experimentando.
- Pratique uma boa higiene de experimentos Crie um protocolo padrão para cada experimento que sua equipe executar. Isso ajuda a manter os resultados dos experimentos precisos e significativos, independentemente de quem esteja controlando o experimento.