Récapitulatif des expériences
Ce guide vous présente la pratique de l’expérimentation. Il explique pourquoi vous devez expérimenter tôt, présente des recommandations de bonnes pratiques et fournit des informations pour vous aider à vous familiariser avec le processus.Pourquoi l’expérimentation est importante
Les expériences sont la référence absolue pour identifier les effets des modifications apportées à l’expérience de jeu. Si vous comprenez les effets des modifications de l’expérience de jeu et que vous disposez de données pour les étayer, il est plus facile de prendre des décisions qui vous permettent d’élaborer une conception de jeu, des expériences et des stratégies marketing plus efficaces. L’expérimentation continue vous permet de déterminer si l’efficacité de vos modifications diminue au fil du temps. Quelle que soit l’étape du développement de jeu (création ou exploitation) à laquelle vous vous trouvez, PlayFab Experiments permet aux individus, aux équipes et aux studios d’apporter des modifications réfléchies aux expériences de jeu tout en collectant des données empiriques, ce qui vous aide à déterminer exactement ce qui fonctionne le mieux pour le jeu. Les expériences sont une pratique efficace qui vous donne un aperçu du comportement des joueurs sur une audience contrôlée et limitée (trafic de joueurs), protégeant ainsi votre base de joueurs d’une expérience de jeu insatisfaisante. Vous pouvez également mieux utiliser vos ressources et activer ou désactiver facilement des fonctionnalités dans un jeu en production. Les expériences vous aident à passer d’une prise de décision fondée sur « nous pensons » à une prise de décision fondée sur « nous savons ». Il s’agit d’une pratique efficace qui vous donne un aperçu du comportement des joueurs sur une audience contrôlée et limitée (trafic de joueurs), protégeant ainsi votre base de joueurs d’une expérience de jeu rebutante. De plus, il est possible de mieux utiliser les ressources et d’activer ou de désactiver facilement des fonctionnalités dans un jeu en production. Voici quelques objectifs courants des studios de jeux lorsqu’ils expérimentent :- Augmenter la base de joueurs actifs
- Améliorer le taux de conversion
- Réduire le taux d’attrition
La fiabilité des expériences est importante
Lorsque vous prenez des décisions en fonction des résultats des expériences que vous exécutez, vous devez vous assurer qu’une relation de causalité existe. La fiabilité d’une expérience est déterminée par la signification statistique de ses résultats. La fiabilité est au cœur des résultats des expériences PlayFab. La signification statistique de toutes les métriques est vérifiée. Par exemple, si vous exécutez une expérience qui mesure une hausse de deux pour cent de la rétention et que celle-ci est indiquée comme statistiquement significative avec une valeur p de 0,04, cela signifie qu’il y a 4 % de chances qu’un résultat de 2 % ou plus ait été observé en supposant qu’il n’y ait aucune différence entre A et B (c’est-à-dire en supposant que l’hypothèse nulle soit vraie). La différence réelle n’est pas directement mesurable, et les statistiques sont utilisées pour en obtenir une estimation raisonnable. Il existe un risque que le bruit (le hasard) nous induise en erreur. La signification statistique est importante, car elle reflète votre tolérance au risque et votre niveau de confiance. Les métriques peuvent fluctuer d’un jour à l’autre, et l’analyse statistique fournit une base mathématique solide pour prendre des décisions commerciales dans un environnement bruité. PlayFab Experiments signale les mouvements de métriques comme statistiquement significatifs avec un niveau de confiance de 95 % ou une valeur p de 0,05.Déséquilibre du ratio d’échantillonnage (SRM)
Un déséquilibre du ratio d’échantillonnage (SRM, Sample Ratio Mismatch) est un contrôle de la qualité des données qui indique une différence significative entre les proportions attendues d’utilisateurs entre les variantes d’une expérience (par exemple, configurées avant le début de l’expérience) et les proportions réelles d’utilisateurs observées à la fin de l’expérience. Un SRM indique qu’il existe des données manquantes ou un problème de redondance qui affecte les variantes de contrôle et de traitement de manière inégale. Le principe de base des expériences contrôlées exige que les variantes de traitement et de contrôle soient statistiquement équivalentes. Lorsque ce principe n’est pas respecté, les résultats de l’expérience peuvent souffrir d’un biais de sélection. Une analyse présentant un SRM est considérée comme non fiable et vous ne devez pas l’utiliser pour prendre des décisions. En effet, si une expérience présente un SRM, ne tirez aucune conclusion de l’analyse (pas avant d’avoir résolu le SRM).Comment détecter un SRM
Prenons l’exemple d’une expérience configurée pour s’exécuter avec 10 % du trafic dans chacune des variantes de contrôle et de traitement.
Dans ce scénario, même si le ratio réel entre les deux déploiements est le même dans chaque cas, la valeur p diminue à mesure que le nombre d’utilisateurs dans les groupes Treatment et Control augmente. Cela indique que le résultat observé n’est pas celui attendu.
Comment examiner un SRM
L’examen et la résolution d’un SRM constituent un processus complexe et incertain. La résolution d’un SRM nécessite donc une approche structurée, avec une vision panoramique et une connaissance de la probabilité des causes profondes et des stratégies de résolution. Pour cela :- Commencez par la question « pourquoi cela s’est-il produit ? »
- Formulez une hypothèse sur la cause de ce SRM
- Prévoyez quelles seraient les preuves observées si cette hypothèse était vraie
- Trouvez ces preuves
- Analysez la cause pour identifier une solution
- Cela s’est-il produit dans une seule analyse/expérience ou dans plusieurs ?
- Que fait le traitement ? Quelle est la nature de l’expérience ?
- Quelque chose a-t-il changé entre maintenant (SRM) et avant (expérience précédente sans SRM) ?
- Des vues, pipelines ou filtres ont-ils changé ?
Causes profondes courantes des SRM
- L’expérience de traitement dans le jeu plante plus souvent que l’expérience de contrôle
- L’expérience de traitement envoie involontairement des quantités de données différentes. Par exemple, une expérience côté client qui augmente la mémoire tampon de télémétrie augmentera certainement la quantité de données renvoyées, ce qui provoquera un SRM
L’expérimentation en tant que pratique
- Commencez par une hypothèse Formulez une hypothèse pour vous assurer que l’expérience a un objectif et un scénario clairs. Assurez-vous également que les modifications que vous testez sont suffisamment importantes pour avoir un impact. Pour formuler une hypothèse, utilisez le modèle suivant : En raison de l’observation [A] et des retours [B], nous pensons que modifier [C] pour les joueurs [D] produira [E]. Cela sera validé lorsque j’observerai [F] et obtiendrai [G].
- Planifiez correctement l’expérience Pour obtenir des résultats fiables, exécutez vos expériences A/B sur des périodes comparables. Tenez compte des pics et des creux saisonniers.
- Durée d’une expérience Accordez suffisamment de temps à l’expérience. Un temps insuffisant alloué à l’expérience peut fausser les résultats. Si la durée d’exécution est trop courte, vous risquez de ne pas collecter suffisamment de points de données pour une conclusion statistiquement exacte. Si la durée d’exécution est trop longue, vous risquez de manquer des conversions en ne déployant pas la variante gagnante auprès des joueurs potentiels. En cas de doute, il est parfaitement raisonnable de refaire le test.
- Faites attention au pourcentage d’un déploiement Le pourcentage de déploiement détermine la taille de votre échantillon. Ciblez l’audience avec la bonne taille d’échantillon ; sinon, vous n’obtiendrez pas de résultats fiables et les décisions prises sur la base de ces données risquent d’être erronées.
- Évitez les erreurs de type 1 et de type 2 Les statistiques des expériences fournissent une probabilité, pas une certitude. Elles ne peuvent donc pas garantir à 100 % qu’une variante de l’expérience est la meilleure. Évitez donc les erreurs de type 1 et de type 2. Pour éviter une erreur de type 1, relevez le niveau de signification requis avant de prendre une décision (ce que nous avons fait pour vous en le fixant à 95 % par défaut) et exécutez l’expérience plus longtemps afin de collecter davantage de données. Pour réduire le risque d’erreur de type 2, augmentez la population de déploiement de l’expérience (taille de l’échantillon).
- N’apportez pas de modifications en cours d’expérience Si vous interrompez le test avant la fin de la durée idéale ou introduisez de nouvelles variables qui ne faisaient pas partie de l’hypothèse d’origine, les résultats ne seront pas fiables. En d’autres termes, il serait difficile de déterminer si l’une des modifications a entraîné la hausse des conversions ou s’il s’agit simplement du hasard. Notez que plus il y a de variantes, plus vous devez exécuter les tests longtemps pour obtenir des résultats fiables. Adoptez une approche granulaire. Nous recommandons d’expérimenter avec 2 à 4 variables dans un même groupe de variantes à la fois. C’est le meilleur équilibre entre durée et efficacité des tests.
- Faites attention à la signification statistique reflétée par la valeur p Assurez-vous que les données sont fiables. La mesure de la fiabilité des données est la signification statistique, qui détermine que les résultats ne sont pas dus au hasard. Les valeurs p sont utilisées pour déterminer la signification statistique dans le cadre de l’hypothèse nulle sur laquelle reposent les expériences A/B. Elles mesurent la compatibilité entre les données collectées et l’hypothèse nulle. Plus la valeur p est faible, plus on peut rejeter l’hypothèse nulle avec confiance.
- Gardez l’esprit ouvert Vous pourriez parfois être tenté d’ignorer les informations statistiques au profit des connaissances conventionnelles, voire de votre expérience passée, pour prendre une décision, aussi surprenant que soit le résultat. Si les résultats d’un test ne vous convainquent pas, exécutez-le à nouveau et comparez les données.
Adopter une culture et un processus d’expérimentation
La culture de l’expérimentation est précieuse. Vous devez l’intégrer aux autres processus afin que toute l’organisation en bénéficie. Une expérimentation A/B régulière peut améliorer considérablement la conversion, car vous avez plus de chances de trouver des moyens d’apporter une valeur produit positive aux joueurs. Vous pouvez faire évoluer le paradigme de prise de décision, en passant de la dépendance aux HiPPO (Highest Paid Person’s Opinion, l’avis de la personne la mieux payée) à des choix fondés sur les données. Davantage d’idées des employés verront le jour sous forme de tests. Surtout, lorsqu’il est facile d’essayer des idées, parlez des résultats et des étapes suivantes. En outre, les employés se sentent motivés à venir travailler. Pour bâtir une culture de l’expérimentation, mettez en place des processus fiables et reproductibles pour l’itération du jeu. Vous pouvez acquérir une culture d’expérimentation constante en suivant les étapes fondamentales suivantes :- Fixez des objectifs Des objectifs d’expérience concrets (par exemple, l’engagement) permettent à l’équipe d’avancer dans ses expériences, plutôt que de rester bloquée sur des objectifs abstraits comme la « croissance ».
- Testez davantage avec le soutien de votre équipe et établissez des priorités Collectez et analysez des données qualitatives et quantitatives afin de pouvoir trouver des hypothèses ou des idées et de les hiérarchiser en fonction de leur impact sur l’activité. Guidez votre équipe tout au long du parcours d’expérimentation à l’aide d’un cadre fiable et reproductible ; sinon, l’équipe se sentira perdue si vous lui demandez soudainement d’expérimenter davantage et d’apporter de multiples modifications.
- Communiquez les résultats à votre équipe Créez une dynamique autour de l’expérimentation en communiquant les résultats des tests en équipe. Ce partage donne à l’équipe des indications sur la façon d’itérer et d’améliorer les tests futurs, et suscite l’enthousiasme pour de nouvelles expériences.
- Acceptez l’échec L’échec fait partie des tests ; normalisez-le. Ne laissez pas l’échec freiner l’expérimentation : prenez du recul, tirez-en des leçons et continuez à expérimenter.
- Adoptez une bonne hygiène d’expérimentation Créez un protocole standard pour chaque expérience exécutée par votre équipe. Cela permet de garantir l’exactitude et la pertinence des résultats des expériences, quelle que soit la personne qui pilote l’expérience.