Recommandations UX pour la reconnaissance vocale et l'affichage du texte dans PlayFab Party

La bibliothèque PlayFab Party permet aux créateurs de jeux de toucher davantage de joueurs grâce à des options de conversation en jeu accessibles. Elle permet de transcrire la conversation vocale en texte et de convertir le texte saisi en voix synthétisée. Vous pouvez implémenter une solution d’interface utilisateur personnalisée pour ces fonctionnalités dans votre titre. Sur XBOX et Windows, vous pouvez utiliser les API de la plateforme pour implémenter l’interface utilisateur correspondante. Ce document est la deuxième partie d’une série en deux parties consacrée aux solutions UX pour l’implémentation de la reconnaissance vocale et de la synthèse vocale. La première partie porte sur l’implémentation de la synthèse vocale, les exigences et les solutions d’interface utilisateur pour console et PC, tandis que cette rubrique porte sur l’implémentation de la reconnaissance vocale, les exigences et les solutions d’interface utilisateur pour console et PC.

​

Scénarios de synthèse vocale et de reconnaissance vocale

Le tableau suivant vous guide à travers les scénarios que les joueurs vivront lorsque vous activerez les fonctionnalités de reconnaissance vocale et de synthèse vocale. Il décrit l’impact sur l’utilisateur pour trois étapes de l’expérience de jeu : la configuration initiale, le jeu et la participation à la conversation en jeu.

​

Comprendre l’API

​

Reconnaissance vocale

​

Activation de la transcription

La transcription de l’audio entrant pour l’utilisateur associé à un contrôle de conversation local peut être activée en appelant PartyLocalChatControl::SetTranscriptionOptions(). Une fois l’opération terminée, un PartySetTranscriptionOptionsCompletedStateChange est fourni par PartyManager::StartProcessingStateChanges() pour indiquer si l’opération asynchrone a réussi.

​

Réception des transcriptions

Lorsque de l’audio est envoyé à un contrôle de conversation associé à un utilisateur local ayant activé la transcription, l’audio est transcrit. Chaque transcription est signalée par un PartyVoiceChatTranscriptionReceivedStateChange fourni par PartyManager::StartProcessingStateChanges(). Le locuteur, le ou les destinataires et le texte de la transcription sont spécifiés dans le changement d’état. En outre, le changement d’état indique si le texte de la transcription est une phrase Hypothesis ou Final. Une phrase Hypothesis est un instantané du processus de transcription qui indique un affinement itératif du texte de la transcription. Ces phrases peuvent éventuellement être utilisées pour améliorer la réactivité perçue du processus de transcription. Une phrase Final représente la fin du processus de transcription, une fois que l’utilisateur a terminé une phrase ou une expression.

​

Affichage des transcriptions

Lorsque le texte d’une transcription est reçu, il doit être affiché conformément aux recommandations de conception UX suivantes. L’API Windows::Gaming::UI::GameChatOverlay ou Windows::Xbox::UI::Accessibility peut être utilisée respectivement sur Windows ou XBOX pour utiliser l’interface utilisateur de conversation textuelle par défaut du système, conçue pour respecter ces recommandations.

​

Découverte

Sur XBOX et Windows, les utilisateurs peuvent trouver les paramètres de synthèse vocale et de reconnaissance vocale dans la section Accessibilité sous Paramètres dans l’accueil XBOX (console XBOX) ou l’application XBOX (Windows 10). Ces paramètres sont contrôlés par des boutons bascule qui activent ou désactivent les fonctionnalités, pour le profil de l’utilisateur, dans tous les jeux XBOX intégrés aux paramètres de la plateforme. Pour toutes les autres plateformes, consultez leurs recommandations d’accessibilité pour connaître l’emplacement des paramètres de synthèse vocale et de reconnaissance vocale.

​

Recommandations UX pour la création d’une fenêtre de conversation personnalisée

​

Bonnes pratiques générales

Les sous-titres et la transcription de la conversation vocale relèvent un défi similaire : afficher un texte conversationnel au rythme soutenu, superposé à un contenu multimédia riche. La documentation sur les sous-titres peut s’appliquer à une fenêtre de conversation.

​

Principes de base

1. Contraste élevé entre le texte et l’arrière-plan.
2. Évitez d’afficher trop de texte à l’écran en même temps.
3. Utilisez une taille de texte suffisamment grande pour la taille de l’écran.

​

Bonnes pratiques

1. Assurez-vous que les utilisateurs peuvent trouver et activer les paramètres de synthèse vocale avant de participer à la conversation en jeu.
2. Évitez les conflits avec les autres éléments de l’interface utilisateur.
3. Lorsque vous empilez plusieurs réponses, ajoutez les chaînes les plus récentes en bas.
4. Distinguez les différents locuteurs.
5. Utilisez une police claire et lisible.
6. Permettez à l’utilisateur de personnaliser la fenêtre de conversation et son contenu.

​

Taille de la fenêtre

Pour garantir une expérience équivalente à tous vos joueurs, il est essentiel de prendre en compte à la fois les besoins des utilisateurs et ceux de l’interface utilisateur du jeu. Cette section présente une méthode permettant de déterminer le meilleur affichage, en fonction des éléments suivants :

• Le comportement de l’utilisateur en matière de conversation.
• Les différentes dispositions de l’interface utilisateur utilisant la conversation en jeu (salles d’attente, configuration de la partie, session de jeu).
• L’impact de l’interface utilisateur pouvant être appelée par le titre (TCUI), par exemple les superpositions, les notifications toast ou le clavier virtuel.
• Les exigences de présentation, telles que les polices et la mise en forme.

​

Comportement des utilisateurs en matière de conversation

Les différentes fonctionnalités d’un jeu entraînent une densité de conversation variable. Par exemple, la salle d’attente, la session de jeu et le récapitulatif de fin de partie sont des moments où la conversation en jeu est utilisée. Toutefois, les types de discussions modifient les objectifs de l’écran. Connaître le type de discussion peut aider à déterminer si une fenêtre de conversation est essentielle ou facultative pour les besoins du gameplay. Types de discussions

• Bavardage. Non essentiel pour atteindre les objectifs. Par exemple, intérêts communs, jurons, socialisation.
• Fonctionnel. Essentiel pour atteindre les objectifs du jeu. Par exemple, coordonner la stratégie avec votre équipe.

​

Longueur des conversations : exigences minimales

Les types de discussions dans la conversation en jeu influencent un large éventail de types de réponses d’un même utilisateur (des salutations et confirmations courtes aux réponses explicatives et descriptives plus longues). Une fois que vous avez déterminé le type de discussion principal pour chaque écran, vous pouvez commencer à formuler des hypothèses générales sur le type et la longueur des réponses. L’étude de l’activité de conversation en jeu propre à votre jeu fournira les résultats les plus précis. Elle nécessite d’identifier des schémas récurrents dans les conversations de plusieurs utilisateurs. Une solution consiste à mener un test de recherche utilisateur en utilisant la fonctionnalité de reconnaissance vocale de votre jeu pour capturer les données des participants. Une autre suggestion consiste à regarder des diffusions de jeux de genres similaires et à suivre les schémas de conversation. Ces données peuvent ensuite être appliquées à cette stratégie simple pour déterminer la longueur des conversations :

• Fréquence des réponses : déterminez le nombre de réponses échangées avant une accalmie, puis faites la moyenne de ces réponses pour obtenir un chiffre final. Exemple : deux joueurs en conversation ont échangé en moyenne cinq réponses avant qu’une accalmie ne survienne.
• Longueur des réponses : déterminez le nombre moyen de mots et de caractères d’une seule réponse. Exemple : une réponse comptait en moyenne 10 mots et 35 caractères (espaces compris).
• Mise en forme : chaque changement d’état lié à la conversation inclut des informations utiles pour faciliter sa visualisation. La longueur de chaque champ doit être prise en compte pour déterminer la mise en forme. Dans l’exemple suivant, le type de message, c’est-à-dire si le message provient de la reconnaissance vocale ou d’un message texte, peut être déduit du type de changement d’état. Un PartyVoiceChatTranscriptionReceivedStateChange indique toujours un texte issu d’une entrée vocale, et un PartyChatTextReceivedStateChange indique toujours un texte issu d’une saisie de texte. L’origine de la réponse, c’est-à-dire l’expéditeur de la communication, et la réponse elle-même peuvent être déterminées à partir des champs de chaque changement d’état.

​

Taille et type de police

Le choix d’une police lisible est important pour les joueurs qui lisent du texte affiché à l’écran, dont certains peuvent avoir une basse vision. Exemple : des polices différentes de même taille peuvent présenter une lisibilité variable. Un minimum de 28 px pour le texte d’interface utilisateur en 1080p (14 sp) est recommandé pour les transcriptions de conversation présentées dans une expérience à 3 mètres (10 pieds). Comme les sous-titres, celles-ci sont affichées pendant une durée limitée ; le texte doit donc être nettement plus grand que le minimum acceptable (24 pt à 3 mètres) pour le reste de l’interface utilisateur.

​

Calcul de vos exigences de taille minimale finales

Maintenant que vous disposez de la fréquence moyenne des réponses, de la longueur des réponses, des considérations de mise en forme ainsi que de la taille et du type de police, vous pouvez déterminer la taille de fenêtre requise : Exemple : résultat de l’utilisation des spécifications ci-dessus dans une fenêtre de 525 px (l) x 395 px (h). Commencez à tester votre conception à l’aide du fichier ConversationWindow_Template.ai. Accédez à Ressources pour obtenir le fichier Adobe Illustrator (.ai) natif.

​

Position et proportions

Maintenant que vous disposez des exigences minimales de texte pour la fenêtre de conversation, vous pouvez commencer à tester le positionnement et le rapport de taille.

​

Positionnement : relatif ou fixe

L’alignement de la fenêtre de conversation sur une grille fournit un ensemble de paramètres très simple qui peut s’adapter quelle que soit la résolution de l’écran. Par exemple, l’interface utilisateur de reconnaissance vocale du système d’exploitation XBOX fait référence à neuf zones (Gauche/Haut, Gauche/Centre, Gauche/Bas, Milieu/Haut, etc.) pour le positionnement. Si votre jeu s’affiche dans plusieurs résolutions d’écran (4K, PC), vous n’aurez pas à vous soucier de la mise à l’échelle des valeurs de pixels X,Y en 1080p vers une autre taille d’écran. En disposant d’un nombre prédéterminé de positions relatives, vous n’aurez pas à lutter avec du code hérité pour maintenir un positionnement au pixel près des éléments de conception, des polices ou des zones sécurisées. Votre conception garantit plutôt une position relative. Envisagez de définir plusieurs positions pour tenir compte de la complexité variable des écrans :

• Identifiez les écrans où l’activité de conversation en jeu est essentielle.
• Évitez d’entraver l’interaction. (Voir la remarque)
• Évitez de masquer des détails essentiels. (Voir la remarque)

​

Personnalisation contrôlée par l’utilisateur

Il peut y avoir des écrans où il n’y a tout simplement pas de place pour une fenêtre de conversation, quelle que soit sa taille. Exemple : l’interface utilisateur des résultats de fin de partie occupe tout l’écran. Une fenêtre de conversation risque de masquer des statistiques essentielles.

​

Solutions aux conflits entre l’interface utilisateur du jeu et la fenêtre de conversation

1. L’utilisateur doit pouvoir désactiver la fonctionnalité via le système d’exploitation.
   Idéalement, l’utilisateur a la possibilité de quitter le jeu et d’activer ou de désactiver l’option de reconnaissance vocale à l’aide des paramètres d’options d’ergonomie.
   • Impact sur l’interface utilisateur : AUCUN
   • Impact sur l’expérience utilisateur : MAUVAIS
   Exemple : désactivation du paramètre de reconnaissance vocale via les paramètres du système d’exploitation. (Ceci illustre un chemin critique pour la console XBOX One)
2. Le jeu fournit aux utilisateurs une méthode pour réduire la fenêtre. Disposer d’un paramètre de reconnaissance vocale permettant de réduire ou de déplacer la fenêtre offre une flexibilité supplémentaire au concepteur et à l’utilisateur.
   • Impact sur l’interface utilisateur : MODÉRÉ Nécessite l’ajout d’un bouton permettant de réduire/agrandir la fenêtre de conversation dans un menu de paramètres du jeu. Nous recommandons que cette option n’apparaisse que lorsque la reconnaissance vocale est activée.
   • Impact sur l’expérience utilisateur : BON Il s’agit d’une solution en 3 clics dans laquelle les menus de paramètres sont accessibles dans le jeu.
   Exemple : réduire/agrandir la fenêtre de reconnaissance vocale via le menu Options du jeu (chemin critique console XBOX/PC Exemple sur console : ajouter un paramètre de reconnaissance vocale dans le menu Pause. Exemple sur PC : ajouter un paramètre de reconnaissance vocale dans le menu Pause. Permettre aux utilisateurs de réduire ou d’agrandir la fenêtre de conversation leur laisse le choix. Le jeu n’a pas à essayer d’éviter d’empiéter sur des zones d’écran essentielles. Les écrans de jeu qui ne nécessitent pas de réponse immédiate laissent aux utilisateurs le temps de détourner leur attention et de modifier leurs paramètres. Ils peuvent réduire ou agrandir la fenêtre sans mettre fin à la session. Rendez la navigation vers ce paramètre et depuis celui-ci aussi efficace que possible. Pour les écrans de jeu qui nécessitent une réponse immédiate, ou lorsque le pointer-cliquer (PC) n’est pas possible, un bouton ou une commande de touche peut être directement associé. Exemple sur console : un bouton est associé à l’activation/désactivation de l’affichage et est indiqué dans la légende. Exemple sur PC : un bouton est associé à l’activation/désactivation de l’affichage et est indiqué dans la légende.

​

Exigences fonctionnelles

• La conversation continue d’être suivie lorsque la fenêtre est réduite.
• L’utilisateur peut agrandir la fenêtre et voir les dernières réponses. (L’utilisateur ne voit pas l’historique des réponses manquées.)
• Cette option apparaît lorsque le paramètre de reconnaissance vocale du profil de l’utilisateur est détecté comme activé.
• Ce paramètre ne remplace pas le paramètre de reconnaissance vocale du profil du système d’exploitation.

​

Fréquence d’affichage

L’activité de conversation fluctue entre les joueurs au cours des sessions de jeu. Il n’y a aucun intérêt à garder ouverte une fenêtre de conversation vide lorsque les joueurs ne discutent pas. Fermez automatiquement la fenêtre lorsque la conversation est inactive pendant une période définie. Exemple : la fenêtre de reconnaissance vocale se ferme après 15 s d’inactivité. Cette valeur est basée sur le temps nécessaire à un utilisateur pour lire un message de 280 caractères.

​

Défilement

Pendant les conversations en cours, la fenêtre doit permettre d’afficher les réponses les plus récentes. Les réponses les plus récentes s’affichent en bas des réponses et défilent vers le haut.

​

Différenciation visuelle

Il peut être tentant de concevoir cette fenêtre de conversation pour qu’elle corresponde au style de votre interface utilisateur. Toutefois, la fenêtre de conversation a une fonction spécifique, distincte des autres composants du jeu. Elle présente des informations qui proviennent de l’extérieur des instructions du jeu. Il s’agit d’informations de jeu qui utilisent également du texte et des cadres. Un utilisateur pourrait confondre la fenêtre de conversation avec de véritables composants du jeu si elles se ressemblent trop. Par conséquent, la superposition de conversation doit posséder des attributs uniques qui la distinguent clairement de l’interface utilisateur du jeu. Le degré de différenciation est laissé à l’appréciation du concepteur.

​

Fermeture ou destruction de la fenêtre de conversation

Un jeu doit déterminer quand la fenêtre de conversation reste active (pendant que l’utilisateur effectue plusieurs tâches) ou quand elle doit se fermer (par exemple, lorsque l’utilisateur quitte une session de conversation). N’oubliez pas que cette fenêtre représente une conversation en direct et ne doit pas être confondue avec la messagerie instantanée. Par exemple, si un utilisateur s’éloigne de sa console ou met un jeu en pause, la conversation continue, mais il aura manqué les réponses échangées avant son retour.

​

Interface utilisateur pouvant être appelée par le titre (TCUI)

Exemple sur console : le Guide XBOX One est une TCUI et dispose d’une superposition transparente qui assombrit l’écran. Il est courant que l’interface utilisateur système d’une plateforme soit la couche visible « supérieure » de toute interface utilisateur de jeu ou d’application. Par exemple, l’interface utilisateur déclenchée par le système d’exploitation XBOX One (messages d’erreur, clavier virtuel, notifications toast, Guide XBOX One, sélecteur de personnes et autres éléments) applique une superposition noire semi-transparente en plein écran avec sa fenêtre de contenu.

• Impact sur l’expérience utilisateur : la visibilité de la fenêtre de conversation sera réduite.

​

Conclusion

Les API de synthèse vocale et de reconnaissance vocale de PlayFab Party sont des fonctionnalités très efficaces pour inclure un plus large éventail d’utilisateurs dans un jeu et dans les conversations de jeu. Plus les joueurs s’investissent et tissent des liens, plus ils sont susceptibles de continuer à jouer. Ces recommandations vous aideront à garantir la meilleure expérience utilisateur possible.

​

Ressources

​

Modèles de conception

• PlayFab Parties_AI_Templates.zip Contenu :
  • PlayFab Parties_9GridTemplate.ai
  • ConversationWindow_Template.ai

​

Recommandations relatives aux menus de narration par synthèse vocale

• Interactions vocales
• API de synthèse vocale (Windows)

​

Série UX sur la synthèse vocale et la reconnaissance vocale dans PlayFab Party

• Partie 1 : Recommandations UX pour la synthèse vocale et la saisie de texte dans PlayFab Party
• Partie 2 : Recommandations UX pour la reconnaissance vocale et l’affichage du texte dans PlayFab Party

​

Documentation du SDK

• « Accessible in-game chat overview » dans le SDK PlayFab (consultez Téléchargements du SDK)

​

Recommandations en matière d’accessibilité

• Griffiths, Gareth. Subtitles: Increasing Game Accessibility, Comprehension Gamasutra
• Game Accessibility Guidelines Une référence simple pour la conception de jeux inclusifs

​

Conception inclusive

• Initiative Gaming for Everyone de XBOX
• Conception inclusive Boîte à outils et formation Microsoft Design
• Kojouharov, Stefan. 10 Tips on Creating an Addictive ChatBot Cité dans ce document pour des conseils sur l’interface utilisateur conversationnelle.