Recommandations UX pour la synthèse vocale et la saisie de texte dans PlayFab Party

La bibliothèque PlayFab Party permet aux créateurs de jeux d’impliquer davantage de joueurs grâce à des options de chat de jeu accessibles. Elle permet de transcrire le chat vocal en texte et de convertir la saisie de texte en voix synthétisée. Vous pouvez implémenter une solution d’interface utilisateur personnalisée pour ces fonctionnalités dans votre titre. Sur XBOX et Windows, vous pouvez utiliser les API de la plateforme pour implémenter l’interface utilisateur correspondante. Cette rubrique constitue la première partie d’une série en deux parties consacrée aux solutions UX pour l’implémentation de la reconnaissance vocale (speech-to-text) et de la synthèse vocale (text-to-speech). La première partie se concentre sur l’implémentation de la synthèse vocale, les exigences et les solutions d’interface utilisateur pour console et PC, tandis que la deuxième partie se concentre sur l’implémentation de la reconnaissance vocale, les exigences et les solutions d’interface utilisateur pour console et PC.

​

Scénarios de synthèse vocale et de reconnaissance vocale

Le tableau suivant vous présente les scénarios que les joueurs vivront lorsque vous activerez les fonctionnalités de reconnaissance vocale et de synthèse vocale. Il décrit l’impact sur l’utilisateur à trois étapes de l’expérience de jeu : la configuration initiale, le jeu et la participation au chat de jeu.

​

Comprendre l’API

​

Synthèse vocale

​

Types de synthèse vocale

Party prend en charge deux types de synthèse vocale : Voice Chat (chat vocal) et Narration. Le type Voice Chat correspond au scénario dans lequel un utilisateur choisit d’utiliser l’audio de synthèse vocale comme voix pour la communication par chat vocal. Lorsque cette page évoque Party et la synthèse vocale, il s’agit généralement de ce scénario. Le type Narration correspond au scénario dans lequel l’audio de synthèse vocale doit être lu sur la sortie audio de l’utilisateur. Il sert principalement à prendre en charge le scénario « d’audition de voix », dans lequel un utilisateur compare l’audio de différentes options de voix de synthèse pour sélectionner le profil qu’il préfère utiliser dans les scénarios de chat vocal. Bien que ce type puisse être utilisé pour des scénarios de narration arbitraires définis par le jeu, chaque plateforme fournit généralement une solution plus flexible pour la narration dans le jeu, comme l’API Speech Synthesis sur XBOX et Windows. Chaque méthode utilisée pour démarrer une opération de synthèse vocale prend un paramètre PartySynthesizeTextToSpeechType qui spécifie lequel des deux scénarios de synthèse vocale est utilisé.

​

Profils de voix de synthèse vocale

Un profil de voix de synthèse vocale définit les caractéristiques audio utilisées pour générer l’audio de synthèse vocale. Les profils varient selon la langue, les paramètres régionaux et le genre. Plusieurs options peuvent exister pour chaque combinaison. Party prend en charge tous les profils pris en charge par Azure Cognitive Services. Consultez la référence sur la prise en charge des langues pour obtenir la liste complète des langues et options de voix prises en charge. Les options de profil peuvent également être énumérées par la bibliothèque Party. La première étape consiste à démarrer une opération asynchrone qui remplira les profils de synthèse vocale via PartyLocalChatControl::PopulateAvailableTextToSpeechProfiles(). Une fois l’opération terminée, ce qu’indique PartyManager::StartProcessingStateChanges() en fournissant un PartyPopulateAvailableTextToSpeechProfilesCompletedStateChange, les profils peuvent être interrogés via PartyLocalChatControl::GetAvailableTextToSpeechProfiles().

​

Configuration du profil de voix de synthèse vocale

Avant que la bibliothèque Party puisse générer de la synthèse vocale, le titre doit configurer le profil de voix de synthèse vocale. Une opération asynchrone de configuration du profil peut être démarrée via PartyLocalChatControl::SetTextToSpeechProfile(). La fin de l’opération est indiquée par PartyManager::StartProcessingStateChanges() qui fournit un PartySetTextToSpeechProfileCompletedStateChange.

​

Synthèse du texte en parole

Une fois que le titre a configuré un profil de voix de synthèse vocale, le texte peut être synthétisé en audio vocal via PartyLocalChatControl::SynthesizeTextToSpeech(). Pour le scénario Voice Chat, les données audio apparaîtront comme si elles avaient été capturées « naturellement » par le microphone associé à l’utilisateur qui démarre l’opération de synthèse vocale. Cela revient à ce que l’utilisateur tienne le microphone devant un ordinateur qui parle en son nom. Pour le scénario Narration, les données audio seront lues sur la sortie audio de l’utilisateur. La synthèse vocale est une opération asynchrone ; la fin de l’opération est indiquée par PartyManager::StartProcessingStateChanges() qui fournit un PartySynthesizeTextToSpeechCompletedStateChange. Bien qu’un profil de voix doive être configuré avant de synthétiser du texte en parole, il n’est pas nécessaire d’attendre la fin de l’opération asynchrone démarrée par PartyLocalChatControl::SetTextToSpeechProfile() avant d’appeler PartyLocalChatControl::SynthesizeTextToSpeech(). Si une opération de profil est en cours, l’opération de synthèse vocale sera mise en file d’attente et démarrera une fois l’opération de profil terminée.

​

Messagerie texte

En plus de la synthèse vocale, Party prend en charge la messagerie texte traditionnelle. Bien que de nombreux titres associent la synthèse vocale à la messagerie texte, ce n’est pas une obligation : Party prend en charge la synthèse vocale et la messagerie texte en tant que fonctionnalités indépendantes. Pour plus d’informations, consultez Comprendre le chat.

​

UX de la synthèse vocale

La synthèse vocale permet à une personne d’utiliser la plateforme pour envoyer un flux vocal synthétisé aux participants actifs du chat de jeu. C’est idéal pour permettre à cette personne de participer lorsqu’aucun système de chat textuel n’est disponible et que toute la communication passe par le chat vocal du jeu.

​

Découverte

Sur XBOX et Windows, les utilisateurs peuvent trouver les paramètres de synthèse vocale et de reconnaissance vocale dans la section Accessibilité sous Paramètres dans l’Accueil XBOX (console XBOX) ou l’application XBOX (Windows 10). Les paramètres sont contrôlés par des boutons bascules qui activent ou désactivent les fonctionnalités pour tous les jeux XBOX intégrant les paramètres de la plateforme, de manière spécifique au profil utilisateur. Pour toutes les autres plateformes, consultez leurs recommandations en matière d’accessibilité pour connaître l’emplacement des paramètres de synthèse vocale et de reconnaissance vocale.

​

Options d’entrée/sortie de texte

Un titre est responsable de l’invite et de l’acceptation du texte. Il peut s’agir d’un champ de saisie de texte personnalisé ou du clavier fourni par la plateforme. La saisie obtenue peut ensuite être transmise à PlayFab Party pour être convertie en flux synthétique. Ce flux est envoyé aux autres joueurs de la session de chat sous forme de voix. Le destinataire traite ce flux vocal de la même manière qu’un autre flux vocal provenant d’un utilisateur parlant dans un microphone.

1. Clavier virtuel du système d’exploitation de la console (exemple sur console XBOX)

2. Clavier virtuel du système d’exploitation du PC (exemple sous Windows 10) L’API PlayFab Party prend en charge la réception d’entrées sur toutes les plateformes. Cependant, les composants de saisie de texte ne sont pas fournis de manière cohérente sur ces plateformes.
   • Sur la console XBOX, les jeux peuvent s’appuyer sur le clavier virtuel. Il dispose de sa propre zone de saisie, qui accepte le texte qui est ensuite fourni au titre.
   • Sous Windows, les jeux peuvent s’appuyer sur le clavier virtuel avec une réserve : il ne dispose pas de zone de saisie. Cela signifie que le jeu doit fournir une zone de saisie de texte pour accepter les frappes générées par le clavier virtuel. Même si le jeu ne prend pas en charge le chat textuel traditionnel, la saisie de texte peut être nécessaire pour la prise en charge de la synthèse vocale.

   ​

   Recommandation UX (Windows)

   Les jeux multiplateformes qui ne prennent pas en charge la messagerie texte traditionnelle doivent fournir une zone de saisie de texte pour accepter les frappes afin de prendre en charge la synthèse vocale.
3. Un clavier personnalisé fourni par le jeu (exemple sur console)

• Les jeux ont un contrôle total sur la visibilité.
• Les jeux peuvent enrichir le clavier pour y inclure des phrases de réponse rapide.

​

Quick Chat : une solution pour tous

Tenez compte de l’activité de chat de vos joueurs, du type de discussion et des objectifs de l’écran. Par exemple, pendant les sessions de jeu actives, ouvrir un clavier et taper des réponses avec une manette serait fastidieux, mais pourrait s’avérer essentiel. Proposer aux utilisateurs une méthode leur permettant de choisir rapidement dans une liste de réponses prédéfinies contribuerait grandement à résoudre ce problème. Pour les utilisateurs qui activent la narration, chaque réponse prédéfinie serait narrée. La liste des réponses étant prédéfinie, la traduction gagnerait en précision. Le jeu aurait le contrôle sur les termes contextuels et propres au jeu, adaptés à ses joueurs. Voici deux exemples, utilisant les plateformes console XBOX et Windows 10 :

​

1a. Liste de phrases associée au pavé directionnel

Appuyer sur une direction (haut, bas, gauche, droite) du pavé directionnel ouvre la catégorie choisie. Une fois la liste de la catégorie ouverte, les directions du pavé directionnel s’appliquent aux choix de cette catégorie. Pour changer de catégorie, l’utilisateur attend que la fenêtre se ferme (deux secondes d’inactivité), puis choisit une autre direction du pavé directionnel pour ouvrir une nouvelle liste de réponses.

​

1b. Liste de phrases associée à un clavier

Appuyer sur une touche numérique (1-4) ouvre la catégorie choisie. Une fois la liste de la catégorie ouverte, les touches numériques s’appliquent aux choix de cette catégorie. Pour changer de catégorie, l’utilisateur attend que la fenêtre se ferme (deux secondes d’inactivité), puis choisit une autre touche numérique pour ouvrir une nouvelle liste de réponses.

​

1c. Liste de phrases associée à un clavier avec paramètres de réponse personnalisables

Allez plus loin avec cette fonctionnalité en permettant à l’utilisateur de choisir parmi un éventail de réponses.

• Exemple sur console : pour les fichiers natifs des modèles de conception pour clavier et manette, consultez Ressources.

Dans la première image, le menu Options comprend une section Chat. Cet écran affiche les réponses par défaut et celles sélectionnées par l’utilisateur, classées en quatre catégories de types de conversation (compliments, instructions, etc.). Chaque catégorie est associée à une direction du pavé directionnel en un seul appui. Chaque réponse est associée à une direction du pavé directionnel en double appui. Un utilisateur peut sélectionner une réponse à modifier en appuyant sur A. Dans la deuxième image, une fenêtre contextuelle propose une liste de dix réponses. Un utilisateur peut en sélectionner jusqu’à quatre, chacune étant associée à une direction du pavé directionnel selon l’ordre de sélection.

​

Schéma de manette pour l’association des réponses

Certains jeux proposent déjà une association personnalisée des commandes de la manette pour diverses préférences de jeu. Cet exemple propose un schéma de manette alternatif pour la synthèse vocale et la reconnaissance vocale. Les utilisateurs peuvent choisir dans une liste de réponses prédéfinies et les associer aux quatre directions du pavé directionnel. Les gâchettes hautes gauche et droite permettent de parcourir les catégories ; le bouton Y lance un clavier virtuel pour les réponses personnalisées. Pendant une session de jeu, un utilisateur peut changer de schéma de commandes à l’aide d’une pression de bouton dédiée (attribuée par le jeu). Dans ce cas, le bouton B permet de quitter ce mode.

​

Conseils pour les réponses Quick Chat : une méthode pour impliquer les joueurs

Et si les joueurs pouvaient personnaliser une solution de chat rapide qui améliore les échanges entre joueurs ? Et s’il existait une solution qui maximise les performances de jeu tout en réduisant les obstacles à la communication ? Quick Chat s’en approche, en permettant aux utilisateurs de choisir dans une liste de réponses prédéfinies. Cependant, ces réponses se limitent généralement à des phrases redondantes qui semblent automatisées et ennuyeuses. Les recommandations ci-dessous présentent une stratégie pour maintenir l’engagement des joueurs.

​

Objectif : rendre ce comportement automatique

Si Quick Chat répond à un besoin de manière répétée, une habitude peut se former. Réfléchissez aux moyens de déclencher des réponses et à la manière dont elles peuvent répondre au besoin conversationnel du moment.

​

Cas d’utilisation de Quick Chat

• Conversation : les joueurs veulent s’impliquer pour faciliter l’activité de l’équipe ou nouer des liens sociaux plus profonds.
• Simplicité : une solution Quick Chat doit être facile d’accès pendant les moments d’activité intense.
• Anonymat : les joueurs qui évitent habituellement le chat vocal disposent d’un moyen de participer.

1. Variez les réponses Proposez une vaste collection d’options de réponse. Cela contribuera à la spontanéité normalement obtenue dans les conversations vocales dynamiques. Les utilisateurs seront moins susceptibles de se lasser des mêmes options de réponse, et les réponses sembleront moins automatisées.
2. Proposez la solution au moment où le besoin se présente
   • Rendez Quick Chat disponible chaque fois que le chat de jeu est actif.
   • Utilisez une pression de bouton dédiée pour lancer les réponses Quick Chat.
   • Utilisez par défaut une catégorie en rapport avec l’activité de jeu en cours. Par exemple, lorsqu’un utilisateur marque un point, la catégorie par défaut est « Compliments ».
3. Gardez des réponses ciblées et concrètes L’objectif est principalement de limiter la charge cognitive. Les utilisateurs doivent pouvoir lire un message entier sans effort.
   • Faites en sorte que les réponses soient pertinentes par rapport au jeu et à leur catégorie.
   • Utilisez des phrases courtes et des mots d’une syllabe les plus couramment utilisés dans votre jeu.
   • Utilisez des mots que l’on peut visualiser instantanément.
4. Utilisez l’humour La taquinerie (banter) est une forme courante de provocation qui s’adresse aux joueurs de manière amicale. Elle diffère du griefing, où les utilisateurs sont trop souvent harcelés. Si les réponses sont astucieuses, pertinentes et variées, certains utilisateurs ne recourront peut-être pas à des choix inappropriés.
5. Tenez compte des compétences et de la progression
   • Proposez des préférences de chat qui incluent des réponses basées sur la progression et le niveau de compétence.
   • Proposez des suggestions de réponses qu’un utilisateur peut communiquer aux autres membres de l’équipe. Ces options seraient en rapport avec l’activité de jeu en cours. Par exemple : « Quelqu’un a une hache pour battre ce zombie ? »
6. Concentrez-vous sur les émotions Les réponses qui communiquent certaines émotions ciblées peuvent aider à rendre l’expérience plus proche des joueurs.

​

Conclusion

Les API de synthèse vocale et de reconnaissance vocale de PlayFab Party sont des fonctionnalités très efficaces pour inclure un plus large éventail d’utilisateurs dans un jeu et dans les conversations de jeu. Plus les joueurs s’impliquent et tissent des liens, plus ils sont susceptibles de continuer à jouer. Ces recommandations vous aideront à garantir la meilleure expérience utilisateur possible.

​

Ressources

​

Modèles de conception

• QuickChat_AI_Template.zip Contient :
  • QuickChat_ConsolePC_Templates.ai

​

Recommandations pour les menus de narration par synthèse vocale

• Interactions vocales
• API Speech Synthesis (Windows)

​

Série UX sur la synthèse vocale et la reconnaissance vocale dans PlayFab Party

• Partie 1 : Recommandations UX pour la synthèse vocale et la saisie de texte dans PlayFab Party
• Partie 2 : Recommandations UX pour la reconnaissance vocale et l’affichage de texte dans PlayFab Party

​

Documentation du SDK

• « Accessible in-game chat overview » dans le SDK PlayFab (consultez Téléchargements du SDK)

​

Recommandations en matière d’accessibilité

• Griffiths, Gareth. Subtitles: Increasing Game Accessibility, Comprehension Gamasutra
• Game Accessibility Guidelines Une référence simple pour la conception de jeux inclusifs

​

Conception inclusive

• Initiative Gaming for Everyone de XBOX
• Conception inclusive Boîte à outils et formation Microsoft Design
• Kojouharov, Stefan. 10 Tips on Creating an Addictive ChatBot Cité dans ce document pour des conseils sur l’interface utilisateur conversationnelle.