Lignes directrices UX pour la synthèse vocale et la saisie de texte de PlayFab Party

La bibliothèque PlayFab Party permet aux créateurs de jeux de mobiliser davantage de joueurs grâce à des options de clavardage de jeu accessibles. Elle permet de transcrire le clavardage vocal en texte et de convertir la saisie de texte en voix synthétisée. Vous pouvez implémenter une solution d’interface utilisateur personnalisée pour ces fonctionnalités dans votre titre. Sur XBOX et Windows, vous pouvez utiliser les API de la plateforme pour implémenter l’interface utilisateur pertinente. Cette rubrique est la première partie d’une série de deux qui couvre les solutions UX pour l’implémentation de la reconnaissance vocale et de la synthèse vocale. La première partie porte sur l’implémentation de la synthèse vocale, les exigences et les solutions d’interface utilisateur pour console et PC, tandis que la deuxième partie porte sur l’implémentation de la reconnaissance vocale, les exigences et les solutions d’interface utilisateur pour console et PC.

​

Scénarios de synthèse vocale et de reconnaissance vocale

Le tableau suivant vous guide à travers les scénarios que les joueurs vivront lorsque vous activerez les fonctionnalités de reconnaissance vocale et de synthèse vocale. Il décrit l’incidence sur l’utilisateur pour trois étapes de l’expérience de jeu : la configuration initiale, le jeu et la participation au clavardage de jeu.

​

Comprendre l’API

​

Synthèse vocale

​

Types de synthèse vocale

Party prend en charge deux types de synthèse vocale : Voice Chat (clavardage vocal) et Narration. Le type Voice Chat correspond au scénario dans lequel un utilisateur choisit d’utiliser l’audio de synthèse vocale comme voix pour la communication par clavardage vocal. Lorsque cette page traite de Party et de la synthèse vocale, elle fait généralement référence à ce scénario. Le type Narration correspond au scénario dans lequel l’audio de synthèse vocale doit être lu sur la sortie audio de l’utilisateur. Il sert principalement à prendre en charge le scénario d’« audition de voix », dans lequel un utilisateur compare l’audio de différentes options de voix de synthèse pour sélectionner le profil qu’il préfère utiliser dans les scénarios Voice Chat. Bien que ce type puisse être utilisé pour des scénarios de narration arbitraires définis par le jeu, chaque plateforme offre généralement une solution plus souple pour la narration dans le jeu, comme l’API Speech Synthesis sur XBOX et Windows. Chaque méthode utilisée pour démarrer une opération de synthèse vocale accepte un paramètre PartySynthesizeTextToSpeechType qui précise lequel des deux scénarios de synthèse vocale est utilisé.

​

Profils de voix de synthèse vocale

Un profil de voix de synthèse vocale définit les caractéristiques audio utilisées pour générer l’audio de synthèse vocale. Les profils varient selon la langue, les paramètres régionaux et le genre. Plusieurs options peuvent exister pour chaque combinaison. Party prend en charge tous les profils pris en charge par Azure Cognitive Services. Consultez la référence sur la prise en charge des langues pour obtenir la liste complète des langues et des options de voix prises en charge. Les options de profil peuvent également être énumérées par la bibliothèque Party. La première étape consiste à démarrer une opération asynchrone qui remplira les profils de synthèse vocale au moyen de PartyLocalChatControl::PopulateAvailableTextToSpeechProfiles(). Une fois l’opération terminée, ce qui est indiqué par PartyManager::StartProcessingStateChanges() fournissant un PartyPopulateAvailableTextToSpeechProfilesCompletedStateChange, les profils peuvent être interrogés au moyen de PartyLocalChatControl::GetAvailableTextToSpeechProfiles().

​

Configuration du profil de voix de synthèse vocale

Avant que la bibliothèque Party puisse générer de la synthèse vocale, le titre doit configurer le profil de voix de synthèse vocale. Une opération asynchrone de configuration du profil peut être démarrée au moyen de PartyLocalChatControl::SetTextToSpeechProfile(). La fin de l’opération est indiquée par PartyManager::StartProcessingStateChanges() fournissant un PartySetTextToSpeechProfileCompletedStateChange.

​

Synthèse de la parole à partir du texte

Une fois que le titre a configuré un profil de voix de synthèse vocale, le texte peut être synthétisé en audio vocal au moyen de PartyLocalChatControl::SynthesizeTextToSpeech(). Pour le scénario Voice Chat, les données audio apparaîtront comme si elles avaient été capturées « naturellement » par le microphone associé à l’utilisateur qui a démarré l’opération de synthèse vocale. C’est comme si l’utilisateur tenait son microphone devant un ordinateur qui parle en son nom. Pour le scénario Narration, les données audio seront lues sur la sortie audio de l’utilisateur. La synthèse vocale est une opération asynchrone; la fin de l’opération est indiquée par PartyManager::StartProcessingStateChanges() fournissant un PartySynthesizeTextToSpeechCompletedStateChange. Bien qu’un profil de voix doive être configuré avant la synthèse vocale, il n’est pas nécessaire d’attendre la fin de l’opération asynchrone démarrée par PartyLocalChatControl::SetTextToSpeechProfile() avant d’appeler PartyLocalChatControl::SynthesizeTextToSpeech(). Si une opération de profil est en cours, l’opération de synthèse vocale sera mise en file d’attente et démarrera une fois l’opération de profil terminée.

​

Messagerie texte

En plus de la synthèse vocale, Party prend en charge la messagerie texte traditionnelle. Bien que de nombreux titres associent la synthèse vocale à la messagerie texte, ce n’est pas une exigence : Party prend en charge la synthèse vocale et la messagerie texte en tant que fonctionnalités indépendantes. Pour plus d’information, consultez Comprendre le clavardage.

​

UX de la synthèse vocale

La synthèse vocale permet à une personne d’utiliser la plateforme pour envoyer un flux de voix synthétisée aux participants actifs du clavardage de jeu. C’est idéal pour permettre à la personne de participer lorsqu’aucun système de clavardage textuel n’est disponible et que toute la communication passe par le clavardage vocal dans le jeu.

​

Découverte

Sur XBOX et Windows, les utilisateurs peuvent trouver les paramètres de synthèse vocale et de reconnaissance vocale dans la section Accessibilité sous Paramètres dans l’accueil XBOX (console XBOX) ou dans l’application XBOX (Windows 10). Les paramètres sont contrôlés par des boutons bascules qui activent ou désactivent les fonctionnalités pour tous les jeux XBOX propres au profil de l’utilisateur qui s’intègrent aux paramètres de la plateforme. Pour toutes les autres plateformes, consultez leurs lignes directrices en matière d’accessibilité pour connaître l’emplacement des paramètres de synthèse vocale et de reconnaissance vocale.

​

Options d’entrée et de sortie de texte

Il incombe au titre de demander et d’accepter le texte. Il peut s’agir d’un champ de saisie de texte personnalisé ou du clavier fourni par la plateforme. Le texte saisi peut ensuite être transmis à PlayFab Party pour être transformé en flux synthétique. Ce flux est envoyé sous forme de voix aux autres joueurs de la session de clavardage. Le destinataire traite ce flux vocal de la même manière qu’un autre flux vocal provenant d’un utilisateur qui parle dans un microphone.

1. Clavier virtuel du système d’exploitation de la console (exemple sur console XBOX)

2. Clavier virtuel du système d’exploitation du PC (exemple sur Windows 10) L’API PlayFab Party prend en charge la réception d’entrées sur toutes les plateformes. Cependant, les composants de saisie de texte ne sont pas fournis de façon uniforme sur ces plateformes.
   • Sur la console XBOX, les jeux peuvent s’appuyer sur le clavier virtuel. Il possède sa propre zone de saisie, qui accepte le texte qui est ensuite fourni au titre.
   • Sur Windows, les jeux peuvent s’appuyer sur le clavier virtuel, avec une mise en garde : il ne possède pas de zone de saisie. Cela signifie que le jeu doit fournir une zone de saisie de texte pour accepter les frappes générées par le clavier virtuel. Même si le jeu ne prend pas en charge le clavardage textuel traditionnel, la saisie de texte peut être nécessaire pour la prise en charge de la synthèse vocale.

   ​

   Recommandation UX (Windows)

   Les jeux multiplateformes qui ne prennent pas en charge la messagerie texte traditionnelle doivent fournir une zone de saisie de texte pour accepter les frappes afin de prendre en charge la synthèse vocale.
3. Un clavier personnalisé fourni par le jeu (exemple sur console)

• Les jeux ont un contrôle total sur la visibilité.
• Les jeux peuvent enrichir le clavier pour y inclure des phrases de réponse rapide.

​

Clavardage rapide : une solution pour tous

Tenez compte de l’activité de clavardage de vos joueurs, du type de discussion et des objectifs de l’écran. Par exemple, pendant les sessions de jeu actives, lancer un clavier et taper des réponses avec une manette serait fastidieux, mais pourrait être essentiel. Offrir aux utilisateurs une méthode pour choisir rapidement parmi une liste de réponses prédéfinies contribuerait grandement à résoudre ce problème. Pour les utilisateurs qui activent la narration, chaque réponse prédéfinie serait lue à voix haute. La liste de réponses serait rédigée à l’avance, ce qui augmenterait la précision de la traduction. Le jeu aurait le contrôle sur les termes contextuels et propres au jeu qui conviennent à ses joueurs. Voici deux exemples, utilisant les plateformes console XBOX et Windows 10 :

​

1a. Liste de phrases associée au pavé directionnel

Appuyer sur une direction (haut, bas, gauche, droite) du pavé directionnel ouvre la catégorie choisie. Une fois la liste de la catégorie ouverte, les directions du pavé directionnel s’appliquent aux choix de cette catégorie. Pour changer de catégorie, l’utilisateur attend que la fenêtre se ferme (deux secondes d’inactivité), puis choisit une autre direction du pavé directionnel pour ouvrir une nouvelle liste de réponses.

​

1b. Liste de phrases associée à un clavier

Appuyer sur une touche numérique (1 à 4) ouvre la catégorie choisie. Une fois la liste de la catégorie ouverte, les touches numériques s’appliquent aux choix de cette catégorie. Pour changer de catégorie, l’utilisateur attend que la fenêtre se ferme (deux secondes d’inactivité), puis choisit une autre touche numérique pour ouvrir une nouvelle liste de réponses.

​

1c. Liste de phrases associée à un clavier avec paramètres de réponse personnalisables

Poussez cette fonctionnalité un peu plus loin en permettant à l’utilisateur de choisir parmi un éventail de réponses.

• Exemple sur console : pour les fichiers natifs des modèles de conception de clavier et de manette, consultez Ressources.

Dans la première image, le menu Options comprend une section Clavardage. Cet écran affiche les réponses par défaut et celles sélectionnées par l’utilisateur, classées sous quatre catégories de types de conversation (compliments, instructions, etc.). Chaque catégorie est associée à une direction du pavé directionnel par simple pression. Chaque réponse est associée à une direction du pavé directionnel par double pression. Un utilisateur peut sélectionner une réponse à modifier en appuyant sur A. Dans la deuxième image, une fenêtre contextuelle propose une liste de dix réponses. Un utilisateur peut en sélectionner jusqu’à quatre, chacune associée à une direction du pavé directionnel selon l’ordre de sélection.

​

Schéma de la manette pour l’association des réponses

Certains jeux offrent déjà un mappage personnalisé de la manette pour diverses préférences de jeu. Cet exemple propose un autre schéma de manette pour la synthèse vocale et la reconnaissance vocale. Les utilisateurs peuvent choisir parmi une liste de réponses prédéfinies et les associer aux quatre directions du pavé directionnel. Les gâchettes hautes gauche et droite permettent de faire défiler les catégories; le bouton Y lance un clavier virtuel pour les réponses personnalisées. Pendant une session de jeu, un utilisateur peut changer de schéma de contrôle en appuyant sur un bouton dédié (attribué par le jeu). Dans ce cas, le bouton B permet de quitter ce mode.

​

Conseils sur les réponses de clavardage rapide : une méthode pour mobiliser les joueurs

Et si les joueurs pouvaient personnaliser une solution de clavardage rapide qui améliore les échanges entre joueurs? Et s’il existait une solution qui maximise les performances du jeu tout en réduisant les obstacles à la communication? Le clavardage rapide s’en approche, en permettant aux utilisateurs de choisir parmi une liste de réponses prédéfinies. Cependant, ces réponses ont généralement été des phrases limitées et redondantes qui semblent automatisées et ennuyeuses. Les lignes directrices ci-dessous explorent une stratégie pour maintenir l’intérêt des joueurs.

​

Objectif : rendre ce comportement automatique

Si le clavardage rapide répond à un besoin de façon répétée, une habitude peut se former. Réfléchissez aux façons de déclencher des réponses et à la manière dont elles peuvent répondre au besoin conversationnel du moment.

​

Cas d’utilisation du clavardage rapide

• Conversation : les joueurs veulent interagir pour faciliter l’activité de l’équipe ou créer des liens sociaux plus profonds.
• Simplicité : une solution de clavardage rapide doit être facile d’accès pendant les moments d’activité intense.
• Anonymat : les joueurs qui évitent normalement le clavardage vocal ont un moyen de participer.

1. Variez les réponses Offrez une vaste collection d’options de réponse. Cela contribuera à la spontanéité normalement obtenue dans les conversations vocales dynamiques. Les utilisateurs seront moins susceptibles de se lasser des mêmes options de réponse, et les réponses sembleront moins automatisées.
2. Présentez la solution au moment où le besoin se fait sentir
   • Rendez le clavardage rapide disponible chaque fois que le clavardage de jeu est actif.
   • Utilisez un bouton dédié pour lancer les réponses de clavardage rapide.
   • Choisissez par défaut une catégorie en lien avec l’activité de jeu en cours. Par exemple, lorsqu’un utilisateur marque un point, la catégorie par défaut est « Compliments ».
3. Gardez les réponses ciblées et concrètes Il s’agit surtout de maintenir une faible charge cognitive. Les utilisateurs devraient pouvoir lire un message entier sans effort.
   • Rendez les réponses pertinentes par rapport au jeu et à leur catégorie.
   • Utilisez des phrases courtes et des mots d’une syllabe qui sont les plus couramment utilisés dans votre jeu.
   • Utilisez des mots que l’on peut visualiser instantanément.
4. Utilisez l’humour Les taquineries sont une forme courante de provocation qui s’adresse aux joueurs de manière amicale. C’est différent du harcèlement, où, trop souvent, les utilisateurs sont importunés. Si les réponses sont astucieuses, pertinentes et variées, certains utilisateurs n’auront peut-être pas recours à des choix inappropriés.
5. Tenez compte des compétences et de la progression
   • Offrez des préférences de clavardage qui permettent de baser les réponses sur la progression et le niveau de compétence.
   • Proposez des réponses suggérées que l’utilisateur peut communiquer aux autres membres de l’équipe. Ces options seraient liées à l’activité de jeu en cours. Par exemple : « Quelqu’un a une hache pour battre ce zombie? »
6. Misez sur les émotions Les réponses qui communiquent certaines émotions ciblées peuvent aider à rendre l’expérience plus authentique.

​

Conclusion

Les API de synthèse vocale et de reconnaissance vocale de PlayFab Party sont des fonctionnalités très efficaces pour inclure un plus large éventail d’utilisateurs dans un jeu et dans les conversations de jeu. Plus les joueurs s’impliquent et développent des relations, plus ils sont susceptibles de continuer à jouer. Ces conseils vous aideront à offrir la meilleure expérience utilisateur possible.

​

Ressources

​

Modèles de conception

• QuickChat_AI_Template.zip Contient :
  • QuickChat_ConsolePC_Templates.ai

​

Lignes directrices pour les menus de narration par synthèse vocale

• Interactions vocales
• API Speech Synthesis (Windows)

​

Série sur l’UX de la synthèse vocale et de la reconnaissance vocale de PlayFab Party

• Partie 1 : Conseils UX pour la synthèse vocale et la saisie de texte de PlayFab Party
• Partie 2 : Conseils UX pour la reconnaissance vocale et l’affichage de texte de PlayFab Party

​

Documentation du SDK

• « Accessible in-game chat overview » dans le SDK PlayFab (consultez SDK Downloads)

​

Conseils en matière d’accessibilité

• Griffiths, Gareth. Subtitles: Increasing Game Accessibility, Comprehension Gamasutra
• Game Accessibility Guidelines Une référence simple pour la conception de jeux inclusifs

​

Conception inclusive

• Initiative Gaming for Everyone d’XBOX
• Conception inclusive Boîte à outils et formation Microsoft Design
• Kojouharov, Stefan. 10 Tips on Creating an Addictive ChatBot Cité dans ce document pour des conseils sur l’interface utilisateur conversationnelle.