- Vue d’ensemble de l’architecture audio
- L’audio et le matériel XBOX One
- Formats de compression
- L’audio et le modèle d’application XBOX One
- Bibliothèques audio XBOX One
- Synthèse : commencer dès aujourd’hui
Vue d’ensemble de l’architecture audio
En plus de la puissance générale du processeur, qui peut être utilisée pour le décodage, la synthèse, le rendu et d’autres tâches, XBOX One fournit plusieurs composants matériels (comme illustré dans la figure 1) qui sont dédiés au traitement audio et qui peuvent adresser l’intégralité de l’espace mémoire unifié. Figure 1. Illustration des composants audio accélérés par le matériel
- Le moteur SHAPE (Scalable Hardware Audio Processing Engine) constitue l’essentiel des fonctionnalités audio de XBOX One, bien que les autres processeurs apportent également des fonctionnalités importantes.
- Le processeur ACP (Audio Control Processor) assure la gestion des états et la planification.
- Le processeur ASP (Audio Scalar Processor) prend en charge les opérations scalaires en virgule flottante et les opérations vectorielles sur entiers.
- Le processeur AVP (Audio Vector Processor) prend en charge les opérations vectorielles en virgule flottante et est conçu principalement pour l’annulation d’écho multicanal (MEC, Multichannel Echo Cancellation).
SHAPE
SHAPE est le matériel central dédié au traitement audio. SHAPE effectue un grand nombre des opérations de base généralement requises pour chaque voix. Avec SHAPE, vous pouvez réduire l’impact sur le processeur, même pour une polyphonie élevée et des routages de signal complexes, tout en conservant la flexibilité de l’échange de données entre SHAPE et le processeur si un titre choisit d’appliquer un traitement personnalisé à un signal numérique ou d’effectuer une analyse ou une synthèse logicielle. SHAPE fonctionne sur des blocs de 128 échantillons, chaque échantillon prenant en charge une résolution entière de 24 bits ou une valeur flottante de 32 bits, lorsqu’il est utilisé par le processeur. À 48 KHz, cela représente une trame audio de 2,67 ms, ce qui offre une résolution temporelle plus élevée et une latence plus faible que celles possibles avec le bloc de 256 échantillons de la XBOX 360. SHAPE propose les six blocs à fonction fixe suivants, axés sur les tâches audio courantes.- Décodeur XMA XMA fournit le décodage simultané de 512 voix au format XMA. Il s’agit d’un codec perceptuel développé pour la XBOX 360, qui offre une qualité et une compression réglables par l’utilisateur, généralement comprises entre 6:1 et 14:1.
- SRC Le bloc SRC (Sample Rate Convertor) polyphase dédié et de haute qualité permet un rééchantillonnage de fréquence performant et de haute qualité de 512 canaux mono de données audio. Le SRC peut être utilisé pour la conversion de format, l’effet Doppler ou la variation de hauteur.
- Mémoires tampons de mixage Les mémoires tampons de mixage sont les accumulateurs dédiés pour 128 canaux de mixage sur place. Elles n’ont pas besoin d’accéder à la mémoire et disposent d’un total de 8192 canaux disponibles virtuellement. Les mémoires tampons de mixage fournissent également une mesure approximative des niveaux et une détection de l’écrêtage à des fins de débogage et de surveillance.
-
FLTVOL
Le module FLTVOL fournit la mise à l’échelle du volume et une implémentation d’un filtre à variables d’état pour 2560 voix ou mixages. Il est analogue au filtre par voix
XAudio2exposé de manière logicielle, disponible sur Windows et XBOX 360. Le filtre peut fournir un filtrage passe-bas, passe-haut, passe-bande et coupe-bande. Le filtre expose les paramètres Q et de fréquence de coupure/centrale. Il est le plus souvent utilisé pour la modélisation de la distance et de l’occlusion. - EQ/CMP Le module EQ/CMP fournit jusqu’à 512 canaux d’égalisation à trois bandes et de compression de la plage dynamique. L’égaliseur se compose de trois filtres biquadratiques en cascade série. Le compresseur présente une réponse à coude dur (hard-knee) et prend en charge les fonctionnalités de sidechain et d’expandeur.
- DMA SHAPE dispose d’un matériel DMA (Direct Memory Access) dédié pour transférer les données audio vers et depuis l’espace mémoire unifié. Le DMA rend possibles des scénarios tels que le transfert sans convertisseur de fréquence d’échantillonnage, le transfert des canaux de mixage final et le traitement basé sur le processeur au milieu d’un graphe audio basé sur SHAPE.
ACP
L’ACP assure la gestion des états et la planification de tous les autres composants matériels audio sur le pont nord. Il n’est pas nécessaire d’impliquer le processeur dans le traitement intra-trame ni dans la synchronisation ou la latence qu’il pourrait introduire.ASP
L’ASP prend en charge les opérations scalaires en virgule flottante et les opérations vectorielles sur entiers. Le matériel fournit des codecs de conversation vocale : ceux qui gèrent la communication sans fil entre un casque de conversation vocale et la console, et ceux qui sont utilisés pour compresser et décompresser les données vocales du codec SILK pour la communication vocale en réseau.AVP
L’AVP prend en charge les opérations vectorielles en virgule flottante et est conçu principalement pour la MEC et d’autres réductions de bruit pour l’entrée audio Kinect de nouvelle génération. L’AVP prend en charge la reconnaissance vocale ainsi que l’utilisation de l’entrée audio pour la conversation ou à d’autres fins. La MEC et les autres processus de réduction du bruit fournissent un flux plus intelligible des données audio prononcées par l’utilisateur, même à partir d’un microphone placé plus près des haut-parleurs de sortie que de l’utilisateur.L’audio et le matériel XBOX One
Le pipeline de sortie audio de XBOX One élimine le convertisseur numérique-analogique (DAC) présent dans les consoles de génération précédente. Tout l’audio est émis strictement dans le domaine numérique, via HDMI 1.4a ou en tant que sortie optique S/PDIF. HDMI 1.4a permet de transmettre depuis la console une modulation par impulsions codées (PCM) linéaire haute fidélité sur 7.1 canaux. Les titres utilisent par défaut une fréquence d’échantillonnage de sortie de 48 KHz et une profondeur de 24 bits. XBOX One peut également prendre en charge jusqu’à quatre sorties simultanées vers des casques stéréo. Chaque sortie peut représenter des mixages multicanaux uniques qui sont réduits (downmix) selon les besoins du format de sortie, comme un casque ou la sortie S/PDIF. XBOX One accepte l’entrée audio provenant de diverses sources, telles que le réseau de microphones Kinect, les casques de conversation vocale et les ressources basées sur le cloud. En outre, l’audio peut être généré de manière algorithmique par un calcul sur le processeur, et manipulé en temps réel sur le processeur, via les composants matériels SHAPE, ou par ces deux méthodes.Formats de compression
XBOX One prend en charge la décompression matérielle pour XMA2, ce qui offre des réductions significatives de stockage, de bande passante et de mémoire par rapport au PCM non compressé.XAudio2 offre également une prise en charge du décodage logiciel pour xWMA et ADPCM (Adaptive Differential Pulse Code Modulation). Bien que le calcul du format ADPCM présente une faible surcharge, en tant que codec non perceptuel, ADPCM peut présenter des artefacts perceptibles à des fréquences d’échantillonnage plus faibles.
xWMA et XMA2 trouvent tous deux leur origine dans les codecs développés pour Windows Media Audio (WMA), et tous deux ont été développés spécifiquement pour les jeux XBOX. Le sous-ensemble de codecs et de paramètres disponibles utilisé par XMA2 est plus petit que celui utilisé par xWMA. Bien que xWMA et XMA2 aient été développés pour XBOX, ils ne sont pas interchangeables : les en-têtes de chaque format de fichier diffèrent, et les formats sont incompatibles avec les versions PC de Windows. Les codecs utilisés pour XMA2 et xWMA sont également légèrement différents, de sorte que chacun présentera ses propres artefacts dus au système de compression utilisé.
Les formats MP3, OGG et d’autres formats audio pour les ressources de jeu peuvent être pris en charge par des codecs logiciels du titre ou d’un middleware exécutés sur le processeur.
L’audio et le modèle d’application XBOX One
Lorsqu’elle est au premier plan, une application dispose d’un accès complet au matériel SHAPE. Cependant, lorsqu’elle passe en arrière-plan épinglé, en mode image dans l’image ou dans un autre scénario, l’application cède le contrôle du matériel. Par défaut, son matériel est suspendu et il reprend lorsque le titre revient au premier plan. Cela s’applique également aux applications à ressources exclusives (ERA), dont le graphe logiciel est suspendu. Un titre peut choisir de démanteler son graphe audio et de le reconstruire lors de la reprise. Certains titres, en particulier les applications à ressources partagées (SRA) qui diffusent de la musique en arrière-plan, comme la radio en streaming, peuvent choisir de continuer à lire certains aspects de l’audio même lorsqu’ils sont en pause. Dans ces scénarios, les titres doivent évaluer attentivement s’il convient de tenter une transition fluide du rendu matériel vers le rendu logiciel, ou de toujours lire l’audio destiné à la lecture en arrière-plan via un pipeline exclusivement logiciel. Cela a des implications sur les formats de compression et les coûts processeur. Les ressources compressées en XMA, par exemple, nécessitent l’utilisation du matériel SHAPE et ne pourront donc pas être décodées par une application en arrière-plan. Pour un titre qui choisit d’allouer des ressources processeur, le moteur audioXAudio2 fournit des chemins logiciels pour de nombreuses fonctions. Dans la mesure du possible, ces fonctions imitent les capacités matérielles, mais certains traitements gourmands en calcul sont soit indisponibles, soit implémentés différemment dans le logiciel. Les titres qui passent du traitement matériel au traitement logiciel en fonction de l’état d’une application peuvent tenir compte de ces différences lors de la planification de leurs pipelines audio, comme indiqué dans le tableau suivant.
| Fonctionnalité| Capacité matérielle XBOX One | Capacité logicielle XBOX One | Équivalent ? |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Conversion de fréquence d’échantillonnage| SRC, polyphase| Interpolation linéaire XAudio2| Non |
| Égaliseur paramétrique| EQ/CMP, égaliseur à trois bandes| Égaliseur simple à une bande ou traitement numérique du signal (DSP) personnalisé| Non |
| Compresseur/limiteur| EQ/CMP, capacités de coude dur, de sidechain et d’expandeur| DSP personnalisé| Non |
| Filtrage| FLTVOL, filtre à variables d’état| Filtre à variables d’état XAudio2, filtre passe-bas unipolaire ou DSP personnalisé| Oui |
| Mixage| Mémoires tampons de mixage ; inclut la détection d’écrêtage et la mesure des niveaux| Mixage logiciel ; DSP personnalisé pour la détection d’écrêtage et la mesure des niveaux| Oui, pour le mixage |
Bibliothèques audio XBOX One
XBOX One prend en charge deux API de rendu audio pour une utilisation typique dans les jeux, ainsi qu’une variante de l’API Media Foundation de Windows 8 pour la lecture de la musique de l’utilisateur.-
XAudio2est une bibliothèque audio orientée jeu, déjà disponible sur XBOX 360 et Windows, de Windows XP à Windows 8. Nous recommandonsXAudio2pour le développement de la plupart des titres. - L’API WASAPI (Windows Audio Session API) peut être utilisée pour tout pipeline personnalisé implémenté exclusivement de manière logicielle. WASAPI fournit uniquement des fonctionnalités de point de terminaison audio. Le client doit implémenter la décompression, la conversion de fréquence d’échantillonnage, le mixage et le traitement numérique du signal, ainsi que les interactions avec les composants matériels audio de XBOX One. Le plus souvent, WASAPI est utilisée par les solutions audio middleware.
L’outil Microsoft Cross-Platform Audio Creation Tool (XACT) et
DirectSound ne sont pas pris en charge dans l’environnement XBOX One. Les titres qui utilisaient auparavant ces technologies doivent envisager les solutions identifiées dans cette rubrique ou utiliser les options de middleware audio XBOX One approuvées.Synthèse : commencer dès aujourd’hui
Les créateurs de contenu et les responsables de l’implémentation de titres qui commencent à développer pour XBOX One peuvent tenir compte des points suivants lorsqu’ils commencent leur planification.- Prévoyez de l’audio 7.1. Cela englobe le panoramique et le positionnement du contenu prérendu et en temps réel. Réfléchissez à la manière dont votre titre utilisera chaque canal audio.
- Explorez et comprenez les options de compression audio. Comprenez les différences acoustiques et de taille entre les compressions XMA, xWMA et ADPCM. Pour comprendre les objectifs budgétaires attendus sur XBOX One, évaluez les paramètres de qualité et de débit binaire de votre contenu.
- Tenez compte des modèles d’utilisation du DSP accéléré par le matériel, en particulier si votre titre prévoit d’implémenter une simulation d’occlusion ou d’obstruction.