- Información general de la arquitectura de audio
- El audio y el hardware de XBOX One
- Formatos de compresión
- El audio y el modelo de aplicaciones de XBOX One
- Bibliotecas de audio de XBOX One
- Conclusión: primeros pasos hoy mismo
Información general de la arquitectura de audio
Además de la potencia general de la CPU, que se puede usar para la descodificación, la síntesis, la representación y otras tareas, XBOX One proporciona varios componentes de hardware (como se muestra en la figura 1) que están dedicados al procesamiento de audio y que pueden direccionar todo el espacio de memoria unificada. Figura 1. Ilustración de los componentes de audio acelerados por hardware- El motor de procesamiento de audio de hardware escalable (SHAPE) constituye la mayor parte de la funcionalidad de audio en XBOX One, aunque los demás procesadores también aportan características significativas.
- El procesador de control de audio (ACP) proporciona administración de estados y programación.
- El procesador escalar de audio (ASP) admite operaciones escalares de punto flotante y vectoriales de enteros.
- El procesador vectorial de audio (AVP) admite operaciones vectoriales de punto flotante y está diseñado principalmente para la cancelación de eco multicanal (MEC).
SHAPE
SHAPE es el hardware principal dedicado al procesamiento de audio. SHAPE realiza muchas de las operaciones básicas que se requieren habitualmente por voz. Con SHAPE, puede reducir el impacto en la CPU (incluso con una polifonía alta y enrutamientos de señal complejos) y aun así ofrecer la flexibilidad del intercambio de datos entre SHAPE y la CPU si un título decide procesar de forma personalizada una señal digital o realizar análisis o síntesis de software. SHAPE opera con bloques de 128 muestras, y cada muestra admite una resolución de enteros de 24 bits o de punto flotante de 32 bits cuando la usa la CPU. A 48 KHz, esto representa una trama de audio de 2,67 ms, lo que proporciona una resolución de temporización mayor y una latencia menor que las posibles con el bloque de 256 muestras de XBOX 360. SHAPE ofrece los siguientes seis bloques de función fija centrados en tareas de audio comunes.- Descodificador XMA XMA proporciona descodificaciones simultáneas de 512 voces con formato XMA. Es un códec perceptual desarrollado para XBOX 360 y ofrece una calidad ajustable por el usuario y una compresión que suele estar entre 6:1 y 14:1.
- SRC El bloque convertidor de frecuencia de muestreo (SRC) polifásico dedicado de alta calidad permite un remuestreo de frecuencia de alto rendimiento y alta calidad de 512 canales mono de datos de audio. SRC se puede usar para la conversión de formato, el efecto Doppler o la variación de tono.
- Búferes de mezcla Los búferes de mezcla son los acumuladores dedicados para 128 canales de mezcla in situ. No necesitan acceder a la memoria y tienen un total de 8192 canales disponibles virtualmente. Los búferes de mezcla también proporcionan medición aproximada y detección de recorte con fines de depuración y supervisión.
-
FLTVOL
El módulo FLTVOL proporciona escalado de volumen y una implementación de un filtro de variable de estado para 2560 voces o mezclas. Es análogo al filtro por voz de
XAudio2expuesto por software que está disponible en Windows y XBOX 360. El filtro puede proporcionar filtrado de paso bajo, paso alto, paso banda y de rechazo de banda. El filtro expone los parámetros Q y de frecuencia de corte/central. Lo más habitual es usarlo para el modelado de distancia y oclusión. - EQ/CMP El módulo EQ/CMP proporciona hasta 512 canales de ecualización de tres bandas y compresión de rango dinámico. El EQ consta de tres filtros bicuadráticos conectados en cascada en serie. El compresor tiene una respuesta de codo duro y admite la funcionalidad de cadena lateral (sidechain) y expansor.
- DMA SHAPE tiene hardware dedicado de acceso directo a memoria (DMA) para transferir datos de audio hacia y desde el espacio de memoria unificada. DMA hace posibles distintos escenarios, como la transferencia sin un convertidor de frecuencia de muestreo, la transferencia de los canales de mezcla finales y el procesamiento basado en CPU en medio de un grafo de audio basado en SHAPE.
ACP
ACP proporciona administración de estados y programación de todos los demás componentes de hardware de audio en el puente norte. No es necesario involucrar a la CPU en el procesamiento dentro de la trama ni en la sincronización o latencia que podría introducir.ASP
ASP admite operaciones escalares de punto flotante y vectoriales de enteros. En el hardware se proporcionan códecs de chat de voz: los que administran la comunicación inalámbrica entre unos auriculares de chat de voz y la consola, y los que se usan para comprimir y descomprimir datos de voz del códec SILK para la comunicación de voz en red.AVP
AVP admite operaciones vectoriales de punto flotante y está diseñado principalmente para la MEC y otras reducciones de ruido para la entrada de audio de Kinect de próxima generación. AVP admite el reconocimiento de voz y el uso de entrada de audio de chat o arbitraria. La MEC y otros procesos de reducción de ruido proporcionan una secuencia más inteligible de los datos de audio hablados del usuario, incluso desde un micrófono de conversación situado más cerca de los altavoces de salida que del usuario.El audio y el hardware de XBOX One
La canalización de salida de audio en XBOX One elimina el convertidor digital-analógico (DAC) que se encuentra en las consolas de la generación anterior. Todo el audio se emite estrictamente en el dominio digital a través de HDMI 1.4a o como salida óptica S/PDIF. HDMI 1.4a permite transmitir desde la consola una modulación por impulsos codificados (PCM) lineal de 7.1 canales de alta fidelidad. Los títulos usan de forma predeterminada una frecuencia de muestreo de salida de 48 KHz y una profundidad de bits de 24 bits. XBOX One también puede admitir hasta cuatro salidas simultáneas a auriculares estéreo. Cada salida puede representar mezclas multicanal únicas que se mezclan a menos canales según lo requiera el formato de salida, como unos auriculares o la salida S/PDIF. XBOX One acepta entrada de audio de una variedad de orígenes, como la matriz de micrófonos de Kinect, los auriculares de chat de voz y los recursos basados en la nube. Además, el audio se puede generar de forma algorítmica mediante cálculo basado en CPU y manipular en tiempo real en una CPU, a través de los componentes de hardware SHAPE, o mediante ambos métodos.Formatos de compresión
XBOX One admite la descompresión por hardware para XMA2, lo que proporciona reducciones significativas de almacenamiento, ancho de banda y memoria con respecto a PCM sin comprimir.XAudio2 también ofrece compatibilidad con la descodificación por software tanto para xWMA como para la modulación por impulsos codificados diferencial adaptable (ADPCM). Aunque el cálculo para el formato ADPCM tiene una sobrecarga baja, al ser un códec no perceptual, ADPCM puede presentar artefactos perceptibles a frecuencias de muestreo más bajas.
Tanto xWMA como XMA2 tienen su origen en los códecs desarrollados para Windows Media Audio (WMA) y ambos se han desarrollado específicamente para los juegos de XBOX. El subconjunto de códecs y parámetros disponibles que usa XMA2 es más pequeño que el subconjunto que usa xWMA. Aunque tanto xWMA como XMA2 se desarrollaron para XBOX, no son intercambiables: los encabezados de cada formato de archivo difieren y los formatos son incompatibles con las versiones de Windows para PC. Los códecs usados para XMA2 y xWMA también son ligeramente diferentes, por lo que cada uno tendrá sus propios artefactos derivados del sistema de compresión que se usa.
MP3, OGG y otros formatos de audio para recursos de juego se pueden proporcionar mediante códecs de software del título o de middleware que se ejecutan en una CPU.
El audio y el modelo de aplicaciones de XBOX One
Mientras está en primer plano, una aplicación tiene acceso completo al hardware SHAPE. Sin embargo, cuando se pasa a segundo plano anclada, a imagen dentro de imagen o a algún otro escenario, la aplicación cede el control del hardware. De forma predeterminada, su hardware se suspende y se reanuda cuando el título vuelve al primer plano. Esto también es cierto para las aplicaciones de recursos exclusivos (ERA), en las que se suspende el grafo de software. Un título tiene la opción de desmontar su grafo de audio y reconstruirlo al reanudarse. Algunos títulos, en particular las aplicaciones de recursos compartidos (SRA) que reproducen música de fondo, como radio en streaming, podrían optar por que algunos aspectos del audio se sigan reproduciendo incluso mientras están en pausa. Para estos escenarios, los títulos deben evaluar detenidamente si intentar una transición fluida de la representación por hardware a la de software, o reproducir siempre el audio destinado a la reproducción en segundo plano mediante una canalización exclusivamente de software. Esto tiene implicaciones para los formatos de compresión y los costos de CPU. Los recursos comprimidos con XMA, por ejemplo, requieren el uso del hardware SHAPE y, por tanto, no se podrán descodificar en una aplicación en segundo plano. Para un título que decida asignar recursos de CPU, el motor de audioXAudio2 proporciona rutas de software para muchas funciones. Cuando resulta práctico, estas funciones imitan las capacidades del hardware, pero parte del procesamiento intensivo en cálculo no está disponible o se implementa de forma diferente en software. Los títulos que pasan del procesamiento por hardware al procesamiento por software en función del estado de una aplicación podrían querer tener en cuenta estas diferencias al planear sus canalizaciones de audio, como se muestra en la tabla siguiente.
| Característica| Capacidad de hardware de XBOX One | Capacidad de software de XBOX One | ¿Equivalente? |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Conversión de frecuencia de muestreo| SRC, polifásico| Interpolación lineal de XAudio2| No |
| EQ paramétrico| EQ/CMP, EQ de tres bandas| EQ simple de una banda o procesamiento de señales digitales (DSP) personalizado| No |
| Compresor/limitador| EQ/CMP, capacidades de codo duro, cadena lateral y expansor| DSP personalizado| No |
| Filtrado| FLTVOL, filtro de variable de estado| Filtro de variable de estado de XAudio2, LPF de un solo polo o DSP personalizado| Sí |
| Mezcla| Búferes de mezcla; incluye detección de recorte y medición| Mezcla por software; DSP personalizado para la detección de recorte y la medición| Sí, para la mezcla |
Bibliotecas de audio de XBOX One
XBOX One admite dos API de representación de audio para el uso típico en juegos, junto con una variante de la API Media Foundation de Windows 8 para la reproducción de música del usuario.-
XAudio2es una biblioteca de audio centrada en juegos que ya está disponible en XBOX 360 y Windows: desde Windows XP hasta Windows 8. Se recomiendaXAudio2para el desarrollo de la mayoría de los títulos. - La API de sesión de audio de Windows (WASAPI) se puede usar para cualquier canalización personalizada implementada exclusivamente por software. WASAPI proporciona solo la funcionalidad de punto de conexión de audio. El cliente debe implementar la descompresión, la conversión de frecuencia de muestreo, la mezcla y el procesamiento de señales digitales, así como las interacciones con los componentes de hardware de audio en XBOX One. Lo más habitual es que WASAPI la usen soluciones de middleware de audio.
La herramienta de creación de audio multiplataforma de Microsoft (XACT) y
DirectSound no se admiten en el entorno de XBOX One. Los títulos que anteriormente usaban estas tecnologías deben considerar las soluciones identificadas en este tema o usar las opciones de middleware de audio aprobadas para XBOX One.Conclusión: primeros pasos hoy mismo
Los creadores de contenido e implementadores de títulos que comienzan a desarrollar para XBOX One podrían considerar lo siguiente cuando empiecen a planificar.- Planifique para audio 7.1. Esto abarca el panorama y el posicionamiento del contenido prerrepresentado y en tiempo real. Considere cómo usará su título cada canal de audio.
- Explore y comprenda las opciones de compresión de audio. Comprenda las diferencias acústicas y de tamaño de la compresión XMA, xWMA y ADPCM. Para comprender los objetivos de presupuesto esperados en XBOX One, evalúe la configuración de calidad y velocidad de bits de su contenido.
- Considere los patrones de uso del DSP acelerado por hardware, en particular si su título tiene previsto implementar la simulación de oclusión u obstrucción.