- オーディオ アーキテクチャの概要
- オーディオと XBOX One ハードウェア
- 圧縮フォーマット
- オーディオと XBOX One のアプリ モデル
- XBOX One オーディオ ライブラリ
- まとめ: 今日から始める
オーディオ アーキテクチャの概要
デコード、合成、レンダリング、その他のタスクに使用できる一般的な CPU パワーに加えて、XBOX One は、オーディオ処理専用で、統合メモリ空間全体にアドレス指定できるいくつかのハードウェア コンポーネントを提供します (図 1 を参照)。 図 1. ハードウェア アクセラレーションによるオーディオ コンポーネントの図
- Scalable Hardware Audio Processing Engine (SHAPE) は、XBOX One のオーディオ機能の大部分を占めますが、他のプロセッサも重要な機能に貢献します。
- Audio Control Processor (ACP) は、状態管理とスケジューリングを提供します。
- Audio Scalar Processor (ASP) は、スカラー float およびベクター integer 操作をサポートします。
- Audio Vector Processor (AVP) は、ベクター float 操作をサポートし、主にマルチチャネル エコー キャンセル (MEC) 用に設計されています。
SHAPE
SHAPE は、オーディオ処理専用のコア ハードウェアです。SHAPE は、音声ごとに一般的に必要とされる多くの基本操作を実行します。SHAPE を使用すると、高ポリフォニーおよび複雑な信号ルーティングであっても CPU への影響を軽減でき、タイトルがデジタル信号のカスタム処理や分析またはソフトウェア合成を実行することを選択した場合でも、SHAPE-CPU のデータ交換の柔軟性を提供します。 SHAPE は 128 サンプル ブロックで動作し、CPU で使用される場合、各サンプルは 24 ビット integer 解像度または 32 ビット float をサポートします。48 kHz では、これは 2.67 ms のオーディオ フレームを表し、XBOX 360 の 256 サンプル ブロックで可能なものよりも高いタイミング解像度と低いレイテンシーを提供します。 SHAPE は、一般的なオーディオ タスクに焦点を当てた次の 6 つの固定機能ブロックを提供します。- XMA デコーダー XMA は、512 個の XMA フォーマット音声の同時デコードを提供します。XBOX 360 用に開発された知覚コーデックで、ユーザーが調整可能な品質と、通常 6:1 から 14:1 の圧縮を提供します。
- SRC 高品質、専用、多相 Sample Rate Convertor (SRC) ブロックは、512 個のモノラル チャネルのオーディオ データの高性能・高品質な周波数リサンプリングを可能にします。SRC は、フォーマット変換、ドップラー効果、またはピッチ変化に使用できます。
- ミックス バッファー ミックス バッファーは、128 のインプレース ミックス チャネル用の専用アキュムレーターです。メモリにアクセスする必要はなく、仮想的に利用可能な合計 8192 チャネルを持ちます。ミックス バッファーは、デバッグおよび監視目的で粗いメータリングとクリッピングの検出も提供します。
-
FLTVOL
FLTVOL モジュールは、2560 個の音声またはミックスに対して、ボリューム スケーリングとステート変数フィルターの実装を提供します。これは、Windows および XBOX 360 で利用可能な、ソフトウェアで公開される
XAudio2の音声ごとのフィルターに類似しています。フィルターは、Low-pass、High-pass、Band-pass、Notch フィルタリングを提供できます。フィルターは、Q およびカットオフ/中心周波数のパラメーターを公開します。最も一般的には、距離およびオクルージョン モデリングに使用されます。 - EQ/CMP EQ/CMP モジュールは、最大 512 チャネルの 3 バンド イコライゼーションとダイナミック レンジ コンプレッションを提供します。EQ は、直列にカスケード接続された 3 つの biquad フィルターで構成されます。コンプレッサーはハードニー応答を持ち、サイドチェーンとエクスパンダー機能をサポートします。
- DMA SHAPE には、統合メモリ空間との間でオーディオ データを転送するための専用の Direct Memory Access (DMA) ハードウェアがあります。DMA は、サンプル レート コンバーターなしでの転送、最終ミックス チャネルの転送、SHAPE ベースのオーディオ グラフの途中での CPU ベースの処理などのシナリオを可能にします。
ACP
ACP は、ノース ブリッジ上の他のすべてのオーディオ ハードウェア コンポーネントの状態管理とスケジューリングを提供します。フレーム内処理や、それが導入する可能性のある同期またはレイテンシーに CPU を関与させる必要はありません。ASP
ASP は、スカラー float およびベクター integer 操作をサポートします。ハードウェアには、ボイス チャット コーデック (ボイス チャット ヘッドセットとコンソール間のワイヤレス通信を管理するものや、ネットワーク音声通信用の SILK コーデック音声データを圧縮および展開するために使用されるもの) が用意されています。AVP
AVP は、ベクター float 操作をサポートし、主に次世代の Kinect オーディオ入力向けの MEC およびその他のノイズ低減用に設計されています。AVP は音声認識、チャット/任意のオーディオ入力の使用をサポートします。 MEC およびその他のノイズ低減プロセスは、出力スピーカーからよりもユーザーから離れて配置されたトーク マイクからでも、ユーザーの話されたオーディオ データのより理解しやすいストリームを提供します。オーディオと XBOX One ハードウェア
XBOX One のオーディオ出力パイプラインは、前世代コンソールにあったデジタル-アナログ コンバーター (DAC) を排除しています。すべてのオーディオは、HDMI 1.4a を介して、または S/PDIF 光出力として、厳密にデジタル領域で出力されます。HDMI 1.4a により、高忠実度、リニア、7.1 チャネル Pulse Code Modulation (PCM) をコンソールから送信できます。タイトルは既定で 48 kHz のサンプリング レートと 24 ビットのビット深度で出力されます。XBOX One は、最大 4 つの同時ステレオ ヘッドセット出力もサポートできます。各出力は、ヘッドセットや S/PDIF 出力など、出力フォーマットに応じてダウンミックスされる独自のマルチチャネル ミックスを表現できます。 XBOX One は、Kinect マイク配列、ボイス チャット ヘッドセット、クラウド ベースのリソースなど、さまざまなソースからのオーディオ入力を受け入れます。さらに、CPU ベースの計算を通じてアルゴリズムでオーディオを生成し、CPU、SHAPE ハードウェア コンポーネント、または両方の方法を通じてリアルタイムで操作できます。圧縮フォーマット
XBOX One は、圧縮されていない PCM に対して大幅なストレージ、帯域幅、およびメモリ削減を提供する XMA2 のハードウェア展開をサポートします。XAudio2 は、xWMA と Adaptive Differential Pulse Code Modulation (ADPCM) の両方に対してソフトウェア デコード サポートも提供します。ADPCM フォーマットの計算はオーバーヘッドが低いものの、非知覚コーデックとして、ADPCM は低いサンプリング レートで顕著なアーティファクトを生じさせる可能性があります。
xWMA と XMA2 は、どちらも Windows Media Audio (WMA) 用に開発されたコーデックに由来し、両方とも XBOX ゲーム向けに専用に開発されています。XMA2 で使用される利用可能なコーデックとパラメーターのサブセットは、xWMA で使用されるサブセットよりも小さいです。xWMA と XMA2 の両方が XBOX 用に開発されましたが、これらは相互に交換可能ではありません。各ファイル フォーマットのヘッダーは異なり、フォーマットは Windows の PC バージョンとは互換性がありません。XMA2 および xWMA で使用されるコーデックも若干異なるため、それぞれが使用される圧縮システムからの独自のアーティファクトを持ちます。
MP3、OGG、およびゲーム アセット用の他のオーディオ フォーマットは、CPU 上で実行されるタイトルまたはミドルウェア ソフトウェア コーデックを通じて提供できます。
オーディオと XBOX One のアプリ モデル
フォアグラウンドにある間、アプリは SHAPE ハードウェアへの完全なアクセス権を持ちます。ただし、バックグラウンド ピン留め、ピクチャ イン ピクチャ、またはその他のシナリオにプッシュされると、アプリはハードウェア制御を放棄します。既定では、そのハードウェアはサスペンドされ、タイトルがフォアグラウンドに戻ると再開されます。これは、ソフトウェア グラフがサスペンドされる Exclusive Resource Apps (ERA) にも当てはまります。 タイトルには、オーディオ グラフを分解し、再開時に再構築するオプションがあります。ストリーミング ラジオなどのバックグラウンド ミュージックを再生する Shared Resource Apps (SRA) など、一部のタイトルは、一時停止中でもオーディオの一部の側面を再生し続けることを選択する場合があります。これらのシナリオでは、タイトルはハードウェアからソフトウェア レンダリングへのシームレスな遷移を試みるべきか、それともバックグラウンド再生用のオーディオを常にソフトウェアのみのパイプラインを介して再生するべきかを、慎重に評価する必要があります。これは、圧縮フォーマットと CPU コストに影響を及ぼします。たとえば、XMA 圧縮アセットは SHAPE ハードウェアの使用を必要とするため、バックグラウンド アプリではデコードできません。 CPU リソースを割り当てることを選択するタイトルには、XAudio2 オーディオ エンジンが多くの機能に対するソフトウェア パスウェイを提供します。実用的な場合、これらの機能はハードウェア機能を模倣しますが、一部の計算集約型の処理は、ソフトウェアでは利用できないか、異なる方法で実装されています。次の表に示すように、アプリの状態に応じてハードウェア処理からソフトウェア処理に移行するタイトルは、オーディオ パイプラインを計画する際にこれらの違いを考慮するとよいでしょう。
| 機能 | XBOX One ハードウェア機能 | XBOX One ソフトウェア機能 | 同等? |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| サンプル レート変換| SRC、多相| XAudio2 線形補間| いいえ |
| パラメトリック EQ| EQ/CMP、3 バンド EQ| シンプルな 1 バンド EQ またはカスタム デジタル信号処理 (DSP)| いいえ |
| コンプレッサー/リミッター| EQ/CMP、ハードニー、サイドチェーン、エクスパンダー機能| カスタム DSP| いいえ |
| フィルタリング| FLTVOL、ステート変数フィルター| XAudio2 ステート変数フィルター、シングルポール LPF、またはカスタム DSP| はい |
| ミキシング| ミックス バッファー。クリップ検出とメータリングを含む| ソフトウェア ミキシング。クリップ検出とメータリング用のカスタム DSP| はい (ミキシングの場合) |
XBOX One オーディオ ライブラリ
XBOX One は、ユーザー ミュージックの再生用に Windows 8 Media Foundation API の変種と共に、一般的なゲーム使用のための 2 つのオーディオ レンダリング API をサポートします。-
XAudio2は、Windows XP から Windows 8 までの XBOX 360 および Windows で既に利用可能な、ゲーム焦点のオーディオ ライブラリです。ほとんどのタイトルの開発にはXAudio2をお勧めします。 - Windows Audio Session API (WASAPI) は、カスタムの、専用にソフトウェア実装されたパイプラインに使用できます。WASAPI はオーディオ エンドポイント機能のみを提供します。クライアントは、展開、サンプル レート変換、ミキシング、およびデジタル信号処理、および XBOX One のオーディオ ハードウェア コンポーネントとの対話を実装する必要があります。最も一般的には、WASAPI はオーディオ ミドルウェア ソリューションによって使用されます。
Microsoft Cross-Platform Audio Creation Tool (XACT) および
DirectSound は、XBOX One 環境ではサポートされていません。以前これらのテクノロジーを使用していたタイトルは、このトピックで特定されているソリューションを検討するか、承認された XBOX One オーディオ ミドルウェア オプションを使用してください。まとめ: 今日から始める
XBOX One の開発を始めるタイトル コンテンツ クリエイターと実装者は、計画を開始する際に以下を検討してください。- 7.1 オーディオを計画してください。これは、プリレンダーおよびリアルタイム コンテンツのパンニングと位置決めを含みます。タイトルが各オーディオ チャネルをどのように使用するかを検討してください。
- オーディオ圧縮オプションを調査し理解してください。XMA、xWMA、および ADPCM 圧縮の音響とサイズの違いを理解してください。XBOX One での予想される予算目標を理解するために、コンテンツの品質とビット レート設定を評価してください。
- タイトルがオクルージョンや遮蔽のシミュレーションを実装するつもりである場合は特に、ハードウェア アクセラレーションによる DSP の使用パターンを検討してください。