先月8月23日～25日にかけてパシフィコ横浜にてCEDEC2023が開催された。本稿では「最新ADXの立体音響事情と活用方法」セッションの内容をお届けする。本セッションには、株式会社CRI・ミドルウェアより櫻井敦史氏、Cho Hyunsoo氏。ヤマハ株式会社音響事業本部より棚瀬廉人氏が参加している。
スペーシャライザとバイノーラライザ
まず用語の整理として、「スペーシャライザ」と「バイノーラライザ」について触れられた。「スペーシャライザ」は残響音や反射音の聴かせ方など、広い意味での「空間」処理表現であり、最終出力のフォーマットに決まりはないとのこと。「バイノーラライザ」はステレオヘッドフォン環境で音響表現するための処理で、多くの場合頭部伝達関数と呼ばれるモデルを用い、耳に到達する音を計算する形式。ステレオヘッドフォンで音の方向や高さを感じられるのが特徴だそうだ。
音源情報をもとにスペーシャライザ処理をおこない、最終的にステレオヘッドフォンで音を出力する際に行われるのがバイノーラライザ処理といったイメージで、スペーシャライザがバイノーラライザを包含しているとも考えられる。ステレオヘッドフォン前提で考える場合であれば、両者はほぼイコールと認識してもほぼ問題ないようだ。本講演は、主に「バイノーラライザ」処理にフォーカスした内容となっている。
ゲームサウンド視聴環境の変遷
ゲームのハードウェアが移り変わるとともに、それを取り巻くデバイスもまた移り変わってきた。古くはモノラルテレビからはじまり、プレイステーション２が発売されるころにはステレオスピーカーが当たり前になっていった。さらにプレイステーション3の時期になるとサラウンドスピーカー（5.1ch）、バーチャルサラウンド処理可能なヘッドフォンなどが登場。このころにはまだ普及しているとは言えず、一部のユーザーだけが利用しているような状況だった。
近年になると7.1.4chが登場し、それに合わせてDolby Atmosなどの規格が台頭。物理的な7.1.4chスピーカー環境はまだまだ一般的ではないものの、ヘッドフォン向けにソフトウェアのバイノーラライザが普及してきている。ソフトウェアであるためヘッドフォンの種類を問わず、気軽に音の高さを含む立体音響をバーチャルサラウンドで視聴できる環境が広がってきているとのことだ。
さらにWindows10以降ではWindows Sonicというバイノーラライザが標準搭載されており、ユーザーであればだれでも利用することができるほか、Microsoft StoreでDolby AccessやDTS Unboundを購入し、利用することも可能となっている。
その一方で、OS設定でバイノーラライザを選べるということは、ゲームから制御できないバイノーラル処理が行われることでもあり、ユーザーによってバイノーラライザ環境が異なるケースが増加。ソフトウェアが異なると音の出方が大きく変わってしまうため、音を作る側としては調整の難しい状況になってしまっているそうだ。
ミドルウェアによるバイノーラライザのサポート
そういった状況を改善すべく、CRIはミドルウェアによるバイノーラライザのサポートを開始。2023年6月に、ADXの立体音響機能のリニューアルを実施し、音の高さ方向の表現への対応や、Ambisonicsフォーマットへの対応などの機能強化が行われたとのこと。さらに、バイノーラライザとしてヤマハ社の「Sound xR」を標準搭載すべく連携して開発中であると発表された。ミドルウェアのバイノーラライザを使用することで、デバイス側はステレオ出力をそのまま再生するだけでよくなるため、開発環境の音をそのままゲーム機やスマートフォンで出力することが可能になるのだ。
CRI ADXにおけるミキサーはASR（Atom Sound Renderer）と呼ばれ、プラットフォームのミキサーの代わりを果たすのだという。また、各発音のPCMデータの出力先であり、ミックス時にパンニング・ダウンミックスが行われるのも特徴とのこと。
今までの環境ではほとんどの場合デフォルトで作成されるASRで十分だったため、ASRを意識する必要はあまりなかったようだ。しかし近年、立体音響に対応するとなると、複数のフォーマット・チャンネル構成がありうる状況に変化してきている。そこでフォーマットごとにASRを作成し、従来の構造との互換性を維持する方法が紹介された。そのうえで立体音響フォーマットを使用したい場合は、ユーザーが指定する設計を目指しているとのことだ。
Channel Based Audioの機能強化についても説明がなされた。まず、従来の7.1chまでだったものを7.1.4chに拡張。低チャンネルへのダウンミックス機能も搭載されているようだ。また、7.1.4chパンニングを実装。従来との互換性は維持されている。さらに、最大7.1.4ch素材の使用および各種エフェクトへの対応が行われている。また、Ambisonicsについても、最大3rd Ambisonics素材の対応や、プラットフォーム機能への対応などが行われているほか、Object Based Audioについても、モノラル・メタデータのミキサーや、同じくプラットフォーム機能への対応などが行われているとのことだ。
バイノーラライザに関する機能は、今までもバスエフェクトに「ヘッドフォンバーチャルサラウンド」が標準搭載されていたものの、プラットフォーム側のバイノーラライザと意図せず二重がけになってしまう、ASRが複数ある場合にそれぞれ設定・切り替えをしなくてはならないなど、問題点がいくつかあった。そこで、バイノーラライザの場所をバス外のモジュールとして実装。これによりプラットフォームのバイノーラル処理を回避できるようになったという。
Sound xRについて
リニューアルによりCRI製以外のバイノーラライザを使用可能になったことで標準搭載される予定の「Sound xR」とはどのようなものなのか。ヤマハの立体音響技術である「ViReal」からヘッドフォンに関連する部分を指して「Sound xR」と呼称しているそうだ。
ヤマハはこれまで、ヘッドフォンの音響を「頭の中から音が聞こえる（頭内定位）」感覚ではなく、「目の前で演奏している」かのような臨場感のあるものにすることを目標にしてきた。
そのために頭部伝達関数（HRTF）にヘッドトラッキング（頭部の動きへの追従）技術を導入するなどし、動的なHRTFの構築を目指したそうだ。HRTFの視聴者よる個人差を一般化するため、ヤマハは実際に多くの人から耳をはじめとした上半身のデータを収集し3D人体形状DB（データベース）を作成。それをもとに統計的特徴抽出モデルを作り上げ、高精細の音響シミュレーションを可能とした。そして2000点以上のHRTF座標により、スムーズに動きを感じられる音響を実現できるようになったのだという。
これらの技術により、従来の仮想スピーカーからの固定HRTF（Two-Step Binaural）から、リアルタイムに動くHRTF（Direct Binaural）の実現が可能としたということだった。
今後は、動的なHRTFにより、音の移動のみならず音の情報化を実現するDirect Binaural技術の展開に主眼を置いている。すなわち、オブジェクトベースにDirect Binauralを組み合わせ、目に見えないものを「音で（耳で）捕まえる」ことを目指しているそうだ。
また、定位優先・音質優先といった目的に応じて、HRTFの研究在庫を活用したツールを実装していく予定があるとのこと。在庫では物足りない場合は都度開発者と協力しつつカスタマイズし、さらにバリエーションを増やすことにも期待できると語っていた。そのほか、平行してゲームエンジン・ミドルウェアの対応、マルチプラットフォーム対応、ライブラリ提供といった開発環境への対応も積極的に展開していくとの姿勢を示していた。これは、作り手（開発者）のための立体音響技術の提供が目的であるため、とのことである。
CRI ADXでSound xRを使う
先述の通り、CRI ADXではSound xRを標準搭載にすべく鋭意開発中であり、その際にはPC・モバイルだけでなく、ゲーム機なども含めたマルチプラットフォームで利用できるようになる予定だという。なおかつ、ADXを使用しているタイトルであればバイノーラライザをONにするだけで簡単に利用できるようになるようだ。
バイノーラル処理の具体的な負荷については開発中のため明かされなかったものの、Object Base Audio（OBA）処理する音源数で負荷が変わるため、OBA処理する音源数は上限設定が可能。ただし、OBA上限を超えても音が鳴らない仕様は避け、内部で別フォーマットに変換する仕様になる予定とのことだ。上記を踏まえ、すべてをOBA処理するのではなく、目立たせたい音のみOBA処理することが推奨されている。
ロードマップとしては、年内にOBAの対応、Sound xRの搭載、プラットフォーム最適化を掲げ、さらに2024年にはAmbisonics機能強化、各種機能の最適化、Atom Craftとの連携強化の予定となっている。立体音響はヘッドフォンさえあればすべてのゲームで体験可能な要素であるため、ADXではさまざまなケースで活用できる機能として提供したいと考えているようだ。
また、リリースまでの間に先行して利用したいというプロジェクトがあれば対応可能とのこと。利用・試用を検討している方は留意されたい。
