ＣＲＩ・ミドルウェアの音声解析ミドルウェア「CRI ADX LipSync」提供開始。開発者を悩ませる「リップシンク」を自動生成

株式会社ＣＲＩ・ミドルウェアは11月29日、「CRI ADX LipSync」を本日より提供開始すると発表。ゲーム向けライセンスプランや提供形態の詳細を公開した。ADX LipSyncは、音声データから自然な口の動き（口パターン）を自動生成する、音声解析リップシンクミドルウェアだ。

ADX LipSyncでは、ディープラーニングによる音声解析技術を活用し、キャラクターの発話に合わせて最適な口の動きを自動生成する。口の形だけでなく、マ行・バ行・パ行などの両唇音を発音する際はいったん唇を閉じるといった口の開閉まで、実際の発音に即した口パターンを再現することが可能だという。また、老若男女さまざまな声質のセリフを解析できるため、音程の高さ・低さに関わらずあらゆる声質に対応して口パターンを生成する。

日本語だけでなく、あらゆる言語で口パターンを生成できることも特徴のひとつ。あらかじめ各言語の辞書データなどを用意しておく必要もなく、日本語・英語・中国語など複数言語でワールドワイド展開するタイトルの開発を大幅に効率化できる。

口パターンの制作には、入力した音声から即時に口パターンを出力する「リアルタイム解析」と、外部のCGツールなどと連携して細かな作りこみが可能な「事前解析」の2つが利用でき、それぞれソフトウェア開発キット（SDK）が提供される。リアルタイム解析では、同社のサウンドミドルウェアCRI ADX 2と連携し、音声の入力と同時にリアルタイムで口パターンを生成。一方の事前解析では、専用のツールを使って生成する。口パターンデータはテキスト形式で出力されるため、Mayaなどのモデリングソフトと連携してさらに細かく調整することが可能だ。また、2D/3Dどちらのモデルデータにも対応できる。

＊CEDEC 2019にてADX LipSyncを紹介する講演がおこなわれた。

ADX LipSyncは、開発期間に応じた月額ライセンスで提供される。まず同社の「CRIWARE」ユーザーであれば、リアルタイム解析および事前解析の両機能を無償で利用可能だ。ただし事前解析については、タイトルリリース前の開発期間のみが無償提供の対象となっており、タイトルリリース後に追加で利用する場合は10万円/月となる。そしてCRIWAREユーザー以外の利用者の場合は、事前解析機能を、開発期間を対象に初回60万円/6か月となる。さらに継続して利用する場合は、10万円/月で延長することができる（価格はいずれも税抜）。

なお、これらのライセンスプランはゲームでの利用を対象にしているため、その他のコンテンツにADX LipSyncを利用したい場合は個別に問い合わせてほしいとのこと。また、ライセンスの提供は法人企業のみが対象となる。ライセンスプランの詳細については公式サイトを確認してほしい。