AI利用で「言葉で頼むだけでキャラクリしてくれる」技術成果を研究者らが報告。動物から著名人まで幅広くテキストで指定可

中国NetEase（網易）の研究者らは3月2日、AIによるキャラモデル生成技術について論文を公開した。著名人の名や「犬」といった言葉の入力により、それに沿う3Dキャラを生成してくれる技術で、キャラクリエイトなどへの活用が見込まれるという。国内向けにはナゾロジーが伝えている。

今回公開された文章は、「text-to-parameter（T2P） translation」方式で、AIを利用してテキストから3Dモデルのパラメーターを出力する研究成果の報告となっている。手がけたのは、NetEaseのFuxi AI Labおよび、南開大学と北京航空航天大学に所属する7人の研究者たちだ。この文章はプレプリント・サーバーのarXiv向けに公開されており、査読前の論文となっている。

研究グループが文章で示しているのは、たとえば「ブルース・リー」や「エミリア・クラーク」といった著名人の名や、「犬」といった名詞のテキストから、対応する“キャラの顔”を自動で作り出す技術だ。テキストから実際にどのようなフェイスモデルが出力されるのかは、以下の画像を見てもらうのがよいだろう。

いずれの著名人名による出力も、やや戯画化されている印象はありつつかなり特徴を押さえている様子がわかる。「犬」については、人間をベースとした再現になるためやや不気味ではあるものの、10人に見せれば9人は「犬男だ」と判断しそうな程度に“犬っぽい”仕上がりとなっている。ほかにも多くの著名人名による出力例が示されており、たとえば「バラク・オバマ」「ドナルド・トランプ」「ジョー・バイデン」といった歴代アメリカ大統領はなかなかの再現度だ。また「ジャッキー・チェン」や「エマ・ワトソン」もピンとくる顔だろう。

研究グループは、OpenAIによる画像分類モデルCLIPとニューラルレンダリング技術を利用し、こうした出力を可能にしているという。また、以前から利用されている自動フェイスモデル生成手法では、連続的なパラメーター（骨格など）はともかく、離散的なパラメーター（髪型やヒゲ、化粧など）の学習に難があったという。一方で、今回研究グループが実装した方法では、そうした離散的な顔要素にも対応。ヒゲや特徴的な京劇風メイクなどもテキストで入力するだけで再現してくれる性能があるようだ。

ゲームでのキャラクリエイトは、こだわると多大な労力がかかることもしばしば。多数のスライダーを必死で調整して理想の顔を作るのは、楽しくも辛い作業だろう。今回のような技術が浸透すれば「言葉で好みのタイプを注文してあとは微調整」といったキャラクリエイトも可能となるかもしれない。また、化粧や髪型などの表面的な要素に強いのも、今回の手法のゲーム向きな利点だろう。

こうした技術はゲームのキャラクリエイト支援などへの利用を視野に開発されている。また、NetEaseが手がけるMMORPG『Justice Online（逆水寒）』モバイル版では、ChatGPTを使ったNPC会話などの要素が実装予定。同作には「テキストによるキャラクリエイト」といったAI利用機能の実装も見込まれている（IT之家）。本稿で紹介した技術が、同作にも盛り込まれていくのだろう。なお、同作モバイル版は2023年にリリース予定だ。PC版については現在中国国内にて展開中で、グローバルローンチについても計画されている。こちらにもAI技術が適用されていく可能性はありそうだ。