手描きスケッチをもとに3D地形モデルを生成するディープラーニングの研究成果が発表。大学研究員とUbisoftスタッフが共同開発

フランスのリヨン大学および米国パデュー大学の研究員、そしてUbisoftのテクニカル・アートディレクターBenoit Martinez氏が、ディープラーニングを用いた3D地形モデル生成の研究結果を論文として発表している（PDFリンク）。以下はYouTubeチャンネル「Two Minutes Paper」が論文の概要を紹介する趣旨で公開した説明動画である。

この研究は「Generative Adversarial Network」（以下、GAN）というディープラーニングのモデルを用いたものである。GANは機械学習の研究者としてGoogleに勤めるIan Goodfellow氏が、博士課程の学生時代に考案したもの。訓練データをもとに生成モデルを生成する「Generator」と、訓練データと生成モデルを識別する「Discriminator」という2つのネットワークの相互作用により学習を深めていく手法である。利点として、訓練データの用意・ラベリングといった人的労力を大幅にカットすることができる。

GANを使った研究事例としては、Nvidiaが発表した架空セレブの画像生成が挙げられる（The Verge）。こちらは訓練データとして用意された本物のセレブリティの顔写真をもとに、架空の有名人の顔写真を高解像度で生成するというものだ。「Generator」ネットワークが画像生成を学習し、もう片方の「Discriminator」ネットワークが本物と偽物のセレブ写真を識別。「Generator」は偽物の画像であると見分けられないよう徐々に精度を高めていく。GANは画像だけでなく動画生成の分野でも応用されており、カルフォルニア大学バークレー校の研究チームが、動画に映る馬をシマウマに置き換える様子を公開している。

そして今度は、2D画像や動画にとどまらず、「Conditional（条件指定）」GANを用いた3Dアセット制作に挑もうというわけだ。「Generator」は訓練データとして与えられた実写の地形イメージと、峡谷や稜線を示す線が描かれたスケッチとの関連性を学習し、アルゴリズムに基づき3Dモデルのマップを生成。クリエイターが着想を得てラフスケッチを描いてから、結果物が創出されるまでの工程を大幅に短縮できる。自動生成技術やシミュレーション型アルゴリズムを用いてつくられた地形モデルよりも、アウトプットをコントロールしやすいという魅力がある。柔軟性が高く、操作も直感的。地形の削除・再生成も容易で、トライアル＆エラーのストレスが軽減される。

スケッチに描き込まなかった空白部分には、できるだけ違和感がないよう地形を埋めてくれる。土地の侵食といった事後処理もミリ秒単位で行える。技術的な制約として、インプットする情報量があまりに少ないと不自然な地形が出来上がるという問題を抱えているが、活用する上での利点は多い。将来的には植生のバリエーションを増やした、より複雑な3Dモデルを生成できる可能性を秘めているという。ちなみに同プロジェクトに参加したBenoit Martinez氏は『ゴーストリコン ワイルドランズ』の環境アートおよびテクニカル・アートチームを率いた人物。いずれUbisoftタイトルにて、新たなAI技術が活用される日が来るかもしれない。