なんでもやれる『マインクラフト』を1600時間分学んだAIは、「別のゲームも上手くなるのか」研究。上手くならない

miHoYo Honkai AI R&D Team・清華大学・中国科学院大学・香港大学・シンガポール国立大学・北京大学の研究者からなる研究チームは10月20日、論文「Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds」をプレプリントとして公開した。共同筆頭著者であるKuan Zhang氏・Yukun Chen氏・Zhihao Yang氏の3名は、miHoYoでのインターン中に本研究をおこなっている。

まず本研究の背景として、ロボットやアバターなどを通して現実世界や仮想世界を認識するAIエージェント、いわゆる「身体性エージェント（embodied agent）」の進化が模索されてきた。身体性エージェントにとって、一貫した物理法則を共有する現実世界では、ある状況で得た経験を別の状況にも再利用できる可能性があるという。一方で、ゲームなどの仮想世界では、世界ごとに見た目やルール、物理法則、行動空間などがまったく異なるケースも存在。人間がこうした違いに素早く順応することができるように、AIエージェントにも同じ能力が求められている。

ただし、仮想世界での身体性エージェントの継続事前学習（Continued Pre-training）はまだ経験則的な手法にとどまっている。先行研究ではデータ量、多様性、モデルを同時に変えているため、それぞれの要因がもつ効果は分かっていないという。そのため本研究では、異なる世界での経験を積むことが、AIエージェントの汎用性を高めるのか、それとも干渉を起こして学習したことを無にしてしまうのかを検証している。

『マインクラフト』一筋では限界も

研究チームは、AlibabaのマルチモーダルAI「Qwen3.5」を用いて、ゲームプレイデータでの継続事前学習をおこなっている。学習データは、現在のゲーム画面と直前までのゲーム画面および操作履歴を入力とし、プレイヤーが次におこなった操作を出力としたものとなっている。つまり、人間のゲームプレイをお手本にして、AIにゲームの操作方法を覚えさせたわけだ。『マインクラフト』とそのほかのゲームのデータ79種を扱い、『マインクラフト』のデータの割合を変えた5種類の条件を用意。あわせてモデルのサイズとデータ量を変えて、全120通りのパターンを比較する対照実験をおこなっている。なおゲームプレイデータの量は、50時間分から最大1600時間分までの6段階を変えて実験された。

学習後の120通りのAIについては、実際にゲームを遊ばせてスコアを測る各種ベンチマークのほか、学習に使っていないデータについて操作の予測を正確におこなえるかを調べる検証損失（validation loss）でも評価している。前者では、『マインクラフト』でサバイバルや戦闘、クラフトなどのタスクの成功率をスコアとする「MCU（Minecraft Universe）」、『DOOM』で倒した敵の数などからスコアを算出する「ViZDoom」などのベンチマークに加えて、3Dゲーム7本からなる「OGA」、2Dや2.5Dのゲームを中心とする「GameWorld」といった、学習に含まれないゲームのベンチマークも使われた。

その結果、『マインクラフト』の学習データが多いAIほど、『マインクラフト』での検証損失が低下し、MCUの成績も上がったという。ただし、『マインクラフト』だけで学習した場合、データ量を増やしても、『マインクラフト』とほかのゲームを合わせた検証損失は頭打ちかむしろ上昇する結果となった。ViZDoomを含むその他のベンチマークにおいても、5パターンの中でもっとも低いスコアとなっている。研究チームは、戦闘や移動などの多様な要素がある『マインクラフト』のようなゲームであっても、それだけで学習した場合は、ほかの世界への十分な汎用性は出ないとしている。ちなみに、サイズが大きいモデルほどほかのゲームでの性能が悪化する傾向も強かったそうだ。

一方で、さまざまなゲームで学習したAIは、初めて遊ぶ3Dゲームで成績が向上。1600時間分のデータを学習した時点で、OGAでの平均スコアは『マインクラフト』だけで学習したモデルの約2.8倍に。さらに興味深い結果として、学習データにわずかしか含まれていなかった『DOOM』での成績も上がっており、移動や照準などの基本的な能力は、3Dゲームの間で転移しやすいとのこと。ただし2Dや2.5Dのゲームを中心とするGameWorldでは、多様なゲームで学習したモデルでも、学習前のモデルの結果を安定して上回ることができなかったという。さまざまなゲームでの学習は、似通った世界では効果的である一方で、大きく異なる世界での能力の向上については一貫した結果が得られないようだ。

研究チームは、『マインクラフト』に特化した学習によって『マインクラフト』の成績がより高まり、さまざまなゲームでの学習によって初見の3Dゲームに強くなったように、最適な学習データは評価の対象によって異なると指摘する。データ量が限られる場合には、むやみに学習に用いるゲームの多様性を広げるのではなく、評価対象にあわせた学習データを用意するべきだとしている。

どんなゲームも上手い“万能AI”は作れるのか

なお、ここまでの結果はモデルが考えている間にゲームが止まる非リアルタイムな条件下でのものとなっている。一方で研究の中ではリアルタイムでの検証も実施され、研究チームが学習したモデルを、「GPT-5.6 Sol」「Claude Opus 5.0」「Gemini-3.8-Flash」などの汎用AIと比較する実験もおこなわれている。非リアルタイム条件下では汎用AIのスコアが上回った一方、リアルタイムでは『マインクラフト』を含む複数のゲームで、研究チームのモデルのスコアが逆転した。プレイ能力だけでなく、応答速度も重要となることがうかがえる。

研究を通して、継続事前学習の効果は、離れた世界では全体的に伸び悩むという傾向が示唆された。この理由について研究チームは、学習で用いるゲームのカバー範囲が足りないか、単に記録された操作を模倣するという学習方式そのものの問題か、もしくはその両方の可能性を挙げている。チームは今後汎用的な身体性エージェントを作るうえでは、実際のプレイ中に得られるフィードバックを取り入れるといった、継続事前学習の先の学習段階が必要となる可能性を示している。

今回の研究は、AIがいわば“よく知っているゲームとは大きく異なるゲーム”までは上手くなりづらいという点で、予想のつきやすい結果ともいえる。とはいえゲームの遊び方を学習させることによって、AIの最先端研究がおこなわれている点は興味深い事例だろう。

ところで、直近ではOpenAIが開発するAI「GPT-6 Astra」に『マインクラフト』をプレイさせる実験がAIの評価機関Vals AIによって実施された。同モデルは着実にゲームを攻略していった一方、クリーパーの爆発に巻き込まれた際にチェスト内のアイテムなどを消失した結果、その後“燃え尽きた”ようにジャガイモの栽培ばかりおこなうようになってしまうという様子も報じられていた（関連記事）。前述したように、リアルタイムの『マインクラフト』のタスクにおいては、継続事前学習を経ることによって、汎用AIよりも高い成績を出す結果も示されている。本研究の応用によって、さらなる『マインクラフト』力を手にしたAIが出現することにも期待できそうだ。