『Slay the Spire』最高難易度を最新AIモデルにプレイさせると“後半でやたら苦戦する”との研究。安全第一すぎて死ぬ

『Slay the Spire』の最高難易度を、GPT-6やCalude Fable 5.1といった最新モデルを含むさまざまなAIモデルにプレイさせる研究論文が公開された。

『Slay the Spire』の最高難易度を、最新モデルを含むさまざまなAIモデルにプレイさせる研究論文が公開された。レベル1(Act 1)は易々と突破できるモデルもあった一方で、後半戦ではどのモデルも苦戦する様子が見られたという。

『Slay the Spire』は2017年にSteamにて早期アクセス配信開始され、2019年に正式リリースされたデッキ構築ローグライクカードゲームだ。本作では、プレイヤーは三層に重なる塔をモンスターとの戦闘を挟みながら登っていく。戦闘は毎ターンデッキから引かれる5枚のカードの中から行動を選択して展開する。カードは戦闘報酬などで1枚ずつ入手でき、塔を登るたびにデッキ構成が変化していく。

本作は運と戦略の絡み合う中毒性の高いゲームプレイなどから絶大な人気を博し、コンソールやスマートフォン向けにも展開。多くの後発作品にも影響を与えた。2026年3月には続編『Slay the Spire 2』がSteamにて早期アクセス配信を開始している。

今回はそんな本作を生成AIにプレイさせる研究論文が掲載された。本研究は、ラドバウド大学の機械学習・神経計算学科の人工知能部門助教Sander W. Keemink氏と、AI研究の非営利組織Vector InstituteのScott C. Lowe氏による共同研究だ。学術論文のプレプリント公開サイトarXivにて公開されており、査読前の論文となっている。

本研究では20種類の大規模言語モデル(LLM)を用いて、各モデルに『Slay the Spire』の最高難易度であるアセンション20を、同じ10種類のシードを使用してプレイさせる方式がとられた。使用されたキャラクターはいずれもアイアンクラッドだ。実験では既存のゲーム操作Modを拡張することで、LLMが直接『Slay the Spire』をプレイできる「SpireBench」という実験環境が用意されたという。ただし各モデルがすでに本作の攻略情報を学習している可能性を考慮し、主要な実験ではゲーム内の名称を別のものに置き換えていたとのこと。

なお研究結果を、Mega Critが公開したアイアンクラッドの約20万6000回分のプレイ記録、および4人の本作のベテランストリーマーのプレイ履歴と比較して、LLMと人間のプレイヤーとの能力の比較もおこなわれた。結果的に最先端のLLMは平均的な人間のプレイヤーの能力を上回るものの、熟練のプレイヤーには遠く及ばなかったそうだ。

実際の結果を見ると、たとえばGPT-6 Astra、Claude Fable 5.1、Claude Opus 5はレベル1(Act 1)の突破率がそれぞれ90%。先述のとおり研究では各LLMが10種類のシードを用いて10回ずつ挑戦しているため、10回中9回突破したことになる。一方レベル2の突破率は、GPT-6 AstraとClaude Fable 5.1がそれぞれ50%、Claude Opus 5は40%。レベル3の突破回数に至っては、Claude Fable 5.1が20%、GPT-6 AstraとGPT-5.6 Solがそれぞれ10%であった。

そして気になる最終ボスの撃破率はというと、GPT-5.6 Solが10%でそのほかはすべて0%。つまり20種類のLLMがそれぞれ10回ずつ挑戦して、最終ボスにわずか1回しか勝利できなかったことになる。

なお実験自体は試行回数が10回しかなく運による変動も大きいため、近い成績のLLM間の性能の序列を判断する際に信頼できるデータではないとのこと。一方で研究論文では今回のLLMの成績を用いて、人間のプレイヤーとの比較がおこなわれている。まず先述したMega Critが公開した約20万6000回分のプレイ記録では、レベル1の突破率は47%、レベル2が15%、レベル3が7%、最終ボスの撃破率は4%であった。プレイ時間1000時間以上のプレイヤーの記録8287回に絞っても、レベル1は54%、レベル2は20%、レベル3は11%、最終ボスは7%であった。

ところが一度最終ボスを撃破した経験のあるプレイヤーに絞り込むと、3641回中レベル1突破率は58%、レベル2は29%、レベル3は21%、最終ボスは16%にまで突破率が上がる。そしてTwitchでの本作のベテランストリーマー4名については、レベル1の突破率が90%前後、レベル2が70%前後、レベル3が56~71%、最終ボスが46~65%であったとのこと。レベル2以降の突破率については、ベテランストリーマーがLLMを大きく上回っている。

こうした結果を踏まえて、研究論文ではLLMの『Slay the Spire』における強みと弱みを推察している。まず性能の高い最新のLLMは、短期的な戦闘にはよりうまく対応できることがうかがえるという。敵の攻撃を把握し、ダメージを計算して使用するといった能力だ。性能の高いLLMほど、エナジーを効率よく使用し、ターン数も少なめに戦闘を終わらせる傾向があったそうだ。そうした能力の高さもあってか、先述したとおり、レベル1の突破率がベテランストリーマーと同程度のLLMも存在する。

一方で長期的な戦略では、LLMはベテランストリーマーに大きく劣っているとの見解が示されている。というのも『Slay the Spire』では戦闘だけでなくルート選択も戦略のうち。安全な道を選んで体力を温存するか、エリートと呼ばれる強敵と戦って豪華な報酬を狙うかといった決断も必要になる。また各種イベントでも、たとえばHPを犠牲にカードをアップグレードするといった、リスクの見返りにメリットもあるような選択肢が用意されている。戦闘で生き残るだけではなく、ビルドの成長につながる選択をリスクも踏まえて選びとっていくことが重要となるゲームだ。

ただLLMは目先のHPを守ることを優先し、リスクはあれど将来の成長につながるような選択肢を避ける傾向がみられたという。いわば慎重すぎるプレイスタイルであり、レベル1のボスに到達したデータのみを対象にレベル1での行動を集計すると、たとえばエリートとの平均戦闘回数は人間全体では1.96回、ベテランストリーマーは2.6回なのに対し、LLMは1.25回であった。また休息かカードのアップグレードかを選べる休憩所においては、休息を選んだ割合が人間全体で23%、ベテランストリーマーが9%であったのに対し、LLMは68%も休息をとっていたという。結果としてレベル1のボス戦到達時の最大値に対する残りHPの割合は、人間全体では62%、ベテランストリーマーが56%であったのに対し、LLMは82%も温存していたとのこと。ちなみに人間のプレイヤーでも、慎重なプレイスタイルではレベル2の突破率が低くなる傾向が見られたそうだ。

また研究論文ではLLMが“カードを獲得しすぎる”といった傾向も示されている。本作では不要なカードは取得せず、デッキで欲しいカードを引きやすくするという構築方針も戦略のうち。レベル1のボス到達時点で人間のプレイヤーは戦闘後にカードを獲得しなかった割合が23%、デッキ枚数が平均16.8枚であったのに対し、LLMは戦闘後にカードを獲得しなかった割合がわずか8%、平均デッキ枚数は19.3枚であったそうだ。

このほか研究論文では、LLMが何度プレイしても経験から上達しないといった傾向がみられたことも示されている。記憶の蓄積による明確な成績向上がないばかりか、結果からどの行動が勝敗につながったかを十分に検証できないまま教訓を記憶することもあったという。またやはり慎重な行動を教訓として蓄積しやすい傾向もみられたとのこと。そうしたプレイスタイルも、LLMがレベル2以降に、少なくともベテランストリーマーよりも苦戦しやすい結果に繋がっていたのかもしれない。

なお『Slay the Spire』をLLMにプレイさせるという研究自体は今回が初めてではない。とはいえ過去の研究と比べると、最新のモデルを利用している点のほか、難易度を最高のアセンション20に設定している点や、先述したようにカードの名称などの変更はあるものの、直接『Slay the Spire』自体をプレイさせた点が特徴といえる。

ただ現時点で本研究論文が査読されたことは確認できず、また論文内では各LLMの試行回数が10回ずつと少なかった点、人間とLLMが同じ乱数シードでプレイしたわけではない点などが本研究の限界として挙げられた。使用キャラはアイアンクラッドのみの比較であり、別のキャラではまた異なる能力が求められる可能性もあるという。またゲーム内の名称を変更しても、LLMが学習済みのデッキ構築ゲーム一般の知識は排除できないため、LLMのプレイに影響を与えた可能性はあるようだ。

そうした点も踏まえると、人間とLLMの純粋な『Slay the Spire』の腕前を厳密に比較したデータとはいえないかもしれない。ただ、最新のLLMをもってしても、『Slay the Spire』の最高難易度はやはりきわめて難しいことはうかがえる結果だろう。データからはLLMがリスクを避けて慎重なプレイスタイルをとる一方、後半で苦戦している傾向も見られた。『Slay the Spire』ならではの決断の難しさに行き詰まっている点には何となく親近感を覚えるところかもしれない。

この記事にはアフィリエイトリンクが含まれる場合があります。

Hideaki Fujiwara
Hideaki Fujiwara

なんでも遊ぶ雑食ゲーマー。『Titanfall 2』が好きだったこともあり、『Apex Legends』はリリース当初から遊び続けています。

記事本文: 4008