Steamの“生成AI利用ゲーム”に対するプレイヤーの反応を分析した研究。評価を分けるのは“利用そのもの”より“利用目的”か

生成AIのゲーム利用については物議をかもすことが多い。ゲーム制作においては、汎用ゲームエンジンでも開発支援ツールなどで活用される一方で、開発者のあいだでも批判的な見方も示されていることがある。そうしたゲーム制作における生成AI利用について8月12日、「プレイヤー反応が何故良くないのか」を分析した研究が発表された。

生成AIについては、訓練用データとなるコンテンツの権利関係を中心とした議論が続けられ、各国で法整備なども進められている。業務の補助や調査、プロトタイピングなどで活用される一方、ゲーム内アートやプロモーション映像など、目立つかたちで生成AIが用いられるケースでは批判が集まるケースもみられる（関連記事）。権利関係や、雇用への影響、アートや映像においては品質面も論点になることがある。

今回、そんな生成AIについて、プレイヤー反応の定性的な分析をおこなった研究が発表された。著者はノースイースタン大学クーリー・カレッジのコンピューターサイエンス学部の博士課程に在籍するMahsa Bazzaz氏および同学部で准教授を務めるSeth Cooper氏だ。同氏らは生成AIのゲーム開発への導入における議論は盛んなものの、「プレイヤーがAI生成コンテンツをどのように認識しているか」を実証的に検証した研究はほとんどないと指摘。そのため、Steamにおける生成AIの普及状況の調査と、英語レビューの分析によってその傾向を明らかにしようとする試みがおこなわれた。

また比較対象として、プロシージャル生成（PCG）に対してのユーザー反応の分析もおこなわれている。PCGは演算によって自動でコンテンツを作成するという点で、生成AIとの類似点も存在する。しかし数十年にわたって技術のひとつとして浸透し、すでに広く受容されている点で生成AIとの重要な相違点があり、比較対象として有用だと判断したそうだ。

具体的な調査としては、Steamの公開APIおよびウェブスクレイピング技術を用い、Steam上のすべてのアプリケーションリストを取得。あわせて、価格やジャンル、早期アクセス状況などといった各タイトルの詳細、そして英語で書かれたユーザーレビューもあわせて取得している。そのなかから、「プロシージャル生成」タグが付いたゲーム5186本に寄せられた34万1447件のレビューと、「AI生成コンテンツ開示」ラベルが付いたゲーム5970本に寄せられた16万6745件のレビューを比較した。

こうして集めた計50万8192件のレビューに対し、DistilBERTモデルを使い感情を分析。ネガティブかポジティブかスコア付けし分類したという。そしてレビューの中から「AI」や「ai-generated」、「disclosed（開示された）」といったワードを少なくとも1つ含むものを抽出。かつ「参考になった」と1件でも評価され、特殊な文字がテキストの20％未満となっているもの、といった基準を設け、定性的な評価に使うサンプルをピックアップしたとのこと。なおこうした基準は、スパム的な投稿を避ける意図があったようだ。あわせて各ゲームにつき、もっとも「参考になった」の票が多いものを選出し、レビュー数の多いゲームのコメントばかりが選出されないようにしているとのことだ。

「生成AI利用ゲーム」は、ネガティブに評価されがち

まずレビューの前に、それぞれの作品のジャンルなどについて、定量的な分析がおこなわれている。集められた情報によれば、生成AIを用いたゲームの無料タイトルの割合が22.4％と、PCGの12.5％より高い。また有料作品だったとしても、生成AIは平均10ドル（約1600円）となっており、平均14.7ドル（約2300円）のPCG利用タイトルより安価な傾向があることがうかがえる。またカジュアルゲームの割合も、5186件中13.4％を占めるPCGに対し生成AI利用の作品では、5970件中28.7％と、2倍以上の数があることが確認できる。生成AIを利用した作品は、安価でカジュアルなゲームにて比較的多く用いられているといえるだろう。レビュー傾向としては、そうしたカジュアルゲームの割合の違いなどもあってか、レビュー投稿時のプレイ時間の中央値は生成AI利用ゲームの方が短い傾向にあった。

そして、レビューにおける否定的なコメントと肯定的なコメント、加えてSteamのrecommendation (thumbs up) system、つまり「おすすめ」としてレビューを投じた好評率もまとめられている。論文におけるデータをもとに、弊誌で独自に日本語の説明を加えた表を以下に記載する：

表を確認すると、PCGのタイトルの方が、Steamユーザーレビューにおける好評率が86.3％と高く、肯定的なコメントの割合も高いことがわかる。さらに下記の表は、「生成AI」ゲームに寄せられた全レビューの中でも、実際に生成AIに言及した7834件のレビューにおける否定/肯定、好評率についての表となる。生成AIに直接言及したレビューでは、ゲームにおける生成AIに対して、プレイヤーから否定的な印象が寄せられる傾向にあることが確認できる：

「生成AI」への反応の種類はさまざま

続いてサンプルとして抽出したレビューの定性的な分析として、AI生成コンテンツに対するユーザー反応の傾向がまとめられている。Bazzaz氏らによると、その傾向は大まかに5つに分けられるそうだ。

1つ目は「品質不足」。ゲームのクオリティが低かったり、不具合がおこったりした際に、生成AIによるアート/脚本/コードの生成に原因を求め、それを指摘するというタイプのレビューだ。このタイプのコメントではAI生成コンテンツを「時間をかけずに」「手抜きで」「血の通ってない」ものと認識しているようだという。たとえばビジュアルにおいて「人物の指が多い」という声や「音声が不自然」「翻訳の校正がおこなわれていない」という“誤り”の指摘もセットになっており、総じてAIによって生成されたものを「低品質」と認識し、開発者は改善を怠っていると評価している点で共通している。

2つ目は「イデオロギー・倫理的抵抗」。こちらはレビュアーの思想信条に基づき、生成AIの利用に反対するコメントが多く見られる。こちらは先ほどの「品質不足」とは異なり、出力されたものの品質は関係していない。むしろ、中にはゲームの内容を高く評価しているものも存在。なおAI利用を知って評価が反転するケースもあるようだ。こちらは品質への指摘というよりは、アーティスト保護の観点、そして学習データの権利への懸念が中心となっている。つまり成果物より、制作過程を重視している格好だ。

そして3つ目は「透明性と信頼」。こちらは開示“しなかったこと”を指摘し、不信感を露わにしているものが多いという。現在はSteamにおける生成AIコンテンツについて、ユーザーが触れるコンテンツに用いられている場合には情報を開示することが求められているが、2024年に「AI生成コンテンツの開示」項目が実装された際には、細かい指定は特になく、説明の方式は各タイトルでまちまちであった（関連記事1、関連記事2）。そんな中で、開示の状況が不完全/不十分である場合に、こうしたタイプのコメントが多く寄せられているという。

一方で生成AIに対して肯定的なコメントも類型化されている。4つ目の「受容」では、先述の3項目から一転して、生成AIの利用を受容し、評価しているものだ。なお評価されているものには、低解像度のアートをスケールアップする、LLM（大規模言語モデル）を用いたNPCとの会話、などが挙げられており、生成AIを利用した「コスト削減」よりも、斬新さや付加価値をもたらす「ツール」としての活用は評価されているそうだ。

また最後の「上昇し続けるハードル」では、むしろ「何故使わないのか」と生成AIの利用を推奨するレビューが小規模ながら存在していると明かされている。たとえば作品にあまりに低品質な合成音声やつたない翻訳が使われている場合、AIモデルを利用してすぐに改善すべき、といったものが挙げられる。

「生成AI利用」の開示にはジレンマも

こうした種々の反応からは、「生成AIの利用開示」そのものに関するジレンマが見て取れる。信念的に生成AI利用に反対する層がいる一方で、そうした反対を防ぐために開示範囲を絞ることでもまた批判が寄せられるケースも考えられるわけだ。コンテンツの質や使用の程度に関わらず、生成AI利用の開示が否定的な反応に繋がるケースもあるとしており、開示そのものに一定のリスクが存在することがうかがえる。

しかし自分で開示するのではなく、第三者により生成AIの利用が暴露された場合は、秘匿していたこと自体が批判の対象となり、信頼を損なうリスクがある。先述の「透明性と信頼」のように、秘匿すること自体を糾弾する声もある。また今回確認できたレビューでは、Webページのアーカイブを取得できるWayback Machineを利用し、開発者ページにおけるAI利用への言及の矛盾を指摘するものもあったとのこと。これはSteamにおける生成AI使用情報の開示の信頼性が欠けていることも意味している、とBazzaz氏らは指摘している。開示内容はあいまいな一文から詳細な表明まで多岐に渡っており、現状のSteamの開示システムには改善の余地があるという。

どのアセットがAIによって生成されたものなのか、アセットなどには人間のキュレーションが適用されたのか。さらには、なぜ生成AIが利用されたのかといった意図が明確になることで、「信頼性」「透明性」は向上するとBazzaz氏らは主張しており、Steamの現行のシステムについて改善の余地があることを示唆した。

同じ“生成”を冠しても、目的の違う「プロシージャル生成」

加えて、Bazzaz氏はすでに受容されているPCG（プロシージャル生成）と生成AIの違いを指摘。関連研究によると、現在ではプロシージャル生成は、プレイヤー/開発者ともに、ゲームデザインにおける「ランダム性」「ローグライク的側面」「リプレイ性」として認識していることが判明している。制作技術としてすでに受容され、ゲームプレイ体験に統合された概念であることがうかがえる。生成AIに関するレビューでも、「プレイヤー入力に反応する動的コンテンツ」「LLMでの対話」「AIによる物語生成」は好意的に受け止められていることが多く、これはPCGがゲーム内で占めている「ゲーム体験を作る」役割に近い。

今回のBazzaz氏らの研究では、そんなPCGと生成AIを比較しつつ、不十分な「生成AIに対するプレイヤー視点」の分析を実施。生成AIはアセット制作における人力の「代替」として用いられることが多く、技術が体験の向上ではなく、効率化のみに用いられていることが、否定的な評価を呼んでいるのではないかと指摘。“プレイヤー体験の向上”に根ざした利用が、生成AIの受容に繋がる可能性を示唆している。

「生成AI利用」が受け入れられるには

このような結果から、Bazzaz氏らは生成AIの受容にあたっては、「人間中心のAI利用」が大事になるのではないかと分析している。たとえば批判の対象になりがちな“AI特有”の「6本指」「不自然な翻訳」は、「技術的ミス」というより、そうしたミスの存在そのものが、開発者が「プレイヤーへの配慮が欠けている証」として受け取られる。またユーザーが「AIをどう使ったのか」「何故使ったのか」がわからないと、それもまた非難の対象になりうるという。

そのため、「生成AI」が受け入れられるには、品質の向上だけが最終目標なのではなく、「プレイヤーが必要としているもので、AIだけが提供できるものは何か？」という思想での活用が重要になると指摘している。コスト削減の面から生成AIの導入を検討するのではなく、先述の「プレイヤー入力に反応する動的コンテンツ」「LLMでの対話」「AIによる物語生成」のような、従来の方法では再現することが難しく、プレイヤーのニーズを満たしうる設計としての利用を進めるべきだとBazzaz氏らは提言している。

なお、本研究については、Bazzaz氏らが課題として、英語レビューのみを取り扱っており、他言語圏では文化的な文脈などの影響で生成AIに対する評価が変わりうるとしている点には留意したい。また生成AIを巡る技術、そして生成AIへの評価は日夜変化し続け、議論も現在進行中だ。長期にわたる追跡ではないことから、今後こうした分析結果も変わりうる可能性があるとされている。

いずれにせよ、今回の研究は賛否の反応が分かれる生成AIについて、ユーザーの視点から掘り下げられたという点で興味深い。ポジティブ/ネガティブな反応を問わず、ユーザーの態度がある程度類型化され、生成AIの抱える潜在的課題も浮き彫りになったかたちと言えるだろう。今後Bazzaz氏らの示唆するように、ゲーム開発における生成AIが「プレイヤー体験向上の価値」を示し、受容されていくのかは注目されるところだ。