Steamの低評価レビューは、「短時間プレイかつ長文になりがち」な傾向。高評価との“書かれ方”の違い大規模分析

ゲームをプレイした際に投稿するレビューについて、プレイヤーが投稿したくなるタイミングや文章の長さ、表れやすい感情は、評価の高低やプレイ形態によっても異なる傾向にある可能性が研究によって浮上している。

ハンガリー・パンノニア大学のTibor Guzsvinecz氏らは、論文「Emotions in play: A length and sentiment analysis of steam reviews by player engagement mode」を発表した。同論文は科学ジャーナル「Heliyon」にて7月23日に採択され、7月28日にオンラインで公開されている。

プレイ形態によって異なる傾向

現代のゲームには、シングルプレイや協力プレイ、マルチプレイなど、プレイヤーがゲームに参加する形態を示す「player engagement mode（PEM）」がさまざま存在する。一方で、ゲームにおけるプレイヤー体験や感情を扱った従来の研究は、特定のゲームジャンルや個別のゲーム機能に焦点を当てたものが多かった。そこで研究者らは、PEMの違いによって、ユーザーのレビューの長さやプレイ時間、感情表現がどのように異なるのかを体系的に分析することを目指した。

調査では、Steamの公式APIを用いて、2023年3月から約1か月かけてレビュー収集。取得時点でのテキストレビューを各ゲームにつき最新のものから最大1000件取得し、各タイトルに、シングルプレイや非同期型マルチプレイ、Co-op、大規模マルチプレイなど、プレイ形態に基づいて10種類のPEMから該当するものを付与。計1503万2567件から英語で書かれたものだけが抽出された。

感情分析には、自然言語処理の研究などで広く用いられている英語の感情辞書「NRC Emotion Lexicon」を使用。各レビューに含まれる「怒り」「期待」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」「信頼」の8種類の基本感情と、ポジティブまたはネガティブの2種類の感情極性をスコアリングしている。あわせて、レビューの単語数や、投稿時点でのプレイ時間、低評価または高評価の区分などを集計した。

分析の結果、まず低評価レビューは高評価レビューよりも投稿文が長く、よりプレイ時間が短い段階で投稿される傾向が明らかとなった。レビューの長さやプレイ時間にはPEMごとに差も見られ、たとえば非同期型マルチプレイでは、高評価・低評価のいずれでも平均単語数がもっとも多かったという。研究者らは、ターン制や時間差のあるやり取りによって、プレイヤーが体験を振り返りながら、詳細に記述しやすい可能性を指摘している。

一方で、投稿時点でのプレイ時間を中央値で比較すると、大規模マルチプレイでは、低評価レビューが187分であったのに対して、高評価レビューは565分だった。これについて研究者らは、バグや操作性の悪さ、期待外れといった否定的な体験は早い段階で現れやすく、プレイヤーが早期にプレイをやめ、不満を投稿する可能性があると考察している。

ただし、プレイ時間とレビューの長さの間には、実質的な相関は見られなかったとのこと。レビューの長さはプレイ時間そのものではなく、体験の感情的な強さや印象深さ、ゲームに対するはっきりした意見、プレイヤーのレビュー習慣などが影響している可能性が挙げられている。

また感情分析では、PEMによってレビュー内で表現される感情に異なる傾向が見られた。低評価レビューには「怒り」「悲しみ」「恐れ」が、高評価レビューには「喜び」「期待」が多く表れていた。これについては想像しやすい結果ながら、たとえばCo-opでは、いずれの評価でも感情表現の強度が比較的低かった一方で、高評価レビューでは「信頼」が相対的に多く現れるなど、PEMごとの特徴なども確認された。

分析を活かしたゲーム作り

これを踏まえて研究者らは、ゲーム序盤での否定的な体験に応じて低評価レビューが投稿されやすく、プレイヤーが遊び続けるかを左右する可能性に言及。作品の構造や目的によって異なるものの、序盤を単なるチュートリアルとしてではなく、ゲームシステムの導入に加えて、物語への関心や映像と音響による没入感、そして感情的な雰囲気づくりなどを含んだ、多面的な導入体験として設計することが重要だと提案している。

とはいえ、今回の研究はSteam上の英語レビューのみを対象としており、レビュー数も各ゲームにつき収集次点での最新1000件までに限られている。研究者らは今後、他のプラットフォームや言語のレビューを取り入れるほか、アンケートやインタビューなどの質的調査も組み合わせて、なぜ特定の感情が生じるのかを詳しく調べる必要があるとしている。

なおSteamユーザーレビューについては過去にも、レビューを投じやすいのはどのような条件のゲームなのかを調べる報告が存在した。そこでは、新しくて高いゲームほどレビューが多く、好評率によっても異なる可能性が示されていた（関連記事）。プレイヤーから寄せられるレビューは、開発者のモチベーションにつながるだけでなく、フィードバックを踏まえたゲームの改善にも役立つ可能性がある。またユーザーにとってレビューステータスは購入の参考になる指標のひとつであり、好評率が40％を下回って「やや不評」になると、Steamストアにおける露出に悪影響が生じるアルゴリズムもあるという（Steamworks）。レビューの傾向を示す今回のような研究結果は、調査対象や手法に限界はあるものの、ゲームの改善やマーケティング施策を検討するうえでの参考にもなりそうだ。