Steamではプレイ200時間超えだと「ネガティブなレビューがむしろ増える」との研究結果。何百時間やりこんでの不満、貴重な“熟成辛口レビュー”

Steamをはじめとするデジタル配信プラットフォームでは、ユーザーレビューがプレイヤーの満足度やゲームの品質をうかがうための指標として扱われることが多い。そんなレビューの評価は、プレイ時間やレビューの長さと複雑に結びついていることも先行研究によって報告されてきた。

そこでインドの研究チームでは、ゲームを長時間プレイしているにもかかわらず、レビューの中にネガティブな感情を含むプレイヤーが存在することに着目。このような現象を「playtime-sentiment paradox（プレイ時間と感情のパラドックス）」と定義し、プレイ時間とレビュー感情の関係を明らかにすべく調査をおこなった。

インド情報技術大学バーガルプル校のChetan Mudlapur氏とOm Prakash Singh氏は、論文「Critical yet Committed: Analyzing Player Sentiment Paradox in User Generated Game Reviews」を学術誌「International Journal of Human–Computer Interaction」に掲載。本論文は8月4日にオンラインで公開された。

レビューに現れるパラドックス

調査では、Steamが提供するAPIを用いて英語レビューが収集され、プレイヤーの関わり方が異なるさまざまなゲームを比較できるように、12ジャンルを研究チームが選定。1万件以上の英語レビューがあることを条件として、12ジャンルのそれぞれにつき5タイトル、計60タイトルが対象とされた。取得した計56万1843件のレビューから、欠損したデータや極端な外れ値などを除外し、最終的に55万9290件が分析対象となった。

レビューの感情分析には、モデル間の比較を踏まえて、SNS投稿の感情分析用途に調整された「RoBERTa」モデルを採用。レビュー本文のテキストから、ポジティブ・ネガティブ・ニュートラルのいずれかに分類した。また、投稿時点でのプレイ時間によって0～2時間・2～10時間・10～50時間・50～200時間・200時間以上の5つのグループにレビューを振り分けている。

この中で、200時間以上プレイしつつ、ネガティブなレビューであると判定されたレビューを、前述した「プレイ時間と感情のパラドックス」に該当すると定義。各グループのネガティブレビューの割合や、タイトル・ジャンルごとのパラドックス発生率などを調べた。

ネガティブレビュー率の変化

調査の結果、まずレビューの感情については、ポジティブが58.12％、ネガティブが21.22％、ニュートラルが20.66％という割合であった。これをプレイ時間別に見ると、0～2時間のグループではネガティブレビューの割合が45.6％と高かった一方で、2～10時間・10～50時間・50～200時間の3グループでは、いずれも18％台と低下した。

ところが、200時間以上のグループでは、ネガティブレビューの割合が28.2％へと再び高くなることが明らかとなった。また、レビューの感情判定の確信度に、ポジティブならプラス、ネガティブならマイナスの符号を付与した感情スコアを用いて、回帰分析を実施。プレイ時間の上昇にあわせてスコアは高くなり、グラフは約50.2時間で頂点に達し、その後低下する逆U字型を示したという。つまり、プレイの序盤でレビューを投稿するプレイヤー層だけでなく、長時間プレイした層においても、レビューにネガティブな感情が表れやすい傾向にあるようだ。

ちなみに、このパラドックスに当てはまったレビューを抽出して調べると、全体の5.24％にあたる計2万9308件が該当し、投稿時点でのプレイ時間は平均976.2時間だったという。基準を500時間以上に上げた場合でも、全体の2.70％にあたるレビューが残ったことから、研究チームではこのパラドックスが、200時間という特定の区切りによって生じたものではないとの見方を示している。

そして、研究では複数の観点からパラドックスについて分析。Steamでゲームを購入したプレイヤーは、無料で入手したプレイヤーよりも、パラドックスの発生率やプレイ時間が高かったという。そのため直接実証されたわけではないものの、金銭や時間の投資がパラドックスを強める可能性があり、いわゆる「サンクコスト効果」に沿う状況だと推察されている。

さらに、ネガティブと判定されたレビューのうち、41.64％はユーザーが「おすすめ」と評価していたレビューだったという。研究チームは、こうした感情と評価の食い違いが、「認知的不協和」と呼ばれる状態に通ずる可能性を指摘。一方で、作品のある側面には不満を抱きつつ、全体の品質は評価するといった繊細な判断を反映している可能性もあるとしている。

また、今回選ばれた60作の中ではジャンルや作品の形態によってもパラドックスの発生率は異なり、たとえばライブサービス型のタイトルやストラテジーゲームでは高い一方で、ソウルライクやJRPG、インディー作品では低い傾向が確認された。継続的なサービスによって成り立つゲームでは、バランス調整やマッチメイキング、コミュニティなどの要素を巡って、長期的なプレイヤーの不満が生じている可能性があると考察されている。

ベテラン層のフィードバックがもつ価値

調査結果を踏まえて研究チームは、パラドックスに該当するレビューの重要性を示唆している。プレイ時間の多いネガティブレビューは、単なる不満や離脱表明としてではなく、長期的な経験に基づく詳細なフィードバックとして捉える必要があると述べている。そのため、レビューのポジティブ・ネガティブの評価だけでなく、プレイ時間なども踏まえて解釈するべきだとの提言をおこなっている。

なお、今回の研究は、特定の時点で収集したSteam上の英語レビューを横断的に分析したものであり、時間経過によるプレイヤーの感情の推移を調べたものではない点には注意が必要だろう。研究チームは展望として、同一のプレイヤーを時間の経過にあわせて追跡することで、プレイヤーがいつどのように幻滅するのかを調べられる可能性があるとしている。また、サンクコストや認知的不協和といった心理的な要因についても、心理実験などを通して検証することも視野に入れているそうだ。

ところで、過去には別の研究チームによって、低評価レビューは高評価レビューよりも、プレイ時間が短い段階で投稿されやすい傾向が示されていた（関連記事）。同研究では、Steamにおいて「おすすめしません」と評価されたレビューについて、プレイ時間との関係を調査していた。一方で、今回の研究ではおすすめかそうでないかではなく、感情分析によって、ネガティブと判定されたレビューを抽出。これにより、序盤のみをプレイしたグループだけでなく、200時間以上の長時間プレイしたグループでも、ネガティブレビューの割合が上昇することが示されたかたちだ。

また、ネガティブと判定されたレビューのうち、Steam上では「おすすめ」と評価されていたレビューが約40％を占めていたという結果から、好評率のみでは把握できないユーザー反応の存在も見てとれる。投稿時点でのプレイ時間などのデータを考慮し、長時間のプレイに基づく意見に焦点を当てることで、フィードバックをより効果的にゲーム開発へと活かすことにもつながりそうだ。