Discordにて「『マインクラフト』のインベントリ画像を投稿しただけでBANされた」との報告相次ぐ。“BAN処理の不具合”も重なり、無害な画像で大規模誤BAN

Discord社は7月7日、同社が運営するチャットアプリケーションDiscordにて発生していたアカウントの誤BANについて声明を発表。フラグ付けシステムの誤検知に加えて、審査に関わる不具合が発生していたことが説明された。なお、影響を受けたユーザーのアカウントはすでに復旧しているという。

Discordは、テキストチャット・音声通話・画面共有などが可能なアプリだ。ユーザーが好みのテーマのサーバーを立て、そこにほかのユーザーが集う仕組みが特徴。PCおよびスマートフォン向けのネイティブアプリのほか、ブラウザ版やコンソール向けの連携機能も用意されている。

掲示板やSNS等では数日前より、Discordに画像を投稿したところ、児童安全ポリシーに違反したという理由でアカウントがBANされたとの報告が相次いだ。問題のあるコンテンツとされたのは、『マインクラフト』のインベントリ画面やチェス盤、ゲームのテクスチャ素材や、Googleドライブのファイル一覧のスクリーンショットなど、その多くがグリッド状のパターンをもった画像であった。一部では、検閲回避のために用いられるウォーターマーク（透かし）とパターンが類似していることに由来する誤検知ではないかとの指摘も挙がっていた。

Discord社では、児童性的虐待コンテンツ（CSAM）を検出するために「PhotoDNA」と呼ばれるツールを使用しているという。PhotoDNAでは、報告が上がった違法画像のデジタル署名（ハッシュ）を作成。一致するハッシュを持った画像がアップロードされた場合にはそれを自動的に検出し、人力での内部審査のためにフラグづけをおこなうとされている。審査の結果、違法な画像であると確認された場合には、アカウントの停止や機関への通報の措置がとられるという。これに加えて、Discord社は画像の意味理解をおこなう独自のツールを開発したことを2023年に発表していた。

今回の誤BANはそうした仕組みが原因ではないかと推察されており、「grid ban」といったワードとともに波紋を広げることに。そうした中で、DiscordのエンジニアであるAdvaith氏は7月6日、誤検知の問題があったハッシュを無効化したとSNSにて報告した。なお同氏は、本件はAIとは関係がないことを強調している。というのも一部ユーザー間では、AIによってモデレーションをおこなっていることの弊害ではないかとの憶測も呼んでいた。一方同氏によれば誤検知はあくまでアルゴリズムの不具合であると説明された。

そして7月7日には、Discordの公式サポートアカウントから騒動についての説明がおこなわれた。Discordにおいて、類似性マッチングシステムを用いてコンテンツを照合する上では誤検知が発生する可能性もあり、そのためフラグ付けされたコンテンツは措置をおこなう前に、常にスタッフが人力で審査をおこなっているとのこと。ただし、本来であれば審査中にコンテンツのアップロードを一時的に停止するだけのはずが、アカウントをBANしてしまう不具合が発生していたそうだ。さらに同じ不具合により、スタッフが確認してアカウントに問題がないことを確認した場合にも、BANの自動解除が妨げられていたという。

Discord社によれば、2026年5月から先週にかけて約8200件のアカウントが影響を受け、先週末には200件が追加でBANされたとのこと。なお、不具合の影響を受けた全員のBANがすでに解除されているそうだ。

2025年第4四半期時点で9000万人以上の日間アクティブユーザー数を誇るDiscordでは、ユーザーが投稿するコンテンツの安全性をチェックするために、自動検出アルゴリズムなども活用されている。とはいえ、こうしたアルゴリズムでは誤検知が起こるケースもあるようで、今回問題となったシステムのように人力でのチェックも組み合わせて運用されている模様だ。ただ今回はシステムの誤検知に加えて、審査前後のプロセスに不具合が生じていたことで、即座にBANされる事態になったことが明かされた。児童を保護し、ユーザーが安心して利用するためにも欠かせないセーフティシステムである一方で、無害な画像の投稿によって突然アカウントが停止される事態は波紋を広げており、システムやその運用方法のさらなる改善も求められるところだろう。