Discord近日承认,其AI审核系统存在漏洞,导致过去两个月内超过8000名用户被错误封禁。无害的图片——包括电子表格、棋盘、游戏纹理以及白色和灰色透明背景——被误判为有害内容。
公司确认该问题自5月起影响用户账户,且在问题被发现并修复前的周末,又有约200名用户被封禁。目前,所有受影响的账户正在恢复中。
此次事件凸显了AI辅助审核面临的挑战,随着越来越多平台依赖自动系统大规模识别非法或滥用内容,误判风险也随之增加。
Discord在X平台发布的详细说明中解释,其自动安全系统通过将上传内容与已知有害材料数据库进行匹配来识别违规内容。虽然该技术旨在捕捉非法内容,但公司承认有时会产生误报。通常会由人工审核被标记的内容,但此次漏洞导致系统直接封禁了相关账户。
“我们正在改进保护措施,防止此类事件再次发生。”公司表示。

在X和Reddit上,用户反映仅因上传带有方格图案的图片就被永久封禁。部分用户推测,Discord的AI审核工具对网格状图案变得更加敏感,可能是因为此类图案曾被用于掩盖或伪装不当内容,逃避自动检测。
受影响用户在社交媒体上表达了不满,认为仅凭自动检测就永久封禁账户后果严重,尤其是对依赖Discord进行工作、游戏社区交流或远程社交的用户来说影响巨大。
一位X用户写道:“因为这样不公平的原因失去Discord账户非常令人沮丧,且每天都有数百万用户受到错误AI封禁的影响,这必须停止。”
Discord并非唯一因自动审核系统出现问题而遭遇困扰的平台。去年,Instagram和Facebook Groups用户曾报告大规模无故封禁,普遍认为是AI审核系统所致,尽管Meta未公开确认AI错误。如今,Meta的监督委员会正推动提高透明度。
去年,Tumblr也遭遇用户投诉,称其内容过滤系统错误标记帖子为成人内容,导致大量账户被封禁,用户怀疑AI审核存在问题。


