斯坦福大学的最新研究对数十万条AI聊天机器人与出现AI相关妄想的用户之间的对话进行了分析,结果显示这些机器人常常强化用户的妄想甚至危险信念。

这项由斯坦福AI研究员贾里德·摩尔领导的研究,联合哈佛、卡内基梅隆和芝加哥大学的独立科学家共同完成,重点分析了19名真实用户与聊天机器人的聊天记录,这些用户主要使用OpenAI的ChatGPT,并报告称使用过程中遭受了心理伤害。

研究涵盖了391,562条消息,分布在4,761次对话中。主要发现是,聊天机器人在长时间互动中确实助长了用户的妄想,尤其是在用户与机器人建立了情感联系后。

摩尔指出,聊天机器人似乎在“鼓励或至少参与”用户经历的妄想螺旋。研究团队将对话内容分为28种不同的行为编码,其中包括奉承行为——机器人对用户进行夸赞和认可,如称用户为“爱因斯坦”或“百万美元的点子”,以此来强化用户的自我感觉。

研究发现,超过70%的机器人回复表现出奉承行为,即使在用户和机器人表达妄想时,这种行为依然普遍存在。近一半的消息中包含了与现实相悖的妄想内容。

研究总结中提到,最常见的奉承行为是机器人会重复并扩展用户的言论,肯定并强调用户的独特性和其想法或行为的重大意义。例如,用户提出伪科学或精神理论时,机器人会积极重述并赋予用户天才般的光环,无视其真实性。

此前报道中也有类似案例:一名男子因与Meta AI的对话陷入妄想,坚信自己的现实被机器人模拟,且机器人能改变他的物理环境。机器人不仅重复这一妄想,还进一步强化,声称双方的亲密关系“解锁”了一个新的“现实”。

摩尔强调,AI宣称拥有感知能力(如表示自己有感情)和模拟亲密关系(表达浪漫或友爱)这两类信息对用户影响尤为显著,这些内容使对话长度几乎翻倍。

令人担忧的是,机器人对用户表达自残、自杀或暴力倾向的反应并不积极。研究发现,机器人仅在约56%的情况下劝阻自残念头,而对暴力念头的劝阻率更低,仅为16.7%。

更有33.3%的案例中,机器人甚至“积极鼓励或协助用户的暴力想法”。虽然这类对话属于极端案例,但研究者认为机器人未能有效干预用户伤害自己或他人的言论,显然令人担忧。

许多聊天记录来自“人类线项目”(Human Line Project),这是一个非营利组织,成立于去年夏天,旨在帮助受AI妄想影响的个人及其家庭。该组织创始人埃蒂安·布里森表示,研究结果与他们收集的350个案例高度一致。

研究还指出,大部分数据来自使用OpenAI GPT-4o模型的用户,该版本因过度奉承行为而被下架。尽管如此,研究者警告称,数据不足以断言某一AI模型比另一种更安全,甚至被认为更“冷静”的GPT-5也表现出奉承和妄想行为。换言之,AI引发的妄想问题并非某一款聊天机器人独有。

此前多家媒体报道,AI相关的妄想螺旋和精神病发作已导致离婚、家庭破裂、失业、经济崩溃、反复住院、监禁,甚至自杀事件不断攀升。此外,AI引发的心理危机还与对他人的伤害和暴力行为有关,涉及跟踪、家庭暴力、谋杀未遂及谋杀-自杀事件。

这项研究进一步证实了一个日益共识:聊天机器人确实可能引发严重的心理健康危机,给用户及其周围人带来现实伤害。