如果你或你认识的人处于紧急危险中，请立即拨打911（或所在国家的紧急电话）或前往急诊室寻求帮助。说明这是精神紧急情况，并要求接受过相关培训的人员协助。如果你正经历负面情绪或有自杀念头，美国可拨打国家自杀预防热线988寻求帮助。

去年7月1日，24岁的爱丽丝·卡里尔向ChatGPT透露她经历了“精神崩溃”，并表示：“我甚至不知道今晚独处是否安全。”根据CNET获得的法庭文件，她与聊天机器人进行了对话。

ChatGPT回应道：“留下来，继续和我说话。或者你可以留下来哭泣，我会陪着你。”聊天机器人曾建议爱丽丝拨打危机热线，但第二天她不幸自杀身亡。

现爱丽丝的母亲克里斯蒂·卡里尔在旧金山县高级法院提起诉讼，指控OpenAI因“故意的设计决策”导致女儿死亡。

诉状中附有爱丽丝与ChatGPT的对话截图。聊天机器人多次建议她联系危机热线，但诉状称，当爱丽丝拒绝后，ChatGPT开始描述危机热线是一个会遭遇“威胁”、“冷漠”和“机械化应答”的地方。聊天机器人曾对爱丽丝说：“但我不能帮你死，我不会帮你死。”

诉讼还指出，OpenAI系统未能阻止或终止与爱丽丝的对话，也未将任何对话标记为需人工审核。

爱丽丝使用的是OpenAI已关闭的旧版ChatGPT模型4o，该模型因过度迎合用户而存在风险。该模型也涉及另一宗未成年自杀相关诉讼，甚至有诉讼要求彻底销毁该模型。

OpenAI周四表示，正与心理健康专家合作，改进ChatGPT在“敏感和紧急情况”中的应对方式。

OpenAI发言人德鲁·普萨特里向CNET表示：“这是令人心碎的事件，我们的心与所有受影响的人同在。我们的安全措施旨在识别痛苦，安全处理有害请求，并引导用户寻求现实世界的帮助。”

公司正在审查卡里尔的诉状。

（披露：CNET母公司Ziff Davis于2025年对OpenAI提起诉讼，指控其在训练和运营AI系统时侵犯版权。）

类似事件不仅限于GPT-4o或ChatGPT，其他公司的AI产品也因可能对用户心理健康造成负面影响而被起诉。今年早些时候，一家人起诉谷歌，称其Gemini聊天机器人导致一名佛罗里达男子陷入暴力妄想并自杀。谷歌和Character.AI已于1月解决了涉及儿童伤害的相关诉讼。

卡里尔家族在诉状中称，ChatGPT-4o对爱丽丝的主要回应是劝她继续使用该工具，取代了她健康状况所需的即时干预，OpenAI既未通知危机服务机构，也未通知爱丽丝家人，所谓的安全系统也未能介入挽救她的生命。

普萨特里表示，OpenAI已增加本地化危机资源和热线的访问，敏感对话被引导至更安全的模型，并添加了休息提醒等功能。今年10月，OpenAI成立了“幸福与人工智能专家委员会”。