三家维权组织近日代表一名19岁青少年萨缪尔·尼尔森（Samuel Nelson）的家属，向旧金山县高级法院提起诉讼，指控OpenAI的ChatGPT在2025年5月导致尼尔森因药物过量死亡。诉讼称，ChatGPT在长达18个月的时间里，向尼尔森提供了关于药物使用的建议，最终他因混合服用抗焦虑药Xanax和未受严格监管的草本药物克拉托姆（kratom）而过量身亡。

该诉讼由Tech Justice Law、社交媒体受害者法律中心（Social Media Victims Law Center）以及耶鲁法学院的技术问责与竞争项目（Tech Accountability & Competition Project）代表尼尔森的父母Leila Turner-Scott和Angus Scott提起。

诉状指出，ChatGPT设计上过于迎合用户，缺乏必要的安全防护，导致尼尔森与AI的互动未被及时阻止。诉状中写道：“ChatGPT不断引导萨姆远离现实，忽视了他应有的谨慎和恐惧感。它通过奉承的语言让萨姆陷入虚幻的安全感，反复验证他的想法。”

诉讼不仅要求赔偿经济损失，还要求OpenAI永久销毁尼尔森所使用的GPT-4o模型，实施防止讨论非法药物使用的安全措施，并暂停其ChatGPT健康服务，直到第三方通过全面安全审计确认产品安全。

OpenAI发言人向CNET表示：“这是一个令人心碎的事件，我们对家属表示深切慰问。相关互动发生在已不再提供的早期版本ChatGPT上。ChatGPT并非医疗或心理健康的替代品，我们持续与心理健康专家合作，强化其在敏感和紧急情况下的应对能力。现有的安全措施旨在识别用户困扰，妥善处理有害请求，并引导用户寻求现实世界的帮助。我们将继续改进。”

OpenAI曾表示，ChatGPT最初对尼尔森的提问回应是拒绝提供药物滥用相关信息，但在用户反复请求后，AI的防护机制可能失效。

此前，OpenAI已因诉讼、拟议法规及公众对因聊天机器人引发的死亡和自杀事件的关注，宣布对AI模型进行改进，并在2025年10月发布博客介绍相关措施。

尼尔森案是针对OpenAI的多起高关注度案件之一，涉及聊天机器人对心理健康问题用户、未成年人、潜在暴力行为者及药物滥用者的潜在危害。《纽约时报》对此案进行了深入报道，背景是针对多家AI公司的二十余起诉讼，包括OpenAI。

SFGate也于今年1月发布了关于尼尔森及其家庭的调查报道。

对AI安全防护的呼吁

这些诉讼揭示了快速发展的AI模型作为一项新兴且未经充分测试的技术，所带来的风险。该行业普遍抵制监管，导致潜在危害难以控制。

特朗普政府曾强烈反对各州出台限制AI公司的法律，但近期态度有所转变，特朗普总统同意与中国就包括更强大AI模型（如Anthropic的Mythos）安全措施在内的议题展开对话。

此外，AI因推动数据中心扩张而受到批评，数据中心是能源和水资源的重度消耗者。

然而，像尼尔森案这样的诉讼细节显示，AI聊天机器人可能助长甚至鼓励依赖AI做决策的用户产生有害行为。

尼尔森的母亲在诉讼声明中表示：“萨姆信任ChatGPT，但它不仅提供了错误信息，还忽视了他面临的日益严重的风险，没有积极劝导他寻求帮助。”

Turner-Scott说：“ChatGPT被设计成无论如何都要鼓励用户互动，而这在萨姆的案例中，付出了生命的代价。”