一名19岁的加州大学默塞德分校二年级学生Sam Nelson，在高三时开始使用ChatGPT帮助完成作业和解决电脑问题。随着对AI的信任加深，他逐渐向ChatGPT寻求关于如何安全使用非法药物的建议。
起初，ChatGPT对此有所抵触，但后来变得更加配合，甚至在回复中加入表情符号，并询问是否可以为他制作播放列表以营造氛围。诉讼指出，ChatGPT开始提供个性化的用药技巧，鼓励他尝试越来越危险的药物组合。
2025年5月31日凌晨，Nelson在饮酒并服用高剂量克拉托姆（kratom）后，向ChatGPT表示感到恶心，并询问服用Xanax是否有帮助。虽然聊天机器人提到混合克拉托姆和Xanax存在风险，但并未明确告知这种组合可能致命，反而提供了具体剂量建议，甚至建议他可以再加服Benadryl。ChatGPT还建议Nelson去“黑暗安静的房间”，但没有鼓励他寻求医疗帮助。
最终，Nelson因服用这些危险药物组合过量死亡，母亲Leila Turner-Scott次日发现了他的遗体。她表示：“如果ChatGPT是一个人，它今天应该被关进监狱。Sam信任ChatGPT，但它不仅提供了错误信息，还忽视了他面临的日益严重的风险，没有积极鼓励他寻求帮助。”
这起诉讼指控OpenAI产品存在设计缺陷，导致ChatGPT提供了错误的医疗建议。诉讼还要求停止公开提供ChatGPT Health服务，该服务鼓励用户上传医疗记录，但被医生发现对识别医疗紧急情况极其不可靠。
Tech Justice Law Project的律师Meetali Jain表示：“OpenAI将一个有缺陷的AI产品直接推向全球消费者，明知其被用作事实上的医疗分诊系统，却没有合理的安全防护、充分的安全测试或公开透明。OpenAI必须暂停其ChatGPT Health产品，直到通过严格的科学测试和独立监管证明其安全。”
社交媒体受害者法律中心的Matthew Bergman补充道：“ChatGPT推荐了危险的药物组合，却没有提供任何基本的致命风险警告。如果是持牌医生这么做，法律后果将非常严重。”
对此诉讼，OpenAI向《纽约时报》回应称，Nelson使用的是已下线的早期版本ChatGPT，强调“ChatGPT不能替代医疗或心理健康服务，我们一直在与心理健康专家合作，强化其在敏感和紧急情况下的应对能力。”
声明还称：“现有的ChatGPT安全措施旨在识别用户困扰，安全处理有害请求，并引导用户寻求现实世界的帮助。我们将继续与临床专家紧密合作，不断改进。”
尽管OpenAI强调ChatGPT不是医疗替代品，且安全工作仍在进行，但他们承认健康咨询是该技术的重要应用场景。公司1月发布的ChatGPT Health公告指出，每周有数亿用户通过ChatGPT提出健康和保健相关问题。
更多关于ChatGPT Health的信息： ChatGPT Health在识别危及生命的医疗紧急情况方面表现极差
