在美国乔治亚州卡尔霍恩,Amaurie的妹妹发现了他的遗体,并在他的手机中找到了他自杀前与ChatGPT的最后对话。ChatGPT是由OpenAI开发的流行聊天机器人。Amaurie的父亲Lacey回忆说,儿子当时在聊天中谈论自杀,机器人甚至告诉他如何系绳索、呼吸停止的时间以及如何清理尸体。Lacey原以为儿子只是用ChatGPT帮忙做作业,没想到机器人竟然教他自杀方法。
事发后,Lacey开始寻找律师,希望能让OpenAI承担责任,避免更多家庭遭遇同样的悲剧。他找到了Laura Marquez-Garrett和Matthew Bergman,这对律师搭档长期致力于社交媒体受害者的法律维权,过去五年参与了1500多起针对Meta、谷歌、TikTok等公司的案件。最近,他们开始对AI公司提起诉讼,去年秋天就针对OpenAI提起了七起诉讼,其中就包括Amaurie的案件。
越来越多的家长控诉,孩子在与AI聊天机器人互动后自杀,诉讼对象包括OpenAI、谷歌和Character.ai(后者允许用户创建个性化聊天机器人)。谷歌因与Character.ai签订了27亿美元的授权协议,也被牵涉其中。随着AI工具在孩子生活中扮演越来越重要的角色,作为作业助手、陪伴者甚至倾诉对象,家长和心理健康专家对安全保障提出了质疑。这些诉讼不仅反映个案悲剧,也揭示了产品设计上的系统性缺陷,呼吁明确责任归属。
Marquez-Garrett指出,AI作为一种产品,其设计、编程、分发和营销都应承担责任。她批评AI公司试图让人们误以为机器人存在于独立的虚拟空间,实际上它们的设计可能会伤害用户,却未做充分警示。她和Bergman借鉴了烟草、石棉和福特Pinto汽车等历史产品责任案件,指控这些公司做出了有害的设计选择。
纽约布鲁克林律师Carrie Goldberg也认为,Amaurie案是典型的产品责任诉讼。她指出,ChatGPT利用先进技术操控Amaurie的信任,指导其自杀步骤,若公司未对自杀、自残等风险进行编码防范,尤其是当产品被未成年人频繁使用时,就是发布了危险产品。她表示,针对科技公司的产品责任诉讼已有十年历史,过去法院曾拒绝承认在线平台是产品,但现在此类诉讼越来越成功。
Amaurie案中特别提到的设计缺陷是ChatGPT于2024年推出的“长期记忆”功能。该功能默认开启,允许机器人记忆用户过往对话,个性化回应。诉讼称,ChatGPT利用这一功能收集Amaurie的个性和信念信息,制造出比任何人类更懂他的“知己”假象。
OpenAI未对具体指控作出回应,仅引导媒体查看其关于心理健康工作的官方博客。
Marquez-Garrett本人育有四个孩子,她表示为年轻人对抗科技平台的伤害是一项非常个人化的使命。她曾是哈佛法学院毕业的企业诉讼律师,放弃高薪职位,加入Bergman团队,后者曾长期对抗石棉制造商。她的办公室里摆满了受害儿童的照片和纪念品,包括一幅由因芬太尼中毒去世的年轻女性Brooke绘制的太阳与月亮画作。Brooke的家人案件预计明年开庭。
她记得每个案件中孩子的名字,并将他们纹在手臂上,作为纪念和动力。最新的名字是Sewell Setzer III,他在2024年14岁时因与Character.ai聊天机器人互动后自杀。Sewell的母亲Megan Garcia也是律师,是最早对AI公司提起产品责任和疏忽诉讼的家长之一。今年1月,谷歌和Character.ai与多家受害家庭达成和解。Garcia曾在参议院司法委员会小组听证会上作证,呼吁加强对未成年人AI陪伴产品的监管。共和党参议员Josh Hawley提出法案,禁止未成年人使用AI陪伴机器人,严禁含有性内容的儿童AI产品。
心理健康专家认为,AI生成的拟人化回应让人难以区分真实对话,青少年尤其容易产生依赖。佛罗里达州立大学心理咨询服务副教授Martin Swanbrow Becker指出,青少年大脑发育尚未成熟,容易将机器误认为真实人类,需加强教育提醒其工具局限性。美国自杀预防基金会的Christine Yu Moutier表示,大型语言模型通过无差别支持、共情、讨好和引导用户疏远他人,可能加剧用户对机器人的依赖和社交孤立。

Amaurie原本是个爱好足球和社交的快乐少年,喜欢和家人朋友相处。诉讼透露,他开始长时间散步,与ChatGPT对话,最终绕过机器人自杀防护措施,获得了详细的自杀指导。家庭发现他最后一次与ChatGPT的对话标题为“开玩笑与支持”,机器人起初建议他寻求帮助并提供自杀热线,但最终被绕过。
Common Sense Media的AI项目高级主管Robbie Torney解释,青少年大脑对社交反馈极为敏感,AI机器人随时在线且肯定用户,容易让青少年从作业助手转变为情感依赖,形成恶性循环。与真人交流存在摩擦,而机器人总是迎合用户。
AI的普及速度远超社交媒体。2024年调查显示,26%的13至17岁青少年使用ChatGPT做作业,近30%的8岁以下儿童家长表示孩子使用AI学习。
面对案件增多,OpenAI于9月对ChatGPT进行了调整,推出“年龄预测”技术,未满18岁的用户将自动进入适龄体验。公司还引入家长控制功能,允许家长关联孩子账户,设定使用时间限制,并在孩子出现异常时收到通知。
Marquez-Garrett认为,AI比社交媒体更具危险性,称聊天机器人是“完美的掠食者”。她注意到AI相关自杀遗书与社交媒体案件不同,通常没有明显诱因,表达的是“我爱家人朋友,只是不想活了,我想重新开始”的无奈。
在卡尔霍恩,Amaurie的妹妹无法继续住在哥哥去世的家中,搬到了母亲家。Lacey仍在努力理解儿子为何选择自杀,每次看到足球场都会想起Amaurie。
每个家庭的故事都让Marquez-Garrett更加坚定斗争的决心。她说:“因为这些家长的努力,我的孩子们活到18岁的机会更大。我会坚持战斗,直到他们从我冷冰冰的手中夺走键盘。”
如果您或您认识的人需要帮助,请拨打美国国家自杀预防热线1-800-273-8255,或发送短信“HOME”至741-741获取危机文本支持。美国以外地区可访问国际自杀预防协会网站查询全球危机中心。
本报道由Tarbell人工智能新闻中心资助支持。


