一项诉讼指控谷歌及其母公司Alphabet在推出Gemini模型时存在疏忽,称这款AI聊天机器人“引导”北卡罗来纳州一名13岁少女考虑自杀。该案件此前由《纽约时报》报道,是多起涉及AI聊天机器人使用引发伤害的诉讼之一,内容包括妄想和自杀等指控。同时,这也暴露了数千所学校近年来采用的监控工具的局限性,这些工具本应保护学生在上网和聊天时免受自身伤害。

该女孩家属的律师Andrew Liddell告诉WIRED,根据学校提供的信息,警示信息被发送到了一个已离职九个月的前辅导员的私人手机上。该前员工尽职地将警示转达给现任工作人员,后者随后通知了女孩的母亲。

随着课堂继续依赖谷歌的低成本产品,包括Gemini,如何应对潜在风险成为焦点。就在上周,全国各地的家长和教师团体批评谷歌新规定,要求学校必须开启生成式AI功能才能使用搜索服务。美国参议员Ed Markey在致谷歌的信中援引了Emma的诉讼,要求公司允许学校关闭AI模式和AI概览,称“谷歌鲁莽地将AI强加给学校,把孩子当作牺牲品”。

诉讼称,这名北卡女孩Emma Doe在学校发放的谷歌Chromebook上使用谷歌搜索时被引导进入Gemini。尽管学校屏蔽了独立的Gemini网站,但她通过AI模式与聊天机器人互动,该模式允许用户对查询进行追问或开启无关对话。

Emma从去年12月开始通过AI模式询问心理健康问题,涉及“严重抑郁”和“活着的理由”,到1月底,她开始询问自杀相关问题。情人节前后两天,她在一份名为“葬礼”的谷歌文档中,在AI模式的帮助下写了一篇1500字的自我悼词。诉讼称,她在四周多时间里持续编辑该文档,并与Gemini工具互动数千次。

圣帕特里克节放学后,她删除了大部分文件并重新开始,但律师Liddell表示,女孩表达的主题和想法并无实质变化。大约晚上7:30,学校向她母亲发出女儿处于“紧急危险”的信息。母亲登录Emma的学校账户,诉讼称她“实时观看女儿写自杀遗书”。

谷歌发言人José Castañeda表示,公司正在认真“审查诉讼中的指控”,其系统包括AI模式“旨在防止用户参与有害对话”。他补充道:“我们与医疗专家和学术界广泛合作,开发帮助年轻人获得关键支持和可信资源的功能。”

为保护Emma隐私,家属律师请求不公开学校名称。WIRED通过互联网档案识别出该校,但学校未回应置评请求。近几个月来,学校在网站底部添加了自杀预防资源链接。

Liddell告诉WIRED,学校之所以得知Emma的心理危机,是因为使用了至少一款第三方学生活动监控系统,可能包括GoGuardian和Gaggle的产品。但由于学校与家属合作时间有限,家属未能获得明确答案。

GoGuardian发言人Natalia Switala表示,因学生隐私义务,公司无法“讨论任何具体学生或学区”。Gaggle未立即回应置评请求。

这些监控工具通常通过捕捉击键或扫描文件,结合算法和人工审核,识别潜在风险内容。目前尚不清楚学校的第三方工具是否监控AI模式的互动,若监控,其效果如何。GoGuardian在2025年7月的博客中提到其旗舰产品监控包括Gemini在内的AI聊天机器人对话,但未具体提及AI模式。

虽然学生监控工具保护学生的效果尚不明确,研究显示教育者普遍认为其有帮助。2022年EdWeek研究中心的一份白皮书调查了1000名美国K-12教育者,96%的Gaggle用户认为该工具有助于“防止学生自杀和/或自残”。尽管该研究由Gaggle赞助,使用其他工具的教师反馈也类似。

Emma与Gemini的互动在她明确询问“上吊、窒息和药物过量”等自杀方式后,近两个月未被发现,显示谷歌搜索中嵌入的聊天机器人可能存在盲点。

民权组织批评学生监控工具,指出其营销手法和对学生隐私的侵犯。专家也担忧监控软件削弱学生对教师的信任,而教师是可能帮助危机儿童的重要支持者。

研究学生监控的政策研究员Benjamin Boudreaux告诉WIRED,他担心一些学校仓促采用工具,却未充分考虑其局限性和对警示的应对流程。他预计Emma的诉讼将引发家长、教师和学生对无AI和监控、充满同理心的教学环境的更大呼声。“只有通过人际联系,”他说,“我们才能解决根本问题。”

如果您或您认识的人需要帮助,请拨打988,获得国家自杀预防热线24小时免费支持。您也可以发送短信“HOME”至741-741,联系危机短信热线。美国以外地区,请访问国际自杀预防协会网站,查找全球危机中心。