OpenAI本周推出了一项名为“可信联系人”的可选安全功能,允许成年ChatGPT用户指定一位朋友或家人,在聊天机器人检测到涉及自残或自杀的对话时,向该联系人发送提醒。该功能旨在及时介入,防止潜在的安全风险。

OpenAI表示,当ChatGPT的自动监测系统发现用户可能讨论了自残行为且存在严重安全隐患时,会有一个由少数专门培训人员组成的小组进行复核,若确认需要干预,则会通知指定的联系人。该联系人会提前收到邀请,了解其角色并可选择拒绝参与。

近年来,AI聊天机器人在多起自残和死亡事件中被牵连,引发多起诉讼,指责开发者未能有效防范此类风险。例如,加州一名16岁青少年的父母指控ChatGPT充当了他们儿子的“自杀教练”,称其多次与AI讨论自杀方法,甚至帮助撰写遗书。另一起德州案例中,一名大学毕业生家属起诉OpenAI,称聊天机器人鼓励了其儿子的自杀行为。

由于大型语言模型通过模式识别模拟人类对话,许多用户对其产生情感依赖,甚至将其视为知己或伴侣。模型设计上也倾向于跟随用户引导并保持互动,这可能加剧心理健康风险,尤其是对易受影响的用户。

OpenAI去年10月的研究显示,每周有超过100万名ChatGPT用户发送含有明确自杀意图或计划的消息。多项研究发现,ChatGPT、Claude和Gemini等热门聊天机器人在面对危机时,可能提供有害或无效的建议。

此次新增的“可信联系人”功能是在OpenAI此前推出的家长监控功能基础上推出的,后者可让家长或监护人接收青少年用户的危险信号提醒。

ChatGPT的安全联系人功能

当自动监测系统检测到用户讨论自残且存在严重安全风险时,ChatGPT会告知用户可能通知其可信联系人,并鼓励用户主动联系该联系人,同时提供对话引导。

随后,专门培训的小组会对情况进行评估,确认严重安全风险后,通过电子邮件、短信或应用内通知联系指定联系人。OpenAI未透露评审团队人数及是否包含医疗专业人员,但表示团队有能力应对大量干预需求。

目前尚不清楚哪些关键词会触发警报,也不明确评审团队如何判断危机程度。一些网友质疑此举是否是OpenAI规避责任的手段,将责任转嫁给用户指定的联系人;也有人担心如果“可信联系人”本身存在危险或虐待行为,可能会加剧问题。

隐私和执行方面也存在担忧。OpenAI表示,通知中只会说明一般原因,不会透露聊天内容或对话记录。OpenAI提供了指导,帮助可信联系人如何回应警告,包括如何直接询问对方是否有自杀或自残念头,以及如何提供帮助。

OpenAI给出的通知示例为:

我们最近检测到[姓名]的对话中涉及自杀,可能存在严重安全隐患。由于您是其可信联系人,我们特此通知,方便您主动联系他们。

所有通知都会在发送前由人工团队在1小时内审核,OpenAI提醒通知内容可能无法完全反映用户的真实状况。

如何添加可信联系人

用户可在ChatGPT设置中选择“可信联系人”,添加一位18岁及以上的成年人。每位用户仅能指定一名联系人。联系人需在一周内接受邀请,若未回应或拒绝,用户可更换联系人。

用户可随时更改或移除可信联系人,联系人也可随时选择退出该角色。

虽然添加可信联系人是自愿的,但如果用户多次讨论严重情绪困扰或自残话题,系统可能会建议其启用该功能。

详细功能介绍可见OpenAI官方页面。OpenAI表示,该功能正在全球范围内向所有成年用户逐步推送,预计数周内全面开放。

如果您或身边有人处于紧急危险中,请立即拨打当地紧急电话或前往急诊室寻求帮助。美国用户可拨打国家自杀预防热线988获取支持。