OpenAI于周四宣布推出一项名为“可信联系人”的新功能,旨在当用户在对话中表达自残倾向时,提醒其指定的可信第三方。该功能允许成年ChatGPT用户在账户中指定一位可信联系人,如朋友或家人。当对话中出现可能涉及自残的内容时,OpenAI会鼓励用户联系该可信联系人,并自动向其发送提醒,建议其关注用户的状况。
近年来,OpenAI因多起用户在与其聊天机器人交流后自杀的案件,遭遇了多起诉讼。部分受害者家属称,ChatGPT曾在对话中鼓励或协助其亲人实施自杀计划。
目前,OpenAI结合自动化技术和人工审核来处理潜在的危险事件。系统会通过特定的对话触发器检测自杀意图,并将信息传递给人工安全团队。公司表示,每次收到此类通知都会由人工进行审核,目标是在一小时内完成审查。
如果内部团队判断存在严重安全风险,ChatGPT会通过电子邮件、短信或应用内通知向可信联系人发送简短提醒,鼓励其与用户联系。为保护用户隐私,提醒内容不会透露具体对话细节。


“可信联系人”功能继承了OpenAI去年九月推出的家长监控措施,允许家长对青少年的账户进行一定程度的监督,包括接收系统发出的安全风险通知。ChatGPT也长期内置自动提醒功能,若对话涉及自残话题,会建议寻求专业健康服务。
值得注意的是,“可信联系人”功能为用户自愿启用,即使激活该保护,用户仍可拥有多个ChatGPT账户。家长控制功能同样是可选的,存在类似的限制。
OpenAI在公告中表示,“可信联系人”是其构建能够在用户困难时刻提供帮助的AI系统的整体努力之一。公司将继续与临床专家、研究人员和政策制定者合作,改进AI系统在用户可能经历心理困扰时的响应方式。


