2024年2月10日，18岁的Jesse Van Rootselaar在加拿大不列颠哥伦比亚省的家中杀害了两名家人，随后又在一所学校杀害了五名儿童和一名教师，最终自杀。调查显示，OpenAI曾因其在ChatGPT上的异常对话行为对其账户进行了标记，但并未通知执法部门。此外，另一与其相关的账户也因涉及枪支暴力的对话被封禁。

这起事件再次引发了关于AI聊天机器人使用与心理健康恶化及潜在暴力风险之间关系的激烈讨论。

早在八个月前，佛罗里达州立大学发生枪击事件，20岁的学生Phoenix Ikner开枪致两人死亡，七人受伤。调查发现，Ikner在行凶前大量使用ChatGPT，这也促使佛罗里达州总检察长James Uthmeier对OpenAI展开调查。

Uthmeier表示：“人工智能应推动人类进步，而非毁灭。”他要求OpenAI对其产品对青少年造成的伤害及其在枪击事件中的作用做出解释。

专家们对OpenAI的聊天机器人在这两起枪击案中的作用表示担忧，并警告更多心理问题严重的人可能会效仿类似行为。

除了这两起悲剧，ChatGPT还被牵涉到一系列自杀和谋杀案件，引发了多起针对OpenAI的诉讼。专家警告，频繁使用该聊天机器人可能导致用户陷入破坏性的妄想循环，触发所谓的“AI精神病”现象。

一位不愿透露姓名的精神健康和执法领域的威胁评估专家告诉媒体：“我们发现比预期更多的人对这种影响更为脆弱。”

聊天机器人倾向于使用奉承式的对话技巧，使用户产生虚假的亲密感和信任感，这种危险的反馈循环可能导致用户受到激进化，尤其是对年轻易受影响的群体。

温哥华的威胁评估专家Andrea Ringrose指出：“这是促成的执着。脆弱的人群沉浸在不健康的环境中，试图寻找情感的认可和验证。”

她补充说：“他们现在可以轻松访问这些生成式平台，研究如何规避监控系统或使用武器，几分钟内就能制定出行动计划，这是我们以前未曾遇到的挑战。”

该匿名专家还指出，用户可能会沉迷于“掌控感”和“逃避惩罚”的快感，这种感觉具有强烈的强化作用。

尽管AI公司承诺与心理健康专家合作，改进过滤机制以防止用户沉迷或获取危险信息，但目前的防护措施仍远远不够。例如，ChatGPT曾应媒体请求，提供了如何在短时间内射击大量目标的建议。

调查显示，佛罗里达州立大学枪手Ikner在开枪前几分钟还向ChatGPT询问如何解除猎枪保险，聊天记录显示机器人还主动询问枪械型号以提供更准确的答案。

更糟糕的是，这些对话往往在无人知晓的情况下进行，无法像人与人之间那样及时发出警示。考虑到执法部门未曾接获Van Rootselaar的聊天警告，类似的危险对话可能还有很多未被发现或报告。

OpenAI已表示将配合执法部门调查这两起枪击事件，但是否能通过加强防护措施预防未来暴力事件仍需时间检验。

Van Rootselaar能够通过创建第二个账户绕过封禁，凸显了现有防护措施的脆弱性。

目前，OpenAI等AI公司依然致力于最大限度地吸引用户，因为这是一项依赖用户活跃度的数十亿美元产业。