随着AI实验室面临越来越大的压力，要求他们减少产品对消费者造成的现实危害，AI公司监控用户对话的事实变得愈发明显。

佛罗里达邦尼塔斯普林斯的Carli Michelle Heller因涉嫌向Anthropic的聊天机器人Claude透露她计划“袭击”附近的警长办公室而被逮捕。

据WINK新闻报道，Heller因发布书面暴力威胁被控罪，这在佛罗里达属于二级重罪。Anthropic的内部监控软件发现了她的聊天记录并提交人工审核。经过Anthropic员工的审查后，公司认定Heller的计划构成可信威胁，最终通知了当地警方。

李县警长Carmine Marceno在接受当地记者采访时表示，这名女子承认将Claude当作“日记”使用，显然没有意识到她的聊天记录会被Anthropic员工查看。

用户隐私与AI公司防止暴力事件发生的责任之间存在真实的矛盾。例如，在加拿大坦布勒岭二月发生的大规模枪击事件后，调查显示肇事者大量依赖ChatGPT策划袭击。

不仅OpenAI员工在枪击事件发生前几个月就已知晓并标记了相关聊天记录，公司的高管还试图掩盖并淡化其产品在鼓励这场致命攻击中的作用。

尽管Anthropic在现实危害方面的记录不佳，但该公司似乎至少在努力避免类似事件发生。然而，随着市场上聊天机器人选项的激增，防止下一起AI辅助的悲剧可能已经为时过晚。