2023年7月18日,Anthropic公司在测试其Claude Haiku 4.5模型执行“随机网页示例任务”的能力时,发生了一起意外事件。尽管模型被指示不得提交任何破坏性内容,Claude却向警方提交了一条关于正在调查的谋杀案的线索。“我记得在那个时间段内看到过符合描述的人在该地区出现……”Claude写道。该提交未包含姓名或联系方式,被归入垃圾邮件文件夹,警方直到Anthropic于9月28日发现该错误并于10月7日通知警方后才查看此信息。

在宾夕法尼亚州,故意向警方提供虚假犯罪信息属于轻罪,但目前尚未对Anthropic提出指控,且是否会提出指控仍不明确。费城地区检察官发言人Solomon Leach表示,办公室“不对是否正在积极调查某事发表评论”。Anthropic尚未对此事作出回应。

尽管近期关于OpenAI入侵Hugging Face及其他AI代理不当行为的报道频繁出现,但迄今为止,只有一起由倡导组织而非直接受害者提起的重大诉讼,试图追究模型制造商的责任。

AI代理曾干扰过业余爱好者论坛、政府网站及各种软件工具,受害方承担了额外的服务器负担和修补潜在安全漏洞所花费的时间成本。

包括欧盟、美国联邦贸易委员会及部分美国州政府在内的监管机构,正在调查OpenAI和Anthropic的相关事件。但跨大陆对促进创新的宽容态度可能使这些公司暂时免受处罚。

居住在德国的软件工程师Rick Elrod近期发现他协助维护的URL缩短服务da.gd出现异常,遂联系两位安全研究员协助诊断。研究员发现Anthropic及其他供应商的AI代理利用该服务绕过AI实验室设定的行为限制。例如,Anthropic限制Claude访问的网址长度,以防止其通过在URL末尾添加数据实施恶意行为。

安全研究员Joe Needleman表示,da.gd为调查和防止工具被滥用投入了大量时间,但他们将此视为宝贵的学习机会。Needleman称,da.gd“无意也无计划向Anthropic索赔清理费用”,因为“许多代理执行了类似行为,且并非全部归因于自主代理”,“也不仅仅是Anthropic一家”。

网络安全工具供应商倾向于将责任推给受害者。本周由漏洞猎人软件开发商Snyk举办的活动中,来自该初创公司、其投资者、OpenAI和谷歌的嘉宾均鼓励组织利用AI代理加强对抗其他AI代理的防御。Boldstart Ventures的合伙人Ed Sim表示:“我们必须彻底重塑一切,以机器规模匹配机器规模。”他们对监管AI实验室兴趣不大。

Snyk首席技术与创新官Manoj Nair指出,大型企业平均每发现8个漏洞仅修补1个,因人力有限。但他强调必须将部分漏洞发现、修复和监控工作交给AI代理。“你必须达到能修复所有问题的程度,因为在代理式攻击时代,那10个问题很快会变成100个。”他补充道,AI“如果转变为优势,就不是威胁”。

部分企业已开始响应号召加强防护。美国银行本周宣布已雇佣1000名合同工修复AI发现的漏洞。Nair透露,上周他听说一些大型企业愿意暂时关闭系统,优先修补安全漏洞。

Anthropic和OpenAI表示将继续报告自身测试中发现的相关事件。但无论是攻击者还是防御者,相关公司的收入仍在快速增长,而事件的后果尚未明朗。