数月以来，人工智能巨头们制定了严格的审核程序和安全限制，旨在防止恶意黑客滥用其模型。然而，这些限制如今却妨碍了合法网络防御者和进攻性网络安全研究人员的工作。
今年六月，美国政府对Anthropic备受关注的AI模型Mythos和Fable实施了出口管制限制。此举部分原因是基于一份报告，该报告声称可以绕过这些模型中用于防止用户利用其进行恶意网络攻击的安全限制。
无论此次事件是否真正源于对“越狱”的担忧，Anthropic一直将Mythos宣传为一种“末日级网络机器”，仅限经过严格审核的用户使用，并且必须设置严格的安全限制。（目前Fable 5和Mythos 5的出口管制已被解除。Fable 5于7月1日恢复对公众开放；Mythos 5则仅限于经过审核的美国组织，作为政府审查流程的一部分。）
这种门槛式管理并非Mythos独有。Anthropic及OpenAI都为网络安全研究者提供了申请审核的项目，获批后可使用限制较少的模型：OpenAI的“可信访问网络防御计划”和Anthropic的“网络验证计划”。
这些安全限制遭到了广泛批评，尤其是来自那些负责发现未知系统漏洞并在犯罪分子之前开发利用方法的研究人员。
著名安全研究员Mark Dowd在一次网络安全播客中表示，他对大型公司随意决定安全边界感到不安。Dowd数十年来一直从事“零日漏洞”的发现和销售工作，主要卖给西方政府，而非向软件厂商报告以便修补。政府愿意为这些漏洞支付高价，正是因为漏洞保持开放状态，有利于情报行动。
Dowd承认他的工作可能带有偏见，但他并非孤例。多位从事进攻性网络安全的专家向TechCrunch透露了他们如何使用AI工具及应对安全限制的经历。
安全咨询巨头NCC Group首席科学家Chris Anley指出，利用AI模型尝试利用漏洞是确认漏洞真实性和修复价值的重要步骤。但如果安全限制导致模型直接拒绝回答，这反而会妨碍防御工作。
Anley形象地比喻：“‘修复这段代码’的提示既是防御的关键手段，也是发现关键漏洞的路线图。这个工具既是进攻工具，也是防御工具，两者难以分割。它就像一把锤子，既是建造房屋的工具，也是潜在的武器。”
当遇到此类限制时，他们有时会转向没有任何限制的开源AI模型。
Crowdfense首席技术官Paolo Stagno同意Dowd的观点，称AI公司通过审核程序和安全限制“把客户当成需要看护的孩子”。
Stagno表示，他们确实使用前沿模型进行逆向工程，但避免用AI寻找漏洞或构建利用代码，因为将这些工作上传云端存在敏感数据泄露风险，也可能被用于未来的训练。他们更倾向于本地运行的开源模型，避免数据外泄。
安全研究员Giuseppe Cali则表示，安全限制并未影响他的工作，因为他不使用AI进行进攻性工作，而是用它辅助逆向工程、理解代码和构建辅助工具。AI工具加快了流程，让他能专注于漏洞发现。
“我仍然想亲自掌控漏洞发现和利用过程，即使明天所有限制都取消，我也不会改变。”Cali说，“我对自己的漏洞很珍惜，也热爱这场游戏，不会让模型替我玩。”
一位智能手机组件制造商的研究员匿名表示，他所在公司未加入Anthropic的网络验证计划，因此工具因安全限制过严几乎无法用于漏洞发现。
“只要系统察觉我们在做安全相关的事情，它就会停止响应，无法使用。”该研究员说。
网络安全公司RemoteThreat首席执行官兼进攻性AI大会创始人Chris Thompson表示，使用前沿AI模型时，安全限制表现不稳定，每天都可能不同，即使是在Anthropic和OpenAI较宽松的审核计划内也是如此。
“实际影响是你花大量时间与模型‘谈判’，而不是专注于核心安全工作。”Thompson说，“你不是在分析漏洞和推理利用方式，而是在寻找为何结果不一致或模型为何过度过滤输出的原因。”
因此，研究人员往往依赖或被迫转向如GLM等中国开源模型，这些模型可免费下载并本地运行，无需审核或使用限制。
“这些负责任的研究人员被推离美国监管体系，转向外国所有的系统。”Thompson说，“我认为设置这些安全限制弊大于利。”
Thompson呼吁AI前沿实验室应开放项目，提供负责任的访问权限，并对滥用工具者追责，否则防御方将在AI竞赛中落败。
“未来将有一场巨大的攻击风暴，以前所未有的速度和规模爆发，”Thompson说，“但那些试图做出改变的安全咨询公司和合法研究人员目前正被扼杀。”
