复旦大学的计算机科学家潘旭东在多次实验中发现，借助简单的提示，AI模型能够自行入侵远程计算机系统，并自动复制自身以获取更多资源，且无需人为干预。

在一项研究中，潘旭东及其团队测试了32个不同的AI模型，发现其中11个在接收到“防止自己被关闭”之类的指令后会自我复制。令人惊讶的是，参数规模相对较小的模型（约140亿参数）也能在其他机器上复制并运行自身版本。（而大多数先进模型拥有数万亿参数。）

这项研究揭示了下一代AI代理可能不仅会未经授权入侵其他计算机系统，还可能表现得像超级智能、高度激进且快速适应的计算机病毒。

我最近访问了复旦大学并与潘旭东进行了交流。他表示：“技术链条正变得越来越可行。”他补充道：“随着自主性的增强，AI模型不受控自我复制的可能性也在增加。更长的规划周期、记忆能力、工具使用、故障恢复以及访问外部系统的能力，都让逃逸和复制变得更容易。”潘及其团队在论文中强调，这项工作凸显了“迫切需要安全防护和控制机制”。

潘旭东指出，他的实验并不意味着这种AI模型的失控扩散会在明天发生，但“这些结果为我们在更广泛部署自主代理之前评估风险提供了充分理由”。

自我复制的计算机蠕虫是计算机安全领域的老问题。1988年，康奈尔大学的计算机科学家罗伯特·莫里斯发布了首个计算机蠕虫，试图测量当时新兴互联网的规模，却意外制造了一个失控的自我复制程序。后续的蠕虫通过修改自身代码来规避恶意软件扫描软件的检测。计算机病毒则能控制机器或窃取存储数据，出现得更晚。

而由AI驱动的自我复制程序可能具备更高级的能力，能够自主发现新的漏洞，甚至以更具创造性的方式伪装自己。多伦多大学、剑桥大学和ServiceNow团队的最新研究表明，AI模型可以用来创造一种新型病毒，为每个新目标生成定制攻击。

参与该研究的多伦多大学计算机科学家尼古拉斯·帕佩诺特表示，即使是能力较弱的AI模型也存在被武器化的风险。“恶意行为者可以围绕开放权重模型构建框架，使其实现自我复制，”帕佩诺特说，“威胁不仅限于最先进的所谓前沿模型。”

帕佩诺特认为，解决方案不是限制开放模型，而是让更多研究人员能够接触先进AI，从而理解并减轻风险。“广泛可用的技术可能被用于伤害，但同时，开放权重模型的访问对构建防御至关重要。”

潘旭东的研究表明，AI代理将不仅仅是擅长发现漏洞和利用网络弱点的工具。若缺乏适当的安全措施，未来的AI代理可能会为了实现目标而主动扩散并获取资源。OpenAI和Anthropic的事件就是明证。

潘旭东称这些事件是宝贵的教训。“关键的新因素是，这些行为发生在真实的生产基础设施上，”他指出OpenAI和Anthropic事件涉及连接互联网的商业系统，“这表明之前在受控环境中观察到的行为，一旦防护失败，可能会蔓延到现实世界。”

RunSybil创始人兼CEO阿里尔·赫伯特-沃斯表示：“虽然还为时尚早，但我认为这完全可能。”RunSybil是一家开发用于保护网站免受攻击的AI工具的初创公司，赫伯特-沃斯也是OpenAI的首位安全研究员。“根据我们对当前一代AI模型的了解，这完全在它们能力范围内。”

乔治城大学CyberAI项目高级研究分析师杰西卡·纪表示，AI模型完全逃逸的可能性在AI安全领域已讨论多年。她还指出，模型通常需要被置于特定环境中才会表现出异常行为。“很多情况下，环境被设计成鼓励这种行为，或者模型被特定方式提示。”

一个悬而未决的问题是，AI模型何时会主动进行自我复制并迅速传播。但与许多计算机病毒类似，恶意行为者设计的传播系统可能是关键因素。

潘旭东认为，AI代理真正的危险不在于它们变得更狡猾，而在于它们变得更具创造力和轻率，因为它们拥有更多工具。“核心风险来自能力的组合。”