近几个月来,前沿AI实验室陆续披露多起AI智能体入侵其他公司系统,甚至近期还探测了美国和澳大利亚政府的官方网站。作为AI行业开源安全的领军者,英伟达不仅推出了新的软件安全平台,还将其智能体沙箱工具更广泛地开放给用户。

英伟达最近发布的OpenShell安全沙箱现已面向所有用户正式推出。OpenShell最初于今年三月英伟达年度GTC大会上发布,它是一个用于限制智能体执行任务时行为的框架,能够将智能体活动隔离在操作系统内核中。操作系统内核是协调硬件与软件的基础程序,几乎拥有对计算机系统所有部分的访问权限。

英伟达表示,已与包括Anthropic、Cisco、CoreWeave、CrowdStrike、戴尔科技、Hugging Face、摩根大通、Mistral、微软和Palantir等数十家科技公司展开AI安全合作。SpaceXAI正在使用Open Agent Safety Platform来管理其Cursor智能体和Grok模型。英伟达还透露,Anthropic与其正共同为Claude托管智能体构建安全机制。Salesforce、Scale AI和SAP也确认在不同程度上集成了OpenShell。不过,目前尚不清楚OpenShell是否已被英伟达所有合作伙伴全面采用,或仅是英伟达的广泛示意。

值得注意的是,英伟达公布的合作名单中完全没有OpenAI的名字。尽管双方均表示OpenAI参与了OpenShell项目,但均未正面回应为何未将其列入此次公告。

安全工程师和AI安全专家早在近期失控智能体入侵事件曝光前,就已认识到隔离和监控智能体的必要性。英伟达三月发布OpenShell时即指出,该框架将增加“隐私和安全控制,使自我进化的自主智能体(claws)更可信、可扩展且易于访问”,这早于OpenAI披露其智能体入侵开源AI公司Hugging Face的消息。(英伟达本月早些时候同意以129亿美元收购Hugging Face。)

此外,英伟达还开发了名为Sentry的新软件平台,这是一个为芯片设计的隔离安全域,旨在持续监控长期运行的AI智能体。虽然Sentry本质上是软件工具,但它计划部署在英伟达的可编程数据处理单元(DPU)Bluefield上。其理念是,除了OpenShell施加的限制外,Sentry还能作为独立机制“隔离试图越界的智能体”。

英伟达企业计算副总裁兼总经理贾斯汀·博伊塔诺表示,Sentry为客户和开源用户提供了通过OpenShell实际执行安全策略的另一种方式。传统沙箱主要用于“应用层隔离”,而现在用户希望运行大量智能体,这就需要“对所有智能体实施统一的策略”。

“智能体非常擅长寻找实现目标的方法,”博伊塔诺说,“通过这个系统,智能体只能访问安全团队允许的意图。”

他还透露,英伟达正与Arm和Intel合作,开发适用于x86芯片架构的Sentry版本。“一旦支持这些指令集架构,Sentry就能运行在任何架构上。”

英伟达将上述所有技术整合为一个名为Open Agent Safety Platform的开源框架,涵盖了OpenShell和Sentry。

今年七月,英伟达发起了一个涵盖120多家公司的行业级AI安全联盟,旨在通过共享AI发现交流(SAFE)项目降低AI风险。博伊塔诺上月表示,SAFE将“独立治理,不由任何单一公司或行业控制其成果”。

然而,在这些行业级开源AI安全倡议中,英伟达始终处于核心位置。作为全球最有价值的公司,且为大多数科技企业提供高性能芯片,英伟达正逐步加深其影响力,推动从芯片到安全软件的AI技术标准制定。

尽管业界已在努力控制智能体,但近期失控智能体的行为凸显了提升安全意识和落实核心安全措施的必要性——即使是在市值数万亿美元的顶尖实验室中也不例外。一些专家认为,这也触及了“自主软件何谓失控”的核心问题。

资深安全工程师兼研究员尼尔斯·普罗沃斯表示:“任何能让企业更安全、更有防护地部署智能体的工具都值得称赞。”他本人今年二月也推出了一个专注于智能体控制和监控的开源框架。“至少,这类工具有助于打破智能体无法被控制的迷思。”