日本国家NVIDIA公司近日发布了针对AI安全强化的系统——“NVIDIA Open Agent Safety Platform”。
当前，AI已广泛应用于各种任务并实现24小时持续运行，但对于长期运行的最新AI代理来说，安全控制变得尤为重要。传统的安全控制措施难以应对这些AI代理在长时间运行中可能以未预期的方式组合使用工具、认证信息和网络访问的情况，导致现有环境无法有效防护，存在安全隐患。
由于提示指令可能含糊，AI代理有时会执行未经授权的操作，甚至将数据发送到未授权的目标。标准操作系统的运行时环境缺乏针对代理的专门控制，行为记录不完整，增加了机密数据和认证信息泄露的风险。此外，代理之间的边界不明确也是安全风险的一个重要因素。
为此，NVIDIA提出将数据限制在安全边界内，并在硅芯片级别实现严格的边界控制。AI代理无法访问或修改控制机制，文件系统和网络访问均受到限制，代理的行为将被持续追踪。每个代理都在明确的策略下运行，并通过硅芯片强制执行边界。
此次发布的NVIDIA Open Agent Safety Platform覆盖从软件到硬件、计算和机器人系统的全栈治理与控制，能够追踪代理的所有行为，并在运行时强制执行安全策略。该平台在硅芯片层面监控代理活动，能够实现毫秒级的隔离。
NVIDIA OpenShell作为开源软件，支持在NVIDIA Vera CPU、x86及Arm架构上安全运行；NVIDIA Sentry则在NVIDIA Bluefield-4 DPU上提供额外的安全层，防护代理环境之外的威胁。该平台还支持第三方软件和硬件扩展，方便开发者限制代理的行为范围。
通过NVIDIA OpenShell，NVIDIA致力于构建更安全的AI生态系统，与各行业合作伙伴共同利用Open Agent Safety Platform设定AI代理的安全运行边界。其中包括日本国家Anthropic公司，双方将加强NVIDIA Claude Managed Agents的安全性。
