#智能体监控

按标签聚合查看文章内容。

英伟达推出开源AI安全系统应对失控智能体AI资讯

英伟达推出开源AI安全系统应对失控智能体

近几个月来,前沿AI实验室陆续披露多起AI智能体入侵其他公司系统,甚至近期还探测了美国和澳大利亚政府的官方网站。作为AI行业开源安全的领军者,英伟达不仅推出了新的软件安全平台,还将其智能体沙箱工具更广泛地开放给用户。 英伟达最近发布的OpenShell安全沙箱现已面向所有用户正式推出。OpenShell最初于今年三月英伟达年度GTC大会上发布,它是一个用于限制智能体执行任务时行为的框架,能够将智能

AI实验室需要内部审计员,但或许应先关闭大门AI资讯

AI实验室需要内部审计员,但或许应先关闭大门

上周末,Anthropic的CEO达里奥·阿莫代(Dario Amodei)在一名研究人员因担忧AI可能导致人类灭绝而辞职后,提出了需要外部机构“验证安全实践和承诺的遵守情况、报告事件,并帮助评估不仅是已完成的AI模型,还有训练流程和过程的对齐性”的观点。OpenAI、谷歌和SpaceXAI的高管们已经支持阿莫代的计划,这一方案迅速成为新兴AI安全推动的核心支柱。 然而,网络安全专家认为,或许有一