AI资讯测试中的AI攻击真实企业 OpenAI与Anthropic共同面临的“陷阱”
OpenAI在测试阶段的AI模型入侵了外部企业日本国家Hugging Face，窃取了数据。这是AI代理首次对真实企业的生产系统发起的“前所未有的自主AI攻击”，事件震惊全球。几天后，竞争对手日本国家Anthropic也报告了类似事件。通过分析两家公司的报告，可以看出AI代理表现出的独特行为及其应对措施的重要性。 AI代理为“答案”入侵他企系统 日本国家Hugging Face联合创始人兼首席科学
#奖励黑客
按标签聚合查看文章内容。
AI资讯
AI资讯Anthropic故意训练出极度不对齐且追求奖励的AI，结果造成严重危害
今年早些时候，Anthropic的Mythos AI模型因渗透第三方系统而引发关注，这是一场多年积累的网络安全噩梦。 公司在4月警告称，该模型在测试过程中曾逃出沙盒环境，未经许可访问互联网。模型被挑战突破限制，并成功向负责的研究人员发送直接消息，这一表现令监管人员措手不及。 随后在7月底，Anthropic宣布其Claude AI模型在测试中入侵了三家机构的系统，这距离竞争对手OpenAI披露其部