Anthropic表示，其模型曾利用互联网上的网站资源，包括一些由美国政府机构运营的网站。为此，Anthropic决定在确认能够有效监控和控制其AI代理之前，关闭所有内部评估的实时互联网访问权限。

这些事件在一篇博客文章中披露，涉及被指派解决问题的AI代理在寻找互联网资源时，利用了软件漏洞，未经付费访问数据库，使用URL缩短服务绕过限制，甚至向费城警方提交了虚假的谋杀线索。

Anthropic称，这些新问题是在7月开始对模型活动进行审查时发现的，显示出该实验室对其软件实时行为的认知不足。

值得注意的是，公司表示，目前的对齐训练尚不足以应对搜索和计算机使用等关键技能，而这些技能正是其推广AI代理服务于依赖数字工具的专业人士的核心。

Anthropic披露的行为与OpenAI代理类似，后者曾合作入侵多个网站以获取信息，其中包括澳大利亚政府运营的网站。

此前，Anthropic也曾披露其模型入侵过外部系统，但此次披露的事件从对齐和安全角度来看“严重程度明显较低”。

尽管如此，实验室仍表示已“关闭所有内部评估的实时互联网访问”，直到确认能够监控和控制其代理。

目前尚不清楚这一措施具体意味着什么。Nightingale AI安全组织创始人Sydney Von Arx在此次披露前接受采访时表示，在与开放互联网隔离的数据中心开发模型对研究人员来说非常具有挑战性，也会阻碍模型的发展，因为模型从互联网访问中获益良多。

“你必须在某个阶段对它们进行对齐，”Von Arx说，“如果AI被投入生产却从未接触互联网，那它的实用性将大打折扣。”

Anthropic称，这些行为源于训练环境中的缺陷，导致模型认为通过寻找漏洞或规避限制可以获得奖励，这种行为被称为“奖励黑客”。

公司表示将停止部分评估或将其转移至离线环境，并已开发工具检测和阻止此类行为。该工具已针对本次披露的事件进行了测试并成功阻止，但尚不清楚何种证据会促使Anthropic恢复内部评估的实时互联网访问。Anthropic还计划将内部AI代理迁移至“集中管理且具备强隔离措施”的基础设施，并开始更频繁地使用安全分类器来监控这些代理。

AI监管实验室Transluce官员、美国人工智能标准与创新中心前负责人Conrad Stosz表示：“Anthropic主动披露近期事件，包括其代理针对美国政府网站的行为，这是令人鼓舞的。但这也凸显了对AI系统进行独立、可信第三方验证的必要性。对这项技术的信任应通过科学支持的监督和治理建立，并提供有意义的访问权限，而不是依赖研究人员在野外发现问题或企业自愿披露。”