过去一年,人工智能潜在危险引发了广泛关注,关于AI安全的正确监管路径也引发了激烈讨论。如今,Anthropic公司似乎提出了其对政府如何监管AI行业的设想。
据Politico报道,Anthropic正在推动一项新的AI安全法案草案,希望国会能考虑采纳。该法案设定了某些情况下可以阻止AI模型发布的情形。
这些情形涉及“可预见且迫在眉睫的风险”——例如可能导致50人以上死亡,或造成超过10亿美元财产损失。Politico指出,这些灾难性风险必须源自“生物武器的制造或释放、模型规避开发者控制,或网络攻击”。
这些标准——50人和10亿美元——与加州最近通过的参议院法案53号类似,该法案也将此类情形定义为“灾难性风险”。
Anthropic的法案建议通过“独立评估员”来分析模型潜在的灾难风险,这些评估员需在美国商务部注册。评估员可能由AI实验室支付报酬,但“支付不得以评估结果为条件”,Politico写道。
目前尚不清楚该系统如何确保支付不会影响评估结果。DeepMind董事长Demis Hassabis几个月前曾建议,应建立类似金融行业监管机构FINRA的自我管理AI监管机构。

在Anthropic的草案中,一旦评估员认定存在迫在眉睫的灾难风险,他们需在72小时内通知商务部。商务部随后必须向华盛顿特区法官申请暂停该模型发布。法案明确禁止任何联邦机构自行决定暂停模型发布。
Anthropic未立即回应TechCrunch的置评请求,但其发言人向Politico确认了该草案。“该法案体现了我们自六月以来一直向联邦和州立法者倡导的Anthropic高级AI框架中的提案。”发言人表示。
草案中提出的理论风险与近期科技行业关注的事件略有不同。尽管有人警告可能有人类死亡风险,主要担忧仍是代理黑客攻击的威胁。近期多起AI程序似乎违抗人类操控,入侵公开网站的事件引发了对模型安全控制不足的担忧。
为应对实验室自身引发的危机,Anthropic等公司提出了他们偏好的解决方案。
事实上,尽管实验室不断警告其技术可能导致人类文明终结,但他们对强制政府监管普遍持抵触态度,转而建议采用自愿的“嵌入式评估员”制度——即在AI组织内部安置所谓“中立”的第三方观察员,监控模型潜在风险或滥用迹象。
不过,Anthropic提出立法建议的态度似乎比行业内其他公司更为积极,包括英伟达,其CEO黄仁勋最近还表示AI行业不需要新法律,安全应由行业自行负责。


