许多人工智能研究人员坚信，他们正在开发的技术未来可能带来极大危险。然而，即使在AI技术精英中，如何有效控制这些难以预测的算法依然没有明确答案。

近年来，研究者们提出了各种防止AI失控的方案，包括较为温和的加强政府监管、改进进展评估方法、深入探查模型内部机制等，也有更为激进的建议，比如在GPU中安装追踪设备，甚至象征性地销毁大量AI芯片。

随着政治和公众对AI建设采取更审慎态度的呼声日益高涨，如何确保AI安全仍未有定论。

多伦多大学的AI研究员雷蒙德·道格拉斯（Raymond Douglas）在新发布的报告《前沿节奏：研究议程》中指出，放缓AI发展仍是一个未解之谜，“我们甚至不清楚有哪些选项，也不确定它们会产生什么效果。”

近期，关于AI末日的讨论达到高潮。一位Anthropic研究员离职后警告称，未来几年内AI可能威胁人类生存。Anthropic AI安全实验室负责人也迅速表达了类似担忧。

美国主要AI公司的领导者——Anthropic的达里奥·阿莫代（Dario Amodei）、OpenAI的山姆·奥特曼（Sam Altman）、SpaceXAI的埃隆·马斯克（Elon Musk）以及谷歌DeepMind的德米斯·哈萨比斯（Demis Hassabis）均支持某种形式的AI发展放缓或暂停。

这一问题尤为紧迫，因为AI公司正利用AI自身开发更强大的模型，引发了对递归自我提升（RSI）加速循环的担忧，担心AI将在几年内超越人类理解其行为的能力。

AI实验室也在推出新方法。Anthropic本周公布了多种追踪AI进展速度及潜在风险的新技术，数据显示Claude目前承担了Anthropic 26%的AI研究工作，而2026年初为零；此外，Anthropic将6%的计算预算用于提升AI安全性。

但道格拉斯及其他专家认为，有效控制AI发展需要来自AI实验室外部的资金和专业知识。部分提议——无论是最新报告还是其他方案——看起来比其他更具可行性。

“独立”评估者

AI公司常提议让第三方评估者获得更多模型访问权限，这些评估者通过测试模型能力和“红队”攻击，尝试在受控环境中引发模型失控行为。

前英国AI安全研究所首席科学家、谷歌DeepMind前研究员杰弗里·欧文（Geoffrey Irving）认为，严格的检查可以暂时暂停前沿AI的发展。“短期内，检查和审计有效，甚至仅靠相互协议也行得通，”他说，“我认为公司确实害怕递归自我提升和失控起飞。”

一些悲观论者认为，现有检查缺乏足够独立性和科学严谨性。近期部分AI代理在测试中逃脱控制，显示需要更严格的监管。

倡导AI控制的非营利组织Control AI负责人康纳·利希（Connor Leahy）建议应让联邦调查局（FBI）或国家安全局（NSA）参与检查。“当大公司说‘独立评估者’，其实是想让自己圈子里的朋友帮忙看提示。”

道格拉斯指出，新研究可提升模型评估方法。他提到近期研究表明，外部人员可以在不泄露机密信息的前提下检查模型使用情况。其他有助于了解模型行为的技术也在开发中。

利希同意需要更多关于模型评估及“对齐”含义的研究，即如何让模型体现人类价值观。“这些公司有意将评估包装成科学，但我们其实并不真正理解AI的工作原理。”

美国政府愿意在多大程度上介入限制AI发展尚不明朗。特朗普总统曾表示不支持监管，但两党对限制大型AI公司的呼声正在增长。

可信计算

部分专家认为，限制AI发展应从控制所需的计算资源入手。最强大的模型依赖成千上万台先进的Nvidia GPU，在庞大数据中心中训练。

政府已有所尝试，2023年拜登政府发布的AI行政命令要求企业报告超过一定计算阈值的训练任务。

2024年3月的一份政策白皮书指出，云服务提供商因能监控大型AI训练任务，将在未来监管中发挥关键作用。通过追踪账单记录、GPU利用率、网络流量和电力消耗等指标，可以间接评估AI能力。

专家还提出通过芯片改造来追踪和控制先进AI的构建。

2024年兰德公司研究人员建议，修改GPU中用于性能测量的组件，使其能加密记录计算运行情况，定期检查。这能揭示企业是否超出计算阈值训练AI。

还有建议在芯片中嵌入防篡改组件，详细记录使用情况，并通过加密技术确保某些模型权重的运行安全。

甚至有人提出在芯片中内置“嵌入式关闭开关”，需远程加密授权才能运行特定模型，防止未经授权的训练，或在芯片落入不当之手时远程停用。

约束性国际条约

多数专家认为，国际合作是控制AI发展的关键，尤其是中国等国家也具备开发前沿AI的能力。欧文建议：“中期来看，最简单的方式是通过条约与中国共同限制硬件增长。”

美国已通过禁止向中国出口最强芯片限制其AI发展，但效果有限，因为中国仍可通过海外云计算训练模型。

预计本月习近平主席访美时，双方将讨论AI风险。中国专家同样担忧AI快速发展带来的风险，但对放缓措施持怀疑态度，担心会使中国企业落后于美国。

部分合作设想听起来更像科幻小说而非政策建议。

牛津大学哲学家托比·奥德（Toby Ord）曾设想，如果各国能达成限制AI发展的协议，并且风险足够严重，大国可能将GPU运至中立地带并销毁。这一激进举措需双方同意完全停止AI开发。

技术进步和递归自我提升的不确定性将使问题更加复杂，追踪这方面进展尤为重要。

一家初创公司Vals AI开发的新基准RSI指数，尝试通过比较公开AI模型表现与人类AI科学家发表的研究，追踪AI驱动的AI开发进展。Vals AI联合创始人兼CEO拉扬·克里希南（Rayan Krishnan）表示，该指数显示未来一年内AI可能完成超出人类研究者理解范围的工作。

如何有效监控AI不仅是技术挑战。道格拉斯等人警告，仓促实施不当控制可能导致政治纠纷或监管被利益集团操控。

“我不确定单纯叫美国政府全面叫停是否明智，”道格拉斯说，“仓促行动、方案不佳可能比什么都不做更糟。”