传统观点认为,拥有数百亿参数的人工智能系统本质上是难以破解的黑箱:即使是开发它们的研究人员,也无法完全理解其基本构建单元——节点或“神经元”的具体工作机制。
然而,人工智能研究员Nick Cammarata发表的一篇新论文却颠覆了这一认知。他认为,人工智能模型并非不可穿透的黑箱,实际上我们或许可以看到它们的“思考”方式。
这篇近26000字的论文获得了业界广泛赞誉,包括OpenAI首席执行官Sam Altman在内的多位业界领袖都给予高度评价。一位OpenAI的知名研究员甚至称其为“科学史上的重大时刻”。
之所以引起如此关注,是因为这意味着人工智能对齐问题可能有望被“解决”。如果我们能理解AI模型的思维方式,就能找出为何AI代理会“失控”并进行黑客攻击,或者为何聊天机器人会突破限制说出危险言论,从而加以阻止。(有评论调侃称:“这消息好到连著名AI悲观主义者Eliezer Yudkowsky都得降低他的末日预言。”)
Cammarata曾任职于OpenAI,目前在一家名为Goodfire的AI初创公司工作。他在论文中解释道,多年来,AI神经元对特定刺激的反应“几乎无法解释”。为什么同一个神经元会对猫或汽车的图片产生反应,过去一直不得而知。主流解释是神经元存在叠加现象:由于AI模型的神经元数量有限,它们会停止将相关事物归类,而是将无关事物叠加在一起,因为这些信息不会相互干扰。
“结果就是一种纠结:网络可能以多种几乎同样有效的方式进行叠加,因此一个神经元将哪些事物归为一类几乎没有任何意义,”他写道。

但实际上,他认为神经元并非“纠结的结”,而是“干净的”。举例来说,同一个神经元会对猫脸和汽车前部的图片产生反应,乍看之下这似乎是两个无关的概念。但深入分析后,Cammarata指出,AI实际上看到了我们未曾注意到的东西:两张图片中相同的V形图案。“这不是猫和汽车神经元,而是V形神经元,”他写道。总的来说,他认为AI模型比以往任何时候都更具可解读性。
不过,并非所有人都完全认同Cammarata的乐观结论。
谷歌DeepMind负责机制解释的研究员Neel Nanda在X上表示:“这项工作很有趣,但我认为它并没有对可解释性的整体认知带来重大更新。我仍然认为叠加现象是真实存在的,这项工作并未改变我的核心观点。”
此外,理解单个神经元的功能是否等同于能够预测它们如何协同工作仍不明确。这听起来像是对更宏大问题的一个技术性便利解决方案。确保AI模型安全不仅仅是建立防护措施,还涉及法律和社会框架的构建。尽管如此,鉴于Cammarata研究引发的强烈反响,它很可能会显著改变我们对AI内部机制的理解。目前,这些发现尚未经过测试或同行评审。


