尽管人们普遍关注Anthropic周一公布的修订版S-1/A文件中更新的财务数据(收入大幅增长,但支出也在攀升),这家AI实验室在文件的细节中透露了另一条重要信息。

该文件似乎警示公司正处于开发出具备递归自我改进(RSI)能力模型的边缘。

递归自我改进指的是AI能够自我训练并不断提升自身能力,导致AI能力出现爆发式增长。对于AI悲观主义者来说,RSI意味着一场无法回头的灾难,AI将变得强大到超出人类控制,且在实现目标时可能无视所造成的破坏。

而对于AI乐观主义者而言,RSI或某种形式的AI自我提升,代表了技术的巨大潜力,使其成为极具生产力、推动科学发现等领域的强大工具。

Anthropic似乎认为RSI既是机遇也是风险。其在S-1文件中提到,虽然公司在研发中使用AI,但也警告:“利用AI帮助构建更强大的AI可能带来重大安全风险,尤其是在进展速度急剧加快时。这是我们负责任扩展政策涵盖的领域之一,该政策阐述了我们在接近所谓‘递归自我改进’时监控和缓解风险的计划。”

今年早些时候,RSI一词开始流行,许多人认为这只是一个流行词,或者是一个难以实现、定义或证明的目标。

但在周一,Anthropic在风险因素部分新增声明,指出1)公司已经使用AI开发了能力飞跃的新模型,而当时并未意识到这种飞跃;2)公司可能很快就会达到其自身对RSI的定义(以下为重点内容):

此外,我们越来越多地使用AI系统加速自身研发,可能导致模型能力的提升速度超过我们开发、验证和实施相应安全、对齐及安全措施的能力。因此,\n> 我们过去未能识别,未来也可能未能及时识别开发速度的显著加快,直到其发生之后。\n> \n> 例如,我们的内部估计和对未来模型的预期(而非当前模型)\n> 表明我们可能即将达到负责任扩展政策中定义的“由AI引起的显著加速进展”。我们尚未将任何当前模型认定为超过该阈值,且仍在评估相关数据。

不过,Anthropic也在文件中表示,目前尚无任何模型达到RSI阈值,并承诺在可预见的未来将保持人类参与研发过程。“我们不预期能够安全地使用Claude模型在没有人类监督或理解的情况下,完全自主设计和构建下一代前沿模型。如果技术上可行,我们也将考虑更新负责任扩展政策,确保人类继续掌控Anthropic的前沿模型开发。”

怀疑者可能会指出,S-1文件既是信息披露也是市场营销,声称接近能够自我构建的强大模型可能属于后者。

然而,毫无疑问,Claude模型的能力,尤其是在编码、数学和网络安全方面,今年已取得巨大进步。如果Anthropic认为RSI的可能性已近,我们或许应当认真对待并采取相应行动,甚至进行监管。