我一直在思考,递归自我改进是否也能帮我提升效率。毕竟,我还得写新闻通讯。能否利用AI训练并持续优化一个模型,来自动完成这份通讯中的繁琐工作?
经过一周左右的尝试,答案是令人惊讶的肯定——绝对可以!更重要的是,尝试自我改进模型让我看到了AI发展的另一种可能,这种模式不再由少数几家公司垄断整个行业。
从简单的自我改进循环开始
为了入门,我尝试从零开始训练一个小型语言模型——实际上就是把繁重的工作交给了Claude。
我安装了AutoResearch,这是由AI大牛Andrej Karpathy设计的工具,他曾是OpenAI的创始成员,领导过特斯拉的AI项目,最近加入了Anthropic。AutoResearch能帮助现成的AI模型构建并改进更小的模型。
我启动Claude,给它下达了指令:“你好,请查看program.md,我们开始一个新实验吧!”Claude负责复杂的训练过程,我则提供硬件支持(Nvidia DGX,一台专为AI实验设计的桌面“超级计算机”)、电力(连续几天高负荷运行)以及允许模型跳过常规权限检查的大胆尝试(让它自由发挥!)。
我每隔几小时查看AutoResearch项目的进展,惊讶地看到Claude调整参数和训练策略,观察这些变化如何影响小模型的输出,并不断优化它。
以下是早期版本的小模型在我提示它完成“开始的时候……”这句话时的输出:
“开始的开始,结束的结束,结束的结束的结束,开始的结束……”
显然不够精彩。但随着Claude自主改进,后续模型变得更加连贯,减少了无意义的重复。虽然还远不是GPT-5的水平,但这条持续改进的道路充满希望。
进阶尝试:打造更复杂且实用的模型
我已经在用一个依赖Claude的智能代理帮我寻找重要的研究论文,于是我想尝试做得更进一步。

我使用了一家名为Prime Intellect的初创公司的工具,该工具利用AI训练针对特定任务的定制模型。我收集了大约100篇之前“AI前沿动态”栏目中的研究片段,创建了Prime Intellect的训练环境,并请Claude帮我打造一个名为Frontier_Paper_Curator的模型,用于发现并总结有趣的论文。
Claude不仅找到了更多论文,还生成了大量合成数据辅助训练。它还调用另一个模型评估Frontier_Paper_Curator的输出,同时训练环境通过强化学习不断提升模型表现。
Prime Intellect的CEO Vincent Weisser告诉我,他们的目标是让递归自我改进技术普及到每个人,而不仅仅是顶尖实验室。虽然顶尖实验室的模型很出色,但让所有公司都能访问前沿训练基础设施,市场的集体创造力将远远超过少数实验室的能力。
他说:“我们不想要一个集中的、几乎神一般的智能体,而是希望拥有数十亿个智能体,进入各种细分领域,创造美好的事物。”
Prime Intellect并非唯一看好这种未来的公司。另一家初创公司Adaption推出了AutoScientist工具,自动化AI模型训练。CEO Sara Hooker表示,他们正与多家大型企业合作,这些企业消耗大量计算资源但缺乏内部AI专家。
当Anthropic决定限制其最新模型Fable 5的某些请求时,暴露了过度依赖单一顶尖模型的风险。Palantir的Alex Karp等高管也警告说,使用顶尖实验室的模型意味着将自己的数据和技术控制权交出去。
递归自我改进的终极目标是让AI能为模型应用新想法,产生自主洞见。虽然我们普通人可用的工具还有限,但依然令人印象深刻。仅用不到一天时间,我就借助Prime Intellect打造了一个相当不错的模型,用于发现和总结研究论文。以下是它为我生成的一个示例条目:
“科大讯飞的研究人员开发了iFLYTEK-Embodied-Omni,这是一款统一的多模态AI模型,将视觉、语言和动作生成整合到一个框架中。不同于以往将视觉理解、未来状态预测和动作生成分开处理的具身智能体,该模型采用共享的多模态自注意力机制,实现了视觉语言“高级大脑”与动作生成“低级小脑”之间的紧密协作,类似于大脑与小脑的合作。这种方法减少了级联流程中常见的误差累积和接口瓶颈。通过在包含人类和机器人标注的具身视频及图文数据的大规模多样化数据集上训练,并采用分阶段训练策略,展示了一个具备联合推理、预测和控制能力的通用具身智能体。这为更集成、多功能的机器人AI系统贡献了新的架构和训练范式。”
作为首次尝试,这表现不错。新模型有些过于积极,选择了不少我会跳过的论文,摘要也稍显通用,但这是一个有希望的开始。希望未来它能帮我摆脱繁重的琐事。
这是Will Knight的AI实验室通讯的一期内容。


