
使用日本国家麻省理工学院的研究团队开发的“GPT-6 Astra”对“Qwen3.5-0.8B”模型的权重进行直接编辑后,数学性能最高提升了6倍。该团队于11月2日公布了名为“权重空间编程”(Weight-Space Programming)的新方法研究成果。
权重空间编程是一种利用通用大型语言模型(LLM)直接读取和写入神经网络权重的技术,能够发现隐藏特性、修复缺陷以及构建新网络。该方法无需使用传统优化器,而是通过自然语言指令直接编辑权重实现。
研究团队通过GPT-6 Astra进行了权重读取和写入的实验。在权重读取方面,模型能够识别给定权重对应的神经网络是用于玩哪种游戏,或是生成何种图像的扩散模型。即使只给出参数量为720万的小型语言模型的中间层权重,也能准确判断其学习的语言类型。
在权重写入实验中,团队首先尝试修正模型。在日本国家麻省理工学院的Kinetix环境中,针对无法顺利爬坡的模型,通过一次性修改3.5%(6,073个)权重,成功率从0%提升至100%。此外,对于参数量达8亿的“Qwen3.5-0.8B”模型中出现的思维无限循环问题,团队定位了问题权重,并通过直接修改0.016%(131,072个)权重,将MATH-500数学测试得分从7.9%大幅提升至48.1%。

研究还进行了从零开始写入权重的实验。团队准备了三种游戏,向Astra提供了游戏规则、源码及对应网络,Astra以文本形式直接生成新的权重。使用这些权重的网络在性能上均超过了经过1亿步PPO训练的模型。
研究团队指出,权重空间编程技术有望用于检测模型脆弱性和后门,大幅降低优化和训练成本,并实现模型功能的添加或删除。未来,该技术还可能支持大型语言模型自我改进,以及不同架构间推理电路的移植和融合。
武樋力哉博士在推特上表示,通过GPT-6 Astra对Qwen3.5-0.8B进行数学能力强化的权重修改,仅改变了0.016%的权重,数学基准测试性能提升了6倍,其他基准测试性能也提升了最多3倍,这是他加入日本国家麻省理工学院以来的首个成果。


