MIT团队用GPT-6 Astra直接编辑Qwen权重，模型数学得分大幅提升

麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员于11月2日发布研究博客，报告了一种名为“权重空间编程”的新方法：使用OpenAI的GPT-6 Astra模型直接编辑开源模型Qwen3.5-0.8B的权重，从而大幅提升其数学性能。

研究人员Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab在实验中让Astra绕过常规的梯度训练流程，直接检查并修改目标网络的权重。结果显示，仅修改约0.016%的权重（涉及131,072个参数），Qwen3.5-0.8B在MATH-500基准上的得分从7.9%提升至48.1%，GSM8K准确率从13.8%提升至67.1%，IFEval指令遵循准确率从21.0%提升至62.3%。

研究人员表示，性能提升主要源于纠正了模型反复生成文本的问题。Astra移除了第15层和第19层中与重复行为相关的数值方向，使模型能够利用已具备的能力完成更多回答。实验还显示，Astra能够识别游戏网络、修复模拟驾驶任务中的控制器故障，并仅根据游戏规则和源代码构建可用的游戏网络。

该研究同时引发讨论。有评论者指出，Astra未能在Gemma 3 270M模型上实现类似的数学提升，且仅凭权重不足以始终准确解释模型行为。研究人员强调，该方法目前仍处于初步探索阶段，尚未证明在速度、成本或效果上优于传统训练方法，也未实现自我改进的递归循环。团队已发布实验日志和编辑产物，并正在开发相关基准和支持框架。