Google DeepMind机制可解释性团队负责人Neel Nanda于2026年11月2日评论“权重空间编程”研究时说,Astra执行传统机制可解释性研究的能力超出他的预期,但这些案例尚未消除他对相关方法能否扩展到复杂大语言模型的疑虑。
机制可解释性研究尝试逆向分析神经网络学到的算法和结构。Nanda认为,这项工作的亮点是Astra巧妙利用数据结构和已有分析技术,显示出自动执行繁重分析的潜力;它主要改变了他对大模型使用这些方法的能力判断,而非对这些方法本身能走多远的判断。
MIT CSAIL的Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab公布了这项研究。按团队公开仓库的说明,实验中的Astra是OpenAI的gpt-6-astra模型。团队将“权重空间编程”定义为:通用大模型根据自然语言要求直接读写神经网络权重,不通过优化器或梯度下降;部分实验也不提供环境反馈。这个定义中的“部分”很关键:其中较受关注的Qwen数学修复实验,提供了练习题、Python内核和模型运行反馈。
团队报告,在50次前向调用预算下,编辑后的Qwen3.5-0.8B在MATH-500上的成绩从7.9%升至48.1%,GSM8K从13.8%升至67.1%,衡量指令遵循的IFEval从21.0%升至62.3%。这里一次前向调用可以批量让模型回答最多512道题,或读取最多1,024段文本,不能理解为整个修复过程只试了50道题。
按团队的分析,Astra将推理循环追踪到第15层和第19层的前馈网络写入的一个方向,通过从两层各64个输出列中减去该方向,共修改131,072个权重。Qwen官方模型卡也提醒,这款模型在思考模式下使用推荐采样参数时,比同系列其他模型更容易陷入循环、无法正常结束生成;这一说明支持循环问题确实已有记录,但不能验证此次编辑的修复效果。
上述成绩来自研究团队的评测:前后采用相同采样设置,temperature为0.6,输出上限为32,768 token;MATH-500每题采样四次,GSM8K和IFEval每题采样两次后计算成绩。团队报告,MATH-500回答中达到这一输出上限的比例从约93%降至约33%。研究设置与Qwen官方文本思考模式推荐配置不同,因此这些增幅不能直接解释为相对官方最佳配置的提升。
失败对照进一步限定了结果的含义。团队报告,对较少出现循环的Gemma 3 270M进行编辑时,MATH-500成绩变化不超过约1个百分点,没有确立明确的数学提升。在另一项识别迎合行为的实验中,Astra仅凭权重进行的四次尝试均失败;允许查看模型处理自拟文本时的注意力模式、但不查看输出后,团队称它才在三组模型对中均识别出迎合模型。
这些结果更支持将权重编辑视为特定故障诊断与修复的早期探索。解除循环可以让模型完成原本能够展开的回答,但尚不足以证明它获得了原本缺少的数学能力,也不足以证明仅看权重就能可靠审计复杂行为。这正是Nanda的评价所指向的区分:自动化分析能力值得期待,分析方法的适用范围仍需检验。
团队已公布文章所报告实验的日志、代码及评测材料,仓库同时说明,早期提示版本的试运行未收录其中。Nanda的评论是对方法及其潜力的技术评价,并非对这些修复成绩的独立复现。
参考来源:
