Google DeepMind 机械可解释性团队负责人 Neel Nanda 10月15日在 X 发文,支持用神经元归因图调查模型为何出现可疑行为,但不赞同据此宣称全面逆向工程或解决可解释性问题已有重大进展。

这类分析试图沿模型内部组件的相互影响,追踪一次输出如何形成。Nanda 认为,相关工作及 Transluce 研究团队的早期研究提供了一些实用性证据;直接分析神经元也更容易应用到前沿模型。他同时预计,归因图一旦裁剪到最重要的组件,仍会像转码器一样存在显著误差和遗漏。抓住行为的大意,与确信没有遗漏,是两种不同要求。

作为这条路线的研究背景,Transluce 在2025年11月20日发表的文章中报告,选择多层感知机(MLP)内部激活作为分析单位,并采用 RelP 归因方法后,原始神经元能够构成与学习得到的特征电路相当稀疏、相当忠实的电路。这里的“忠实”指保留所选电路后,模型在被测任务上的行为接近完整模型。

团队还报告,在 Llama 3.1-8B-Instruct 上复现了多跳推理、加法、多语言反义词三类既有案例。这些结果展示了神经元分析能够解释的具体计算过程,但不代表已经覆盖模型的全部行为。

实验范围也影响结论。Transluce 的主谓一致基准使用 Llama 3.1 8B 基础模型,每项任务使用300对训练样本、40对留出评估样本。团队披露,该实验中的积分梯度方法需要10次反向传播,RelP 需要一次;这项计算步骤差异不能直接换算成端到端提速十倍。

Nanda 的另一项保留涉及“叠加表征”:多个概念可能共享模型的表示空间,而不各自对应一个神经元。他认为,残差流可能表征多于其维度数的概念,神经元的线性组合也可能容纳多于神经元数量的事实,因此这些工作没有改变他对叠加表征的判断。

弱激活是他尤其关注的盲区。他预计,幅度较小的神经元激活也含有大量语义信息,消融它们可能显著损害性能;他认为被评工作尚未充分处理语言模型中的这些激活。这是他的预测与评价,不能视为已经完成的消融实验。

另一项研究 GLUScope 提供了一个有限但具体的提醒。作者在展示的单个神经元案例中发现,只记录整体最大正负激活,会遗漏较小却高度可解释的“双负”激活,即门控和输入均为负的情况。这个个案说明筛选方式可能影响观察结果,但不能证明弱激活普遍承载叠加语义,也不能自动视为 Nanda 此次评论的直接对象。

工具层面,Transluce 的 ADAG 仓库称,已支持 Llama 和 Qwen 系列模型的 MLP 神经元电路追踪,并提供自动化解释流程。Transluce 在2025年的研究文章中承认,较全面的电路仍包含太多神经元,难以由人轻松解释,并提出分组和自动描述等方向。当前 ADAG 仓库已列出相关功能,但功能实现本身尚不能证明解释质量或实际排障效果。

Nanda 也没有主张放弃稀疏自编码器(SAE)——一种将模型内部表示分解为稀疏特征的工具。他认为 SAE 在部分任务上可能提供更好的分析基底,同时承认相关证据较弱。Transluce 同样明确,研究没有裁定两类方法的整体优劣。现有结果为具体行为调查提供了候选工具;它们对前沿模型异常的诊断准确率、修复收益和总成本,仍缺少材料中的实测答案。

参考来源: