2026年1月22日,Jan Leike在个人Substack发布《Alignment is not solved》称,AI 对齐尚未解决,但研究进展使其看起来越来越可解。他写道,近年强化学习(RL)规模化、预训练改进和简单干预的有效性,使自动化对齐研究者进入视野。原文
Leike 写道,2025 年 6 个月内对齐进展明显:9 月 29 日发布的 Sonnet 4.5 比 5 月 22 日的 Sonnet 4 和 Opus 4 对齐得多,11 月 24 日发布的 Opus 4.5 又比 Sonnet 4.5 更对齐;同期 OpenAI 和 Google 的模型也更对齐,GPT-5.2 的对齐水平与 Opus 4.5 相当。他把自动化审计视为当前最佳总体评估:审计智能体尝试诱导目标模型失准,再由评判模型打分。
Leike 称,最重要教训是简单干预非常有效。为抑制智能体行为偏离预期目标的现象(agentic misalignment),团队加入了一些监督学习(SL)数据、强化学习(RL)训练用的提示,以及合成奖励建模数据。简单说,三者分别为模型提供学习示例、训练任务,以及用于训练“评分模型”的合成材料;这种评分模型负责评价模型输出的好坏(可参阅奖励模型的背景介绍)。Leike 称,从 Sonnet 4.5 开始,相关评测中的智能体失准基本降至 0,并保持至今。
他同时提醒,目前仍是“简单模式”:模型尚未真正超人,人类还能读懂输出;一旦模型强到人类无法理解其行为,很多现有方法将失效。这就是尚未解决的“对齐难题”。此外,2025 年大部分时间聚焦可扩展监督研究,但在 困难且评价标准模糊的任务(hard fuzzy tasks) 上进展甚微,最佳猜测是现有带标签的模糊任务并不真正受益于推理。
Leike 说,自动化对齐研究者已进入视野:Claude Code 现在编写几乎全部研究代码,2025 年初这些代码主要靠手写;Claude 能基本自主完成采样、评估、监督微调(SFT,即用示例继续训练已有模型)等标准流程,并承担大部分阅读模型交互记录的工作;从 Sonnet 3.7 起,Claude 通过了 Anthropic 对齐团队的研究头脑风暴面试。Opus 4.5 发布前后的非正式投票中,对齐团队管理者愿意用 10-25% 的编制换取继续使用 大语言模型助手和编码工具。
参考来源:
