Denny Zhou于2026年11月19日在X上提出,2026年之前,“最好的数据造就最好的AI模型”;自2026年起,“最好的AI模型生产最好的数据”。这则两句话的帖文没有给出数据质量标准或实验结果,2026年这一分界也是他的个人判断。

Zhou的个人主页自述,他创立了Google Brain/DeepMind的推理团队。这次帖文表达的是个人技术观点。

这一判断把关注点从训练模型所需的数据,转向模型本身能否成为优质数据的来源。但生成出来的数据是否更好、能否用于训练并带来收益,仍需要具体任务和评价标准来检验。

相关研究提供了一个更具体的观察角度:验证生成数据的质量。《Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification》的作者报告,在矩阵特征值计算和新闻摘要两个实验任务中,使用生成数据训练出现了模型退化;即使不完美的验证器,也能在这些实验中帮助防止退化。这里的模型退化,指训练中使用生成数据后模型表现下降。

另一篇论文《Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models》研究了这样的流程:模型验证自身输出,依据验证结果筛选数据或调整其权重,再用筛选后的数据进行蒸馏训练。作者提出,用生成与验证之间的差距刻画这一自我改进过程。

这些研究将验证与筛选纳入了生成数据的训练流程,但没有直接证明“最好的模型生产最好的数据”,也没有验证2026年是行业转折点。从这些研究出发,一个值得检验的判断是:评价模型的数据生产能力,需要同时看它生成了什么、如何筛选,以及这些数据最终能否改善后续模型。

参考来源: