Trajectory 联合创始人 Ronak Malde 在 Training Data 访谈中介绍,其平台将模型训练、评估和部署集中在一处,但企业仍需提供任务轨迹、奖励标准和环境条件。他将当前首先要普及的训练与定制能力描述为离线阶段,把根据实际使用不断更新的持续学习列为未来目标。
访谈中,Pat Grady 追问:把技术接入真实业务的工作,有多少能够产品化,又有多少仍需人工辅导?Malde 的回答呈现了这类产品的价值与实施条件:训练操作可以被简化,但企业必须先把业务经验整理成模型能够学习和接受评估的材料。
按 Malde 的说明,第一步是记录生产中的完整任务轨迹,包括主智能体、子智能体、产品内发生的事件和用户反馈。这里的轨迹,是智能体完成任务的过程记录,不能只留下最终答案。第二步是让任务能够重放:企业提供轨迹和运行环境的定义,以便重新执行任务,用于评估或训练。
Malde 表示,当前仍需大量人工工作的环节,是构建接近真实生产条件的环境,以及定义奖励,也就是判断任务做得好不好的标准。法律或投行业务往往没有完美、可验证的奖励,生产环境也经常难以完整重建。把训练按钮做得容易使用,并不会自动解决这两项准备工作。
Harvey 是他在访谈中举出的客户案例。Malde 称,Harvey 借助 Trajectory 训练的模型,在其法律基准上的准确率由约 4% 提升至约 18%,模型成本约为前沿模型的六分之一。不过,这段访谈没有说明准确率的具体判分口径、评测样本量或成本计量单位,因此无法据此判断完整任务的交付成本降低了多少。
这些数字也不能直接等同于完整法律任务的通过率。Harvey 对其 Legal Agent Benchmark(LAB)的官方说明是:采用 all-pass 标准时,一项任务必须满足所有必需评分标准才算通过。但这份说明没有确认访谈中的约 4% 和约 18% 是否采用同一口径。
为减少准备工作,Malde 还介绍了元评分器的思路:以 10,000 条轨迹为例,选取其中 100 条有代表性的轨迹,由客户提供细致评分标准,再训练评分器,将判断推广到更大范围。这是他对方法的示例性说明;访谈未给出推广后的评分误差或覆盖条件,不能直接换算成已经证实的百倍效率提升。
从这些实施条件看,企业定制模型的机会,在于把已有业务经验变成可重复使用的训练和评估材料。对准备尝试的平台客户而言,能否记录完整任务过程、重现关键条件并稳定判断结果质量,将影响训练入口简化之后究竟能获得多少收益。Malde 所描述的当前产品,距离在实际使用中自主、持续更新的目标,仍有这些具体环节需要打通。
参考来源:
