Cartesia Research在2026年10月28日发布的《From Tokens to Bytes》系列文章中,公布了层级网络H-Net的新一轮缩放实验。团队报告,在单阶段受控比较中,H-Net达到相同验证损失、相同OLMES评测损失的计算效率分别为BPE基线的1.28倍和2.06倍。这些结果来自训练计算量的缩放拟合,尚不能直接说明实际训练时间或费用能节省多少。
H-Net改变的是语言模型读取文本的方式。传统BPE分词先把字节组合成固定词表中的token,再交给模型处理;Cartesia介绍,H-Net直接读取字节,把随内容和上下文变化的分块过程放进模型内部,与其余网络一起端到端学习。主干网络处理压缩后的块,分块本身也成为训练的一部分。
为检验这一变化的效果,Cartesia在单阶段实验中保留相同的Transformer主干架构,并将H-Net外层编码、解码网络与BPE基线分词相关层的总参数量及FLOPs匹配。团队还通过辅助损失,把H-Net的压缩率匹配到BPE基线的每单元4.57字节,尽量控制序列缩短程度带来的差异。
这里的“计算效率倍数”比较的是达到相同损失所需的训练浮点运算量(FLOPs)。Cartesia采用相同计算预算下的多组训练实验,拟合计算最优前沿;其中,OLMES下游评测使用模型赋予正确答案的每字节比特数(bpb)衡量损失,并非任务答对率。因此,2.06倍不能读成答对率翻倍,也不能直接换算成推理加速。
值得关注的是,下游评测损失上的计算优势大于预训练验证损失上的优势。一个可能的解释是,输入如何分块,会影响预训练所得能力向下游任务的迁移;这仍是对团队实验结果的解释。Cartesia另做了边界消融,报告模型内部端到端学习边界优于使用预训练H-Net提供的冻结边界;对照中未计入代理模型的训练及生成边界所需FLOPs。
对模型开发者而言,这组结果提示:分词和输入表示值得与主干架构一起优化。但现有证据仍集中在预训练,Cartesia将后训练收益留待未来研究;文章使用的改进版H-Net也仍被描述为计划发布。能否把拟合中的计算优势转化为可复现的训练和部署收益,是判断这一路线实用价值的下一步。
参考来源:
