vLLM在一篇技术文章中报告,运行DeepSeek-V4.1-Flash时,在131K上下文、nextn=3、批量大小8至256的解码配置下,其GB200测试吞吐与DeepSeek专用推理引擎DeepInfer公布结果的差距在6%以内。这一比较限于上述配置,不能外推为所有场景下两款引擎等速。

据vLLM介绍,这项工作由Inferact牵头。DeepInfer最初基于vLLM构建,vLLM也持续集成DeepSeek开源的MegaAttn、MegaMoE和Mega-mHC等算子,并优化周边软件栈。两者的定位有所不同:DeepInfer面向单模型离线推理,文章中的vLLM配置还承担整柜在线服务。

整柜测试展示了另一种能力。vLLM报告,在一整柜NVIDIA GB300 NVL72上,采用预填充与解码分离、Wide-EP运行该模型,在SemiAnalysis AgentX测试中达到每GPU每秒95.4万token,同时达到P90每用户每秒196 token。这里的95.4万统计包含缓存输入、未缓存输入和输出token,不能理解为每GPU每秒生成95.4万个输出token。

预填充是处理输入的阶段,解码是生成输出的阶段;将两者分开部署,可以分别调整配置。Wide-EP则把专家并行扩展到更多GPU。vLLM的测试也显示,扩大并行规模的收益会逐渐受到其他环节限制。

在启用专家负载均衡、128K上下文、每GPU64个请求的测试中,vLLM将并行规模从DEP4扩大到DEP32,目标模型MegaMoE耗时由13.4毫秒降至6.0毫秒,但其余工作仍约需10毫秒。团队称,每GPU吞吐的增益因此逐渐减小;到了DEP32,草稿模型的通信开销也开始抵消更宽并行带来的收益。DEP表示数据并行注意力与专家并行的组合,后面的数字表示GPU数量。

CPU调度也可能抵消GPU端的加速。vLLM观察到,未经优化的DEP32每步耗时17.57毫秒,慢于DEP16的13.84毫秒,尽管前者的GPU执行时间快了1.1毫秒。团队随后处理了KV传输、CPU同步和请求接入等开销,同时提醒,各项修复的效果来自不同测试配置。

追求单用户响应速度时,团队采用了另一套配置。vLLM报告,专用低延迟解码路径在四张B300 GPU上的单用户AgentX会话中,达到P90每用户每秒826 token,比标准路径的575 token高44%。这与整柜测试的吞吐和每用户速度属于不同配置,不能合并成同一组性能成绩。

与DeepInfer的预填充比较也有明确边界。vLLM说明,双方的硬件信息、并行配置、冗余专家数量、replay长度及提示词存在差异,因此不能把两条曲线的差距解读为引擎间加速比。

这些结果支持一个工程判断:通用推理引擎吸收模型专用算子后,仍需围绕部署规模调整通信、负载均衡和调度,才能把GPU计算收益转化为服务性能。对部署者而言,单用户速度与高并发吞吐需要分别评估;上述项目方报告还不足以确认实际部署成本或生产稳定性会同步改善。

参考来源: