微软 10 月 12 日公布 Azure Maia 300 推理系统的设计,计划于 2027 年开始生产部署,并从同年起扩大 Maia 系列的部署规模。微软预计,Maia 300 每兆瓦可交付的 token 数比其所称的领先 GPU 系统多 40%;这一比较目前是厂商预期,所给材料没有可独立复核的对比测试。
这次发布将重点放在整套推理系统,而不只是单颗芯片。微软称,Maia 300 面向长上下文推理、对响应速度敏感的对话,以及持续多步运行的智能体任务。这些负载需要处理较长的输入、保留计算中的上下文,并在多次模型调用之间协调资源。对云服务而言,芯片性能之外,内存、网络与机架供电也会影响能在给定功率下处理多少请求。
微软公布的设计规格显示,单个 Maia 300 加速器配备 8 组 HBM4 高带宽内存,峰值内存带宽为 18.0 TB/s,热设计功耗为 950 W。完整机架在 167 kW 功率范围内容纳 96 个加速器。热设计功耗是芯片设计规格,机架功率范围则涉及整套设备;两者不能当作同一种功耗口径,用来直接推算实际服务的每兆瓦 token 产出。
为减少推理时的数据搬运,微软在架构说明中称,Maia 300 将跨芯粒内存改为注重数据局部性的非统一内存访问设计,使软件能把数据放在使用它的计算单元附近;较窄精度的数据格式则用于减少每个 token 所需移动的数据量。这解释了微软为何强调系统效率,但设计方法本身不等于具体负载下的实测收益。
另一项比较针对微软自己的上一代系统:微软称,在配齐 96 个加速器的配置下,Maia 300 的机架级 token 吞吐量最高可达 Maia 200 的 7 倍。这里的分母是 Maia 200 机架级吞吐量,既不是与 GPU 系统的比较,也不能与前述每兆瓦 40% 的预期增幅混为一谈。机架数量与每兆瓦产出分别回答容量和能效问题,要判断服务体验,还需同时看模型、负载与响应要求。
Maia 200 已进入微软的生产环境。微软称,它正在承载包括 Microsoft Copilot 在内的负载,并支持其 MAI 团队开发下一代模型;GitHub Copilot 和 Microsoft Foundry 则被列为此后接入的服务。Maia 300 的状态不同:微软给出的是 2027 年开始生产部署的计划,不能把 Maia 200 的在用情况视为新一代系统已经上线。
每兆瓦 token 产出并非微软独有的评价角度。英伟达讨论智能体推理时,也把单位功率吞吐量与响应速度、首个 token 到达时间等用户体验指标放在一起报告。不过,两家公司文章中的数字不能据此拼接成跨厂商排名。对于 Maia 300,40% 的预期优势能否兑现,仍取决于在相同模型、负载、延迟目标及功率统计边界下的比较;目前的资料不足以据此判断它会降低微软服务成本,或改变 GPU 的实际采购需求。
参考来源:
