Hugging Face联合创始人Thomas Wolf于2026年11月5日宣布,团队发布《The Ultimate MoE Training Handbook》,并称手册免费开放。这份混合专家模型(MoE)训练指南已提供Hugging Face Spaces阅读入口。
据Wolf介绍,手册从训练团队遇到的具体问题出发:专家数量和大小如何选择,是否设置共享专家,如何处理all-to-all通信的耗时,以及怎样排查日志没有报错、运行却异常缓慢的情况。
路由与训练方法也是讨论重点。Wolf列出的内容包括softmax、sigmoid和sqrt(softplus)路由器的选择、路由计算使用fp32精度,以及辅助损失与DeepSeek无辅助损失偏置方法的取舍。手册还讨论从稠密模型检查点改造MoE还是从头训练,以及推理时能否比训练时为每个token启用更少的专家。
Wolf称,手册包含55幅交互图、可运行代码和团队自身实验的数据。Hugging Face官方Spaces列表也列出了收录手册全部55幅图的配套图库。不过,目前可读取的手册入口仅显示元数据加载提示,尚无法核验具体实验设置与结果。这份发布介绍提供了可供训练团队查阅的问题目录,尚不足以据此判断某种配置更优,或量化采用这些方法后的成本与速度变化。
参考来源:
