Hugging Face 博客解读 MoE 在 transformers 中的工程实现

Hugging Face 官方博客介绍 Mixture of Experts (MoE) 的原理及其在 transformers 库中的工程支持。文章以 gpt-oss-20b 为例说明总参数与激活参数的区别（21B 总参数、每 token 激活约 3.6B），并给出 M3 Ultra 上约 115 tok/s 的实测速度。