AWS Machine Learning Blog· Mona Mona·· 2026-10-13AI 评分45
Amazon SageMaker AI 上的 Mixture-of-Experts kernel 工程优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 团队介绍了针对 fused MoE 模型的 kernel 优化方案，其中 Swap-AB 技巧在 H200 上为大规模 MoE 模型带来 2–4% 的端到端输出吞吐提升，已上游至 vLLM 0.24.0 及之后版本。
来源：AWS Machine Learning Blog · aws.amazon.com