Hugging Face Blog·· 2 天前精选AI 评分61
Hugging Face 博客:用 Transformers 在 32GB Mac 上流式运行 180B MoE 模型
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
Hugging Face 博客介绍作者在 32GB 内存的 MacBook M5 上,通过 Transformers PR #50717 实现 MoE 专家从 SSD 流式读取。
推荐理由
原文逐一对比了主流引擎的 MoE offload 策略并给出实测数据,可迁移的是 slot pool 缓存与专家流式读取的实现思路。
来源:Hugging Face Blog · huggingface.co