跳到正文
Hugging Face Blog·· 2 天前精选AI 评分61

Hugging Face 博客:用 Transformers 在 32GB Mac 上流式运行 180B MoE 模型

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

Hugging Face 博客介绍作者在 32GB 内存的 MacBook M5 上,通过 Transformers PR #50717 实现 MoE 专家从 SSD 流式读取。

推荐理由

原文逐一对比了主流引擎的 MoE offload 策略并给出实测数据,可迁移的是 slot pool 缓存与专家流式读取的实现思路。

来源:Hugging Face Blog · huggingface.co