32GB Mac 上流式运行 180B MoE 模型
热点事件持续更新
32GB Mac 上流式运行 180B MoE 模型
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
Hugging Face 工程师 Tarek Ziade 称,通过 Transformers PR #50717,可在 32GB 内存的 MacBook M5 上把 MoE 模型的专家权重从 SSD 流式读入,从而运行 Qwen3.8-Flash-Next 这类 180B 级 MoE 模型。该 PR 尚未合入,API 仍在与 Transformers 维护者讨论中,用户需从该 PR 分支安装才能尝试。 实测速度约 14 token/s,接近 Strata,但作者称对其使用编码代理的场景仍太慢;32GB 内存也接近上限,需关闭浏览器否则 macOS 开始交换。
AI 根据报道生成 · 3 小时前更新
最新进展11月18日 08:00
Hugging Face 博客:用 Transformers 在 32GB Mac 上流式运行 180B MoE 模型报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hugging Face Blog精选Hugging Face 博客:用 Transformers 在 32GB Mac 上流式运行 180B MoE 模型
Hugging Face 博客介绍作者在 32GB 内存的 MacBook M5 上,通过 Transformers PR #50717 实现 MoE 专家从 SSD 流式读取。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。