跳到正文
热点事件持续更新

32GB Mac 上流式运行 180B MoE 模型

1 篇报道1 个报道来源20 小时前更新

先了解这件事

AI 综述

Hugging Face 工程师 Tarek Ziade 称,通过 Transformers PR #50717,可在 32GB 内存的 MacBook M5 上把 MoE 模型的专家权重从 SSD 流式读入,从而运行 Qwen3.8-Flash-Next 这类 180B 级 MoE 模型。该 PR 尚未合入,API 仍在与 Transformers 维护者讨论中,用户需从该 PR 分支安装才能尝试。 实测速度约 14 token/s,接近 Strata,但作者称对其使用编码代理的场景仍太慢;32GB 内存也接近上限,需关闭浏览器否则 macOS 开始交换。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hugging Face Blog精选
    Hugging Face 博客:用 Transformers 在 32GB Mac 上流式运行 180B MoE 模型

    Hugging Face 博客介绍作者在 32GB 内存的 MacBook M5 上,通过 Transformers PR #50717 实现 MoE 专家从 SSD 流式读取。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。