跳到正文
Hugging Face Blog·· 13 小时前精选AI 评分74

PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 更新:FP8(torch.float8_e4m3fn)登陆 Mac,可用 F.scaled_mm 直接做缩放矩阵乘法,占用内存为 BF16 的一半。

推荐理由

原文用具体吞吐和内存数字说明了 MPS 后端在 Mac 上的能力变化,读者可据此判断本地推理与视频生成工作流的可行性提升。

来源:Hugging Face Blog · huggingface.co