Hugging Face Blog·· 2023-10-24AI 评分55
Hugging Face 分享 SDXL 推理的显存与速度优化方法
Exploring simple optimizations for SDXL
AI 导读
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化,未优化管线需 28GB 显存、耗时 72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
来源:Hugging Face Blog · huggingface.co