跳到正文
Hugging Face Blog·· 2025-05-21AI 评分55

Hugging Face Diffusers 量化后端实测对比:BnB、torchao、Quanto、GGUF 与 FP8

Exploring Quantization Backends in Diffusers

AI 导读

Hugging Face 官方博客以 Flux-dev(BF16 加载约 31.447 GB)为例,实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。

来源:Hugging Face Blog · huggingface.co