Hugging Face Blog·· 2023-09-12AI 评分55
Hugging Face Transformers 原生支持的量化方案对比：bitsandbytes 与 auto-gptq
Overview of natively supported quantization schemes in 🤗 Transformers
AI 导读
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣，并给出推理与微调的基准测试。
来源：Hugging Face Blog · huggingface.co