Hugging Face Blog·· 2023-05-24精选AI 评分88
Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 与 bitsandbytes 再次合作，在 transformers 中支持以 4-bit 精度运行大部分 HF 模型（含文本、视觉、多模态），并可基于 4bit 模型训练适配器，对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由
原文给出 4bit 加载的具体参数配置与显存实测对照，读者可据此在消费级显卡上复现微调方案。
来源：Hugging Face Blog · huggingface.co