Hugging Face Blog·· 2023-05-16AI 评分44
Q8-Chat：在 Xeon 上实现高效生成式 AI 体验
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
AI 导读
Hugging Face 与 Intel 推出 Q8-Chat，基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行，模型体积缩小约 2 倍且精度基本无损。
来源：Hugging Face Blog · huggingface.co