Hugging Face Blog·· 2024-01-30AI 评分47
用 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AI 导读
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码（assisted generation）将 StarCoder-15B 推理加速 7 倍以上。
来源：Hugging Face Blog · huggingface.co