跳到正文
Hugging Face Blog·· 2024-04-03AI 评分44

用 🤗 Optimum Intel 在 Xeon 上实现 7.8 倍加速的 SetFit 推理

Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon

AI 导读

Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍,通过 Intel Neural Compressor 对模型主体做 post-training static quantization(PTQ)即可实现。

来源:Hugging Face Blog · huggingface.co