Hugging Face Blog·· 2023-12-05AI 评分55
Hugging Face 发布 Optimum-NVIDIA 推理库，单行代码改动提速 LLM 推理
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code
AI 导读
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 即可获得最高 28x 吞吐提升和 1,200 tokens/second 的推理速度。
来源：Hugging Face Blog · huggingface.co