Hugging Face Blog·· 2023-12-05AI 评分56
Hugging Face 让 LoRA 推理提速 300%,冷启动从 25s 降到 3s
Goodbye cold boot - how we made LoRA Inference 300% faster
AI 导读
Hugging Face 在 Inference API 中实现 LoRA 动态加载,保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器,把预热时间从 25s 降到 3s,用户响应时间从 35s 降到 13s,用不到 5 张 A10G 即可服务数百个不同 LoRA。
来源:Hugging Face Blog · huggingface.co