跳到正文
Hugging Face Blog·· 2024-07-18AI 评分58

Hugging Face TGI 推出 Multi-LoRA serving:一次部署可服务 30 个模型

TGI Multi-LoRA: Deploy Once, Serve 30 Models

AI 导读

Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能,可在单次部署一个基座模型(如 mistralai/Mistral-7B-v0.1)后,根据请求携带的 adapter_id 动态选择对应 LoRA adapter,实现一次部署服务多个微调模型。

来源:Hugging Face Blog · huggingface.co