Hugging Face Blog·· 2025-01-16AI 评分55
Hugging Face 为 TGI 引入多后端架构，支持 TRT-LLM 与 vLLM
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
AI 导读
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构，通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案，让用户按模型、硬件和性能需求切换后端。
来源：Hugging Face Blog · huggingface.co