跳到正文
Hugging Face Blog·· 2025-03-28AI 评分47

TGI 原生集成 Intel Gaudi 硬件支持

🚀 Accelerating LLM Inference with TGI on Intel Gaudi

AI 导读

Hugging Face 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference (TGI)(PR #3091),取代此前独立的 tgi-gaudi fork,基于 TGI 多后端架构直接支持 Gaudi1/2/3。

来源:Hugging Face Blog · huggingface.co