跳到正文
原文
Hugging Face Blog·· 2025-06-03精选AI 评分61

TRL 支持 vLLM 共置模式,GRPO 训练提速最高 1.73×

No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL

AI 导读

Hugging Face 在 TRL 中通过 PR #3394 引入 vLLM colocate 模式,让训练与推理共享同一组 GPU、在同一进程组内轮流执行,取代此前需要独立 GPU 和 HTTP 通信的 server 模式。

推荐理由

原文给出 colocate 模式的实测加速数据和踩坑清单,可帮助判断何时该从 server 模式迁移。

来源:Hugging Face Blog · huggingface.co