Hugging Face Blog·· 2025-06-03精选AI 评分61
TRL 支持 vLLM 共置模式,GRPO 训练提速最高 1.73×
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
AI 导读
Hugging Face 在 TRL 中通过 PR #3394 引入 vLLM colocate 模式,让训练与推理共享同一组 GPU、在同一进程组内轮流执行,取代此前需要独立 GPU 和 HTTP 通信的 server 模式。
推荐理由
原文给出 colocate 模式的实测加速数据和踩坑清单,可帮助判断何时该从 server 模式迁移。
来源:Hugging Face Blog · huggingface.co