Hugging Face Blog·· 3 小时前精选AI 评分62
Ai2 用 GPU 时间预算重构集群调度器
Impactful scheduling for GPU clusters
AI 导读
Ai2 团队用 GPU 时间预算、层级公平份额分配和时间片合约取代了原有的优先级调度器,把 GPU 时间分配从逐案协商变成透明的预算流程。新系统要求每个请求由预算支撑,配合 7 天回看窗口的公平份额排序和 8 小时最小运行时保护,30 天测试期内团队拿到了 98% 应得 GPU 小时,集群占用率保持 98%,调试任务 p90 等待时间从 2 小时降到 30 秒,需人工介入的维修下降 74%。
推荐理由
原文完整拆解了从优先级调度到预算制调度的迁移过程与量化收益,可迁移性强。
来源:Hugging Face Blog · huggingface.co