AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分56
vLLM 推出基于推送的 NIXL KV 传输连接器以降低 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 与 vLLM 社区推出基于推送（push）的 NIXL KV 传输连接器，将 prefill 后的传输协调与设置移出关键路径，降低 TTFT 和 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com