vLLM推出基于推送的NIXL KV传输连接器

AWS与vLLM社区推出基于推送（push）的NIXL KV传输连接器，将prefill后的传输协调与设置移出关键路径，以降低TTFT和TPOT。Sunita Nadampalli介绍了该设计与基准结果。 在1P1D部署（Amazon EC2 P5en实例、EFA互联、Qwen3-32B模型）的基准测试中，push模式相比pull模式TTFT最高提升3倍、TPOT最高提升30%。使用时需将prefill和decode服务器均配置为NixlPushConnector替代NixlConnector。 AWS称，push连接器适用于可提前选定decode节点、且优先降低TTFT的场景；pull连接器仍更适合需要双向KV传输或在prefill后再选择decode实例以做负载感知路由的工作负载。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。