AWS 博客讲解 vLLM 双向 KV 传输降低 TTFT

AWS 在机器学习博客中介绍 vLLM 的双向 KV cache 传输功能：在多轮对话中，prefill 节点可跨轮次复用 decode 节点保留的 KV cache，减少重复 prefill 计算。AWS 称其在 EC2 P5en 实例的 1P1D 部署上做多轮基准测试，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍，结果取决于负载与部署配置。 该功能需 vLLM v0.21.0 及以上版本配合 NixlConnector，在 prefill 与 decode 服务器上都启用 bidirectional_kv_xfer，并使用 KV 感知路由器。decode 节点按可配置时长（decoder_kv_blocks_ttl，默认 480 秒）保留 KV 块并公布其位置与过期时间；kv_recompute_threshold 默认 64 tokens，用于控制是否重算。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。