Today for AI
返回热点榜
tools热度 0.0°

AI 聚合热点事件 · 2026/10/20

vLLM 引入推送式 KV 传输优化分离推理延迟

2 篇收录报道0 家独立信源交叉印证持续跟踪至 2026/10/20 00:05:17
全景综述与最新动态

vLLM 推出基于 NIXL 连接器的推送式 KV 缓存传输机制，旨在解决预填充与解码分离架构中的通信瓶颈。该方案通过 RDMA 技术直接推送数据，显著降低首 Token 时间（TTFT）和每输出 Token 时间（TPOT），提升大规模 LLM 服务效率。

最新动向/vLLM 推出基于 NIXL 连接器的推送式 KV 缓存传输机制，旨在解决预填充与解码分离架构中的通信瓶颈。该方案通过 RDMA 技术直接推送数据，显著降低首 Token 时间（TTFT）和每输出 Token 时间（TPOT），提升大规模 LLM 服务效率。

报道时间线

共 2 篇 · 最新优先
  1. AWS Machine Learning BlogT1·68 分

    vLLM 引入推送式 KV 传输优化分离推理延迟

    原标题：Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

    • 采用推送模式替代传统拉取模式，利用 RDMA 加速 KV 缓存从预填充实例到解码实例的传输。
    • 有效降低 TTFT 和 TPOT，提升预填充-解码分离架构下的资源利用率与服务吞吐量。