Sunita Nadampalli (AWS)

利用 vLLM 中的双向 KV 传输优化多轮 Agent 工作负载的 TTFT

双向 KV 传输让 vLLM 的 prefill 节点在后续对话轮次里复用 decode 节点先前算好的 KV，省掉重复的 prefill 重算，长多轮提示下 TTFT 最多降低 3.3 倍。