Sunita Nadampalli (AWS)

vLLM の双方向 KV 転送でマルチターン Agent ワークロードの TTFT を最適化する

双方向 KV 転送により、vLLM の prefill ノードは後続の会話ターンで decode ノードが以前に計算した KV を再利用でき、冗長な prefill 再計算を削減して、長いマルチターンプロンプトで TTFT を最大 3.3 倍下げる。