vLLM の双方向 KV 転送でマルチターン Agent ワークロードの TTFT を最適化する
双方向 KV 転送により、vLLM の prefill ノードは後続の会話ターンで decode ノードが以前に計算した KV を再利用でき、冗長な prefill 再計算を削減して、長いマルチターンプロンプトで TTFT を最大 3.3 倍下げる。
AWS
もっと見る AWS
ホーム
AWS TrainiumはNVIDIAなしでリアルタイムAI動画生成を実行：NKIカーネル操作マニュアルが公開
AWS Trainium 上でリアルタイムAI動画モデルが初めて動作：3D-RoPEカーネルが2778倍高速化、5秒から1.8ミリ秒に短縮。
AWS Elastic Beanstalk がクラスタモードを開始
AWS Elastic Beanstalk がフルマネージドの Cluster Mode を発表、Amazon EKS を基盤に複数のアプリでインフラを共有し、アプリ構成が大きいほどアプリ単位のコストが下がる。