Isaac Tai

ゼロからの分離型推論

Cerebras は prefill と decode を異なるハードウェアに分離：演算強度が異なり、スケジューリング目標も異なるため、分離後は同じハードウェア量でスループットが5倍向上し、生成速度は低下しない。記事は行列積から KV 転送と異種分離の選定までを解説。