Isaac Tai

从零开始的分离式推理

Cerebras 把 prefill 与 decode 拆到不同硬件上：算术强度不同、调度目标也不同，分开后同样的硬件量下吞吐提升 5 倍、生成速度不降。文章从矩阵乘法讲到 KV 传输与异构分离的选型。