我们如何把 LLM 评估吞吐量提升 20 倍
瓶颈出在 p90 有 82% 的时间在等容器，算力和限流都不是原因。Mercor 用一个每 10 秒跑一次的 Compute Scheduler，把静态 FIFO 队列换成按优先级、项目公平、先入先出三级规则分配全局工作池，吞吐量涨了 20 倍。
Chris Setian
首页瓶颈出在 p90 有 82% 的时间在等容器，算力和限流都不是原因。Mercor 用一个每 10 秒跑一次的 Compute Scheduler，把静态 FIFO 队列换成按优先级、项目公平、先入先出三级规则分配全局工作池，吞吐量涨了 20 倍。