Chris Setian

LLM評価のスループットを20倍に向上させた方法

ボトルネックは計算能力でもレート制限でもなく、p90の82%の時間がコンテナを待っていることだった。Mercorは10秒ごとに実行されるCompute Schedulerを使い、静的FIFOキューを優先度・プロジェクト公平性・先入先出の3段階ルールでグローバルワークプールを割り当てる方式に置き換え、スループットが20倍に増えた。