Charles Frye

1つのGPU上でクエリプランナーと推論エンジンを組み合わせることで毎分10億トークンを達成

ModalとCMUのチームは、クエリプランナーと推論エンジンを同じGPU上に統合し、AI-SQLを毎分10億トークンで実行できるようにした。記事では、既製の推論エンジンがこの種のワークロードでなぜ計算資源を無駄にするのかを解説している。