Charles Frye

在一颗GPU上通过结合查询规划器和推理引擎达到每分钟十亿个token

Modal 与 CMU 的团队把查询规划器和推理引擎合到同一张 GPU 上，让 AI-SQL 跑到每分钟十亿 token；文章讲了现成推理引擎在这类负载上为什么会浪费算力。