Janelle Cai

如何为万亿参数编程 agent 服务数万亿 token

Modal 的工程团队拆解如何为万亿参数的编程 agent 服务数万亿 token：从推理基础设施、token 缓存到调度与批处理，逐层讲清支撑这一规模的做法。