使用PyNvVideoCodec和vLLM扩展多GPU视频字幕生成
vLLM 集成 PyNvVideoCodec 硬件解码，视频描述吞吐量在 8 块 GPU 节点上仍可线性扩展。
vLLM Team
首页
vLLM x Novita AI：Chord，为 Kimi K2.x 打造的更快 INT4 MoE。在 H200 上最高提升 1.3 倍，在未调优的 B300 上提升 2.15 倍
Novita AI 开源了 Chord，一套 W4A16 MoE CUDA 内核。与公开的 Humming 相比，逐层实测在 H200 上延迟最多降低 1.33 倍，在未调优的 B300 上最多降低 2.15 倍。
我们如何用 GB300 NVL72 训出 Kimi-K3 最快的 DSpark
vLLM 把 Speculators 训练库扩展到支持 2.8 万亿参数的 Kimi K3：用 4 位量化的目标模型配一个五层、50 亿参数的 DSpark 草稿模型，数学推理单流交互性从约 110 提到约 435 tok/s/user，并发下相同交互性时输出吞吐最高约 3.5 倍，首 token 中位数只涨 100 毫秒。