使用PyNvVideoCodec和vLLM扩展多GPU视频字幕生成
vLLM 集成 PyNvVideoCodec 硬件解码，视频描述吞吐量在 8 块 GPU 节点上仍可线性扩展。
推理
更多 推理
首页
推出 Gemini 3.8 Live 和 3.8 Live Extended Thinking
Gemini 3.8 Live 与 Extended Thinking 发布，语音交互支持复杂推理、实时视觉与后台任务而不打断对话。
vLLM x Novita AI：Chord，为 Kimi K2.x 打造的更快 INT4 MoE。在 H200 上最高提升 1.3 倍，在未调优的 B300 上提升 2.15 倍
Novita AI 开源了 Chord，一套 W4A16 MoE CUDA 内核。与公开的 Humming 相比，逐层实测在 H200 上延迟最多降低 1.33 倍，在未调优的 B300 上最多降低 2.15 倍。
Jev 让结构化输出重新变得有意思
作者认为 Jev 的价值可能主要在推理策略而非模型本身：把回复预填成 choice 字段、再只生成一个受约束的 token，任何 LLM 都能拿到大部分「秘密配方」——他用 Qwen2.5-1.5B 试出了 2 到 3 倍加速。
绕过推理瓶颈：用 Retrieve-for-Train 加速复杂 AI 搜索
Google Research 提出 Retrieve-for-Train，用强化学习训练轻量级扩散模型，绕过推理期思考预算，单次前向即可生成连贯的 fan-out 搜索结果。
在HF Jobs上使用LoRA进行异步GRPO：一个存储桶、一个代理，无需NCCL
AsyncGRPOTrainer 只训练并同步 rank-1 LoRA adapter，跨 HF Jobs 走 Storage Bucket 而不是 NCCL，500 步训练从 3 小时 27 分压到 53 分。
用 System One 模型编程的两种技巧
作者把 Qwen3-8B 接成 System One 分类器后试出两招：分层目标（每十秒定战略、每五秒定战术、每 200 毫秒执行）与锦标赛采样（一次喂一百个链接分两轮选），后者在 Wikiracing 里找到了理想的三链接路径。
我们如何用 GB300 NVL72 训出 Kimi-K3 最快的 DSpark
vLLM 把 Speculators 训练库扩展到支持 2.8 万亿参数的 Kimi K3：用 4 位量化的目标模型配一个五层、50 亿参数的 DSpark 草稿模型，数学推理单流交互性从约 110 提到约 435 tok/s/user，并发下相同交互性时输出吞吐最高约 3.5 倍，首 token 中位数只涨 100 毫秒。
你的智能体这次满分通过，下次还会吗？
IBM Research 给智能体的「一致性」做诊断：GPT-4.1 的 ReAct 智能体在 AppWorld 上平均 77.4% 通过，但五次全过的任务只有 53.0%，差 24.4 个百分点。他们用一次采样找出容易翻盘的决策点、生成一致性准则，把差距砍到 12.0 个点，平均准确率不降。
Jev 不生成文本，只输出概率：把「一个判断」做成 API，我们实测了它要解决的那个问题
TypeSafe AI 的 Jev 把模型输出从字符串换成带概率的类型化判断，还声称概率是「校准」过的。这个前提没有人给过证据——我们拿 229 条有确定答案的声明，量了普通 LLM 的置信度到底能不能用来做自动化。