推論
もっと見る 推論
ホーム
vLLM x Novita AI：Chord、Kimi K2.x 向けのより高速な INT4 MoE。H200 で最大 1.3 倍、未調整の B300 で 2.15 倍の向上
Novita AIがChordをオープンソース化、W4A16 MoE CUDAカーネル群。公開されているHummingと比較し、層ごとの実測でH200ではレイテンシ最大1.33倍削減、未チューニングのB300では最大2.15倍削減。
Jevが構造化出力を再び面白くする
著者は、Jevの価値は主にモデル自体ではなく推論戦略にある可能性があると考えている。返信をchoiceフィールドに事前入力し、制約されたトークンを1つだけ生成すれば、どのLLMでも「秘密のレシピ」の大部分を得られる——彼はQwen2.5-1.5Bで2〜3倍の高速化を試し出した。
推論のボトルネックを回避：Retrieve-for-Train で複雑な AI 検索を高速化
Google Research の Retrieve-for-Train は、軽量な拡散モデルを強化学習で一度だけ訓練し、 推論時の思考予算を迂回して一貫した fan-out 検索結果を 1 回の順伝播で生成する。
HF Jobs上でLoRAを使った非同期GRPO：バケット1つ、プロキシ1つ、NCCL不要
AsyncGRPOTrainer が rank-1 LoRA adapter だけを学習・同期し、HF Jobs 間は NCCL ではなく Storage Bucket 経由。500 ステップの学習が 3 時間 27 分から 53 分に短縮。
System Oneモデルでプログラミングする2つのテクニック
著者はQwen3-8BをSystem One分類器として接続した後、2つの手法を試した。階層的目標（10秒ごとに戦略、5秒ごとに戦術、200ミリ秒ごとに実行）とトーナメントサンプリング（一度に100個のリンクを2ラウンドで選別）で、後者はWikiracingで理想的な3リンク経路を見つけた。
GB300 NVL72でKimi-K3最速のDSparkをどう訓練したか
vLLMがSpeculatorsトレーニングライブラリを2.8兆パラメータのKimi K3対応に拡張：4ビット量子化ターゲットモデルに5層・50億パラメータのDSparkドラフトモデルを組み合わせ、数学推論の単一ストリーム対話性が約110から約435 tok/s/userに向上、同時実行時に同じ対話性で出力スループットが最大約3.5倍、初回トークン中央値は100ミリ秒のみ増加。
あなたのエージェントは今回満点で合格したが、次回もそうなるだろうか？
IBM Researchがエージェントの「一貫性」を診断：GPT-4.1のReActエージェントはAppWorldで平均77.4%合格だが、5回すべて合格したタスクは53.0%のみで、24.4ポイントの差。彼らは1回のサンプリングで覆りやすい意思決定点を見つけ、一貫性基準を生成し、差を12.0ポイントまで削減、平均精度は落ちなかった。
Jev はテキストを生成せず、確率だけを出力する。「ひとつの判断」を API にした製品が解こうとしている問題を、実際に試してみた
TypeSafe AI の Jev は、モデルの出力を文字列から確率付きの型付き判断に置き換え、その確率は「キャリブレーション済み」だと主張している。この前提を裏付ける証拠は誰も出していない——そこで我々は、確定した答えのある229件の主張を用意し、通常の LLM の確信度が自動化に使えるのかを測った。