Clefの紹介：オープンソースの意思決定モデルと新しいRL微調整プラットフォーム
Cloudflare がエッジで動くほど小さな意思決定モデル群をオープンソース化：LLM のように自由に文章を生成するのではなく、与えられた問題に対して有界な構造化判断（確率、選択肢、スコア）を出力し、高速で安価かつ再現可能。記事では Jev との違いを比較し、新しい RL 微調整サービスを紹介。
日本語
コピー
Clef の紹介：オープンソースの意思決定モデルと新しい RL ファインチューニング基盤
ここ数週間、意思決定モデルをめぐる議論が増えている。たとえば Typesafe AI の Jev の System One モデルだ。分類器モデル自体は以前からあるが、Jev は AI の世界に新しい意思決定モデルという概念を持ち込んだ。低コストで高速、かつ一貫した有界の構造化出力を生成し、意思決定が必要な場面でワークフローに組み込めるモデルである。汎化能力が十分に高く、新しい分類カテゴリを追加するたびに再トレーニングしなくても、任意の入力集合を扱える。これは LLM と対照的だ。LLM は基本的に非決定的だが、その代わりに開放性が高く、推論やテキスト生成、ツール呼び出しができ、agentic なワークロードに向く。本日、Cloudflare がトレーニングした意思決定モデル Clef と Clef-flash をリリースする。Workers AI 上でホストしている。Jev Decision Index の評価では Clef が現在 1 位で、全結果はライブベンチマークのデモサイトで確認できる。この 2 つのモデルはより賢く、より速く、Jev API と完全に互換しているので、ホスト版をすぐに試せる。モデルは Hugging Face 上で Apache 2.0 ライセンスのもと完全にオープンソース化しているので、ローカルで動かして自分で実験することもできる。
最後に、新しい強化学習（RL）製品を発表する。これを使えば、顧客は Clef を自分のユースケース向けにファインチューニングできる。
意思決定モデルとは何か
意思決定モデルはある確率に基づいて分類を行い、agent がどう行動すべきかの判断を助ける。たとえば顧客対応のメッセージを渡し（入力）、それが緊急かどうか、どのチームが対応すべきかを尋ねる。意思決定モデルは確率付きの型付きの答えを返し（出力）、コードはそれに基づいてチケットを転送したり、エスカレーションを発火したり、人間に引き継いだりできる。つまり agentic な意思決定に必ずしも人間を介在させる必要はなくなり、agent はプログラム的にコンテキストを集め、判断を下し、タスクに働きかけ、必要なら人間に引き継げる。
Cloudflare の場合、Threat Intelligence チームに新しい Clef モデルを試してもらい、ウェブサイトのドメイン分類を手伝ってもらっている。ドメインを Clef に渡すと（Browser Run と組み合わせて）、そのドメインがどのカテゴリに属するかを素早く判定する。たとえばあるドメインを 95% の確率でファッションサイト、85% で EC、1% 未満でフィッシングサイト、といった具合だ。この分類では、Clef モデルがサイトを取得・レンダリング・分類するまでに合計 2.2 秒かかった。これに対し、最速の汎用 LLM である gpt-oss-120b は同じ処理に 4.7 秒かかり、しかも返した分類結果は 2 つだけだった。ユーザーとして想像してほしい。遅延も結果も半分になれば、脅威インテリジェンスのワークフローを改善し、悪意あるドメインや正規のドメインをより速く見分けられる。これを、プログラムによる素早い意思決定が必要なあらゆる場面に広げれば、自律的に判断し、推論し、実行する強力な agentic ワークフローが手に入る。
楽典において clef（音部記号）とは、楽譜の冒頭に置かれ、五線の線と間に具体的な音高の名前を割り当てる記号だ。意思決定モデルはこの音部記号に似ている。コンテキストの範囲と、その後に続く音符（行動）を定める役割を担うからだ。この意思決定モデルのシリーズを Clef と名付けたのは、まさにその役割にちなんでいる。CF は Cloudflare を指す。
Clef は他の意思決定モデルと何が違うのか
意思決定モデルの市場は飽和しつつあるが、それでも Clef には独自の点があり、公開リリースを楽しみにしている。第一に、視覚エンコーダを備えているため、画像を受け取って視覚的な内容を分類できる。これは現時点でテキスト分類しか行わない Jev とは異なる。第二に、コンテキストウィンドウが 64k ある（Jev は 32k）。モデルに分類させる入力状態をより多く詰め込める。
第三に、正確で強力であり、複数の品質ベンチマークで他の市販の意思決定モデルと比べて遜色ないスコアを出す。以下に、意思決定にとって重要な評価をいくつか挙げる。Jev Decision Index の定義に沿って、市販されているより普及したモデルのいくつかにスコアを付けた。ベンチマークは下の表のとおりで、スコアはライブの Decision Index デモサイトでも確認できる。
| Benchmark | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev 9B | Laya |
|---|---|---|---|---|---|---|
| BFCL · case exact | 98.47 | 98.76 | 95.75 | 96.52 | 94.51 | 38.13 |
| ToolRet · nDCG@10 | 69.19 | 66.43 | 65.28 | 61.21 | 64.26 | 12.69 |
| API-Bank · accuracy | 91.93 | 93.11 | 88.19 | 83.66 | 56.30 | 11.41 |
| Home appliances · case exact | 82.95 | 97.73 | 52.27 | 42.05 | 25.00 | 0.00 |
| When2Call · accuracy | 72.37 | 65.58 | 80.97 | 75.44 | 49.62 | 11.94 |
| BANKING77 · macro-F1 | 94.20 | 90.93 | 79.74 | 74.28 | 84.83 | 14.29 |
| CLINC150+OOS · macro-F1 | 97.43 | 66.77 | 89.27 | 83.49 | 79.03 | 3.19 |
| BRIGHT · nDCG@10 | 45.91 | 39.26 | 47.52 | 42.94 | 38.53 | 19.90 |
| Amazon ESCI · macro-F1 | 57.48 | 57.39 | 55.21 | 53.37 | 49.22 | 24.40 |
| PhishNChips · accuracy | 79.60 | 75.05 | 62.55 | 85.35 | 50.75 | 50.15 |
私たちは Typesafe の評価スイートでもベンチマークを実施した。Clef シリーズは健闘し、4 領域のうち 3 つで Jev を上回った。中でも特筆すべきは Clef-flash で、はるかに高速でありながら、スコアは十分に競争力がある。
| Workflow | Clef | Clef-flash | Jev |
|---|---|---|---|
| Invoice processing | 64.7 | 57.1 | 61.8 |
| Customer service | 76.3 | 77 | 76.0 |
| Security incidents | 62.9 | 61.7 | 61.7 |
| Agent trace observability | 68.5 | 69.8 | 71.6 |
私たちが実施した 43 の評価ベンチマークでは、Clef シリーズはレイテンシの面でこれらの意思決定モデルをすべて上回った（Laya を除く。Laya は非常に高速だが、上記のベンチマークでは品質を犠牲にしている）。
| Benchmark | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev-9B | Laya |
|---|---|---|---|---|---|---|
| Median latency · ms | 209.3 | 38.8 | 524.1 | 84.4 | 51.4 | 5.8 |
| p95 latency · ms | 238.6 | 122.4 | 536.0 | 211.2 | 187.9 | 222.5 |
モデル自体のレイテンシ優位に加えて、Clef シリーズは Workers AI 上でホストされている。Cloudflare のインフラで動作するため、エッジノードの GPU を利用でき、ネットワークレイテンシが低く、意思決定も速くなる。つまり Clef を agent のクリティカルパス上の意思決定に配置し、Workers AI 上の LLM にアクションを実行させられる。
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
-d '{
"model": "clef",
"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
"urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"billing": "Payments, invoices, and refunds",
"technical": "Outages, errors, and configuration",
"sales": "Plans and upgrades"
}
},
"severity": {
"type": "score",
"instructions": "How severe is the customer impact?",
"criteria": ["No impact", "Minor", "Major", "Critical"]
}
}
}'Clef は Jev と同様の厳密に型付けされた出力を生成でき、API にも完全互換なので、差し替えはきわめて簡単だ。大きい方の Clef モデルは精度が高く能力も上で、Clef-Flash モデルはレイテンシに敏感な判断に向いている。これらのモデルはエンタープライズでの利用に耐える体制を整えており、あなたのリクエストやレスポンスを読んだり保存したり、モデルの訓練に使ったりしないことを保証する（弊社のファインチューニング製品を使いたい場合を除く。詳細は後述）。Clef モデルは今すぐ使える。開発者ドキュメントを見るか、Hugging Face リポジトリのオープンソースモデルに直接触れてほしい。
特定のワークロード向けに Clef をチューニングしたい場合にはファインチューニングサービスも提供している。まずは弊社のフォワードデプロイエンジニア（FDE）チームが手を動かすパートナーとして伴走し、その後セルフサービスのファインチューニングプラットフォームを立ち上げ、顧客が自分でモデルを訓練して Cloudflare に再デプロイできるようにする。
Clef の訓練方法
Jev を発表した同じ週に、私たちはいくつかの実験を公開した。自社開発の意思決定モデルを使ったものだ。デモでは、DiffusionGemma モデルを改造し、大規模言語モデルが生成する logprobs を露出させることで確定的な確率を出力させる方法を紹介した。当初のアプローチは Matt Mastracci の独立した研究に基づいている。彼は機械学習（ML）コミュニティで活発に活動し、新しいアイデアを共有したり、vLLM 推論エンジンに pull request を送って DiffusionGemma をより強力にしたりしてきた。
Clef はこのコンセプトを土台にしつつ、バックボーンとして別の基盤モデルを使う。現在は Qwen を基盤モデルとし、意思決定モデルという用途に合わせてポストトレーニングしている。推論時、Clef は Qwen で prefill のみの順伝播を 1 回行い、その後、各合法な schema 選択肢を並列に採点する。意思決定のステップは非自己回帰なので、トークンごとに生成すべき中間テキストがなく、Clef は自己回帰 LLM よりはるかに高速だ。Clef と Clef-flash は中間テキストを生成してから構造化された答えを導くのではなく、バックボーンの内部表現から直接 schema の選択を導出する。この方式は専用の 2 段階アテンションルーティングに依存している。各合法な選択肢が prompt に関連するコンテキストを抽出し、各フィールドパラメータが他のフィールドとクロスアテンションし、採点前に元の payload を参照し直す。語彙の事前分布により、モデルは選択肢間で意味的な意図を保つ。結果としてこのアーキテクチャは、選択肢固有の証拠のルーティング、フィールド間の joint attention、schema に制約された採点を 1 つにまとめ上げている。
Clef には Qwen3.8-27B、Clef-flash には Qwen3.5-9B を凍結し、ルーティングヘッドを rank-256 の低ランクアダプタとともに同時に最適化する。ポストトレーニングでは、有効な schema 出力に対してラベルスムージング交差エントロピーを使い、Brier 損失を組み合わせて確率のキャリブレーションを改善する。訓練には社内の合成データセットを使い、フィールドの順序、プロンプト、schema 構造を並べ替えて組み合わせている。さらに意思決定をキャリブレーションする強化学習（RLCD）を第 2 の最適化目標として開発した。隣接する順序尺度の選択には部分点を与え、完全に正確なレコード出力には報酬を与え、分布のずれを防ぐための参照ペナルティを課すことで、精度と汎化性能を高めている。
これにより、Clef でいくつかの新しいことができるようになった。分類タスクにおけるモデルの精度が上がり、生成テキストではなく確率だけを出力するよう制約され、Jev やベースの Qwen モデルより速くなった。
微調整が Clef の能力をどう広げるか
社内からは、Clef モデルを Cloudflare の agentic ワークフローに組み込むために微調整したいという声を多く聞いていた。たとえば、Trust & Safety の申請内容を評価する分類器モデルがほしい、Cloudflare Support のリクエストのトリアージに使いたい、あるいは Bot 製品に組み込んでクローラーが good bot か bad bot かを判定したい、といった要望だ。
こうしたユースケースはきわめて具体的で、何年もかけて蓄積してきたラベル付きの意思決定データが大量にある。微調整したモデルでは、汎用的な性能の一部を犠牲にする代わりに、特定領域での精度を高められる。Cloudflare には 15 年以上にわたる多様な領域のネットワークデータがあるため、これらの具体的なユースケースに合わせてモデルを微調整すれば、汎用の Clef モデルより正確で速くできる。すでに社内チームと協力し、Clef を後学習させて強力な ML モデルを作り、インパクトを高めるとともに Cloudflare 内部のワークフローを改善する方法を検討している。これらの社内チームとユースケースは、新設した FDE 微調整チームが今後担う範囲であり、強化学習（RL）製品の土台でもある。
新しい RL サービス
FDE チームがお客様の Clef の微調整を直接支援し、自社のワークロードに合わせ込むサービスを始める。そのうえで、そこで得た実践的な知見をセルフサービス型のプラットフォーム構築に活かし、お客様が Cloudflare 上でデータ収集、微調整、モデルの再デプロイまでを完結できるようにする。
これは実のところ長く温めてきた話だ。カスタムの RL 製品を作れるだけの基礎コンポーネントを用意するために、私たちは AI プラットフォームを構築してきた。Jev が集めた注目は、速くて軽量な専用の分類器モデルが市場に必要とされていることを示しており、そこを切り口に RL 環境の実験を始めることにした。
そのために、Cloudflare プラットフォーム上にすでにある基礎コンポーネントを再利用した。
- Cloudflare AI Gateway – すべての AI トラフィックを AI Gateway 経由にし、ユースケースに応じたリクエストデータセットを自動生成する
- Cloudflare Workers AI – Clef のベースモデルから rollout を生成する
- Cloudflare Containers – agent の行動を採点し再生する RL サンドボックス
- [NEW] Trainer – 微調整した Clef モデルの重みを更新する
- Cloudflare Workers AI + BYO Model – 微調整したモデルを Workers AI 上に再デプロイする
これにより、AI プラットフォームのまだ開発中のいくつかの部分がつながる。AI Gateway が AI トラフィックを捕捉し、自分のリクエスト／レスポンスデータを活用できるようにすること、RL サンドボックスとしての Containers、そして Replicate の買収以降進めてきた Workers AI の Bring Your Own Model（Cog）だ。
今日から試せる
Workers AI チームとして初めて Cloudflare が学習させた ML モデルをリリースできることを嬉しく思う。まだ初期段階で改善すべき点は多くあるが、AI プラットフォームチームの長期的な取り組みが形になった素晴らしい初披露だ。Clef は agent の使い方を変える力があると信じており、Cloudflare が agent cloud を目指す使命とも自然に重なる。
具体的なユースケースがあり、すでにこれらの製品のお客様であれば、ぜひ話をしたい。この領域を模索するなかで設計パートナーになってほしい。
Workers AI 上でホストされている Clef モデルを試してほしい。自分で試したい場合は Hugging Face の重みをダウンロードできる。微調整のユースケースで支援が必要な場合も連絡してほしい。
私たちの ML チームの影響力は、モデル最適化からモデル学習の研究まで広がり続けている。この使命に加わりたい人は、募集中のポジションをチェックしてほしい。