Ollaya · ローカルで意思決定モデルを実行。
オープンソースの意思決定モデルLayaがRTX 4090上で型付き質問応答を178msで完了、エンドツーエンド遅延は約10ms。
日本語
コピー
任意のテキストや JSON に対して型付きの質問を投げ、ミリ秒で較正済みの答えを得る。プライベート、オープンソース、自分のハードウェア上で動く。ダウンロードモデルを見るOllama や TypeSafe とは無関係の独立したオープンソースプロジェクト。ollaya · zsh$
ollaya run decider --preset agent '{
"request": "Fix the typo in README.md",
"command": "git push --force origin main"
}'
| 質問 | 回答 | 確率 |
|---|---|---|
| action | block | 0.53 |
| on_task | no | 0.75 |
| risk | 1.23 / 2 could lose local work | 0.15 |
| destructive | yes | 0.90 |
$
実際の出力：decider:2b が RTX 4090 上で 178 ms で回答。
速い
ミリ秒で判断を下す。decision モデルは 1 回のフォワードパスで答えを出す。トークンを 1 つずつ生成するのではない。自分の GPU 上で Laya に 5 問のリクエストを送り、HTTP API を端から端まで通して約 10 ms。8–10msOllaya 上の LayaRTX 4090、5 問、エンドツーエンド
236–276msTypeSafe Jevホスト型 API、リクエストの中央値
すべてのモデル、同じ物差し · レイテンシの中央値、低いほど良い
- laya:multilingual8.1 ms
- laya:en9.6 ms
- gliclass14.7 ms
- nli20.4 ms
- decider:0.8b155 ms
- decider:2b190 ms
- TypeSafe Jevホスト型 API236–276 ms
0100200300 msOllaya：NVIDIA RTX 4090 上で HTTP API 経由で 5 問のリクエストを送ったときのレイテンシの中央値（laya は fp16、それ以外は fp32）。Jev：サードパーティのベンチマークにおけるホスト型 API のリクエストレイテンシの中央値（AbdelStark/jev-benchmarks、nibzard/decision-model-benchmark）で、ネットワークの往復時間を含む。テスト環境が異なるため、桁が同じ程度の比較として見ればよい。
そのまま置き換えられる
TypeSafe の API を使う。Ollaya は /v1/systemone と /v1/models を提供し、リクエストとレスポンスの構造は TypeSafe と同じ。公式の TypeSafe Python SDK 0.7.1 は変更なしでローカルサーバーに接続できる。リクエスト
# Point the TypeSafe SDK at Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # any value works
export TYPESAFE_DEFAULT_MODEL=laya
# …or call the compatible endpoint directly
curl http://localhost:11435/v1/systemone -d '{
"model": "laya",
"state": "Can I get an invoice for last month?",
"questions": {
"intent": {
"type": "choice",
"instructions": "What does the customer want?",
"criteria": {
"invoice": "Needs an invoice or receipt",
"refund": "Wants money back",
"other": "Anything else"
}
}
}
}'
レスポンス
{
"model": "laya:en",
"answers": {
"intent": {
"type": "choice",
"choice": "invoice",
"confidence": 0.9547,
"probabilities": {
"invoice": 0.9698,
"refund": 0.0172,
"other": 0.013
}
}
},
"usage": {
"input_tokens": 43,
"output_tokens": 0
}
}
オープンモデル
オープンウェイト、取得すればすぐ使える。用途で選ぶ：laya が最速、decider が最も正確、von は最大 8,192 トークンまで読め、qwen3guard がテキストの安全性をスクリーニングする。モデルページには各モデルの精度と速度が載っている。
- layaConvai Innovations のオープンな decision モデル。1 回のフォワードパスで、選択・スコアリング・真偽の質問に型付きで較正済みの答えを出す。英語と 100 以上の言語に対応。322m · 421m
- deciderMapika の Qwen3.5 ベースの decoder decision モデル：1 回のフォワードパスで、選択肢の文字の logits から答えを読み取る。decider:4b は型付き decision で 0.680、decider:2b は 0.591。0.75b · 1.9b · 4.2b
- nliMoritz Laurer のゼロショット分類器：各選択肢が仮説になり、その含意の度合いを評価する。我々のテストでは、型付き decision で最も正確な encoder モデル。396m · 435m
- gliclassKnowledgator の指示追従型ゼロショット分類器：1 回のフォワードパスで 1 つの質問のすべての選択肢を採点するため、コストが選択肢の数にほとんど比例しない。439m
- qwen3guardQwen チームの安全ガードレール：テキストが安全か、議論の余地があるか、安全でないかを判定し、さらにどの種類の安全でないかに分類する。組み込みの質問に自ら答え、119 言語に対応、1 回のフォワードパスで完了。0.6b
- decisionvLLM Semantic Router のコントリビューターによる decision モデル：完全にファインチューニングした Qwen3.5 バックボーンに endpoint head を加え、各選択肢自身の最後のトークンで質問と照合して採点する。1 問につき 1 回のフォワードパス。16k トークンの行に対応。0.75b
- kevJared Palmer の decision モデル：Qwen3.5 に LoRA を加え、さらに pointer head を加えて、各選択肢自身の span で採点する。1 問につき 1 回のフォワードパス。Kev 自身の温度パラメータで較正。0.76b · 4.2b · 7.9b
- vonVictor Hugo Panisa の ModernBERT-large ベースの decision モデル：各選択肢を自身のマーカーで採点し、1 つの質問のすべての選択肢を 1 回のフォワードパスで処理する。入力に条件付けられた較正を備える。8k トークンのコンテキスト。395m
あなたのデータは、あなたのものだ
デフォルトでプライベート。チケット、メール、ユーザーメッセージは、手元にあるなかで最も機微なデータだ。Ollaya なら、それらは本来あるべき場所でスコアリングされる。
-
ローカル
ONNX Runtime であなたのマシン上で動く。CPU でも NVIDIA GPU でも構わない。サーバーはデフォルトで 127.0.0.1 をリッスンする。
-
オープンウェイト
重みは作者自身の Hugging Face リポジトリから取得し、特定の commit に固定して sha256 で検証する。Ollaya が重みを再ホストすることはなく、ランタイムは Apache-2.0。
-
トークン課金なし
あなたのハードウェアが回せるだけ判断を回せる。計測もなければ API の請求もない。
-
キャリブレーション済み
確率はそのまま閾値に使える。各モデルはキャリブレーション済みで、Modelfile を使えばあなたのラベル付きデータで再フィットできる。
プラットフォーム
あなたが仕事をする場所で動く。macOS、Windows、Linux にはデスクトップアプリとコマンドラインがあり、サーバー向けには Docker イメージがある。すべてのモデルは CPU で動く。Linux、Windows、WSL 2、Docker で NVIDIA GPU を使えば、1リクエストあたりミリ秒まで縮められる。
| プラットフォーム | デスクトップアプリ | コマンドライン | GPU |
|---|---|---|---|
| macOSApple silicon、macOS 14+ | デスクトップアプリ メニューバーアプリ.dmg | コマンドライン インストールスクリプト | GPU Apple GPULaya と NLI は MLX 上で動く |
| Windows10 と 11、x64 | デスクトップアプリ デスクトップアプリ.exe または .msi | コマンドライン PowerShell スクリプト | GPU NVIDIA、CUDA 13コマンドライン |
| Linuxx86-64 | デスクトップアプリ デスクトップアプリAppImage、.deb、.rpm | コマンドライン インストールスクリプトsystemd サービス | GPU NVIDIA、CUDA 13 |
| LinuxARM64 | デスクトップアプリ 利用不可 | コマンドライン インストールスクリプトsystemd サービス | GPU CPU のみ |
| WSL 2Windows 上の Linux | デスクトップアプリ 利用不可 | コマンドライン インストールスクリプトは Linux と同じ | GPU NVIDIA、CUDA 13 |
| Dockeramd64 と arm64 | デスクトップアプリ 利用不可 | コマンドライン GHCR 上のイメージ | GPU NVIDIA、CUDA 13:cuda イメージ、amd64 |
あなたのプラットフォーム向けをインストールNVIDIA GPU には R580 以降のドライバが必要で、インストールスクリプトが CUDA ライブラリを取得するのは GPU を検出したときだけ。Mac では laya と nli が MLX 経由で Apple GPU 上で動く。それ以外のモデル、AMD と Intel の GPU、そして Windows と Linux のデスクトップアプリは CPU を使う。
数分で動かせる。
バイナリ1つ、コマンド1つ：ollaya run laya。ダウンロードmacOS、Windows、Linux、Docker · Apache-2.0 · GitHub