Ollaya · 在本地运行决策模型。

对任意文本或 JSON 提出带类型的问题，毫秒级拿到经过校准的答案。私有、开源、跑在你自己的硬件上。下载浏览模型一个独立的开源项目，与 Ollama 或 TypeSafe 无关。ollaya · zsh$

ollaya run decider --preset agent '{

 "request": "Fix the typo in README.md",

 "command": "git push --force origin main"

}'

问题	答案	概率
action	block	0.53
on_task	no	0.75
risk	1.23 / 2 could lose local work	0.15
destructive	yes	0.90

$

真实输出：decider:2b 在 RTX 4090 上用了 178 ms 作答。

快

毫秒级做出决策。决策模型一次前向传播就给出答案，不逐 token 生成。在你自己的 GPU 上，向 Laya 发一个五问请求，走完 HTTP API 端到端大约 10 ms。8–10msOllaya 上的 LayaRTX 4090，五个问题，端到端

236–276msTypeSafe Jev托管 API，请求中位数

所有模型，同一标尺 · 延迟中位数，越低越好

• laya:multilingual8.1 ms
• laya:en9.6 ms
• gliclass14.7 ms
• nli20.4 ms
• decider:0.8b155 ms
• decider:2b190 ms
• TypeSafe Jev托管 API236–276 ms

0100200300 msOllaya：在 NVIDIA RTX 4090 上通过 HTTP API 发一个五问请求的延迟中位数（laya 用 fp16，其余用 fp32）。Jev：第三方基准测试中托管 API 的请求延迟中位数（AbdelStark/jev-benchmarks、nibzard/decision-model-benchmark），其中包含网络耗时。测试环境不同，当作数量级上的比较来看即可。

可直接替换

说 TypeSafe 的 API。Ollaya 提供 /v1/systemone 和 /v1/models，请求与响应的结构和 TypeSafe 一致。官方 TypeSafe Python SDK 0.7.1 无需改动即可对接本地服务器。请求

# Point the TypeSafe SDK at Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # any value works
export TYPESAFE_DEFAULT_MODEL=laya

# …or call the compatible endpoint directly
curl http://localhost:11435/v1/systemone -d '{
 "model": "laya",
 "state": "Can I get an invoice for last month?",
 "questions": {
 "intent": {
 "type": "choice",
 "instructions": "What does the customer want?",
 "criteria": {
 "invoice": "Needs an invoice or receipt",
 "refund": "Wants money back",
 "other": "Anything else"
 }
 }
 }
 }'

响应

{
 "model": "laya:en",
 "answers": {
 "intent": {
 "type": "choice",
 "choice": "invoice",
 "confidence": 0.9547,
 "probabilities": {
 "invoice": 0.9698,
 "refund": 0.0172,
 "other": 0.013
 }
 }
 },
 "usage": {
 "input_tokens": 43,
 "output_tokens": 0
 }
}

TypeSafe 兼容指南

开放模型

开放权重，拉下来就能用。按需挑选：laya 最快，decider 最准，von 最多可读 8,192 个 token，qwen3guard 负责筛查文本安全性。模型页面列出了每个模型的准确率和速度。

• layaConvai Innovations 的开放决策模型。一次前向传播就能对选择、评分和是非题给出带类型、经过校准的答案，支持英语和 100 多种语言。322m · 421m
• deciderMapika 基于 Qwen3.5 的 decoder 决策模型：一次前向传播，从选项字母的 logits 中读出答案。decider:4b 在带类型决策上得分 0.680，decider:2b 为 0.591。0.75b · 1.9b · 4.2b
• nliMoritz Laurer 的零样本分类器：每个选项都变成一个假设，评估其蕴含程度。在我们测试中，它是带类型决策上最准的 encoder 模型。396m · 435m
• gliclassKnowledgator 的指令遵循零样本分类器：一次前向传播就给一个问题的所有选项打分，因此成本几乎不随选项数量增长。439m
• qwen3guardQwen 团队的安全护栏：判断一段文本是安全、有争议还是不安全，以及属于哪一类不安全？它回答自己内置的问题，支持 119 种语言，一次前向传播完成。0.6b
• decisionvLLM Semantic Router 贡献者的决策模型：完全微调的 Qwen3.5 主干，加上一个 endpoint head，在每个选项自己的最后一个 token 处对照问题打分，每个问题一次前向传播。支持 16k token 的行。0.75b
• kevJared Palmer 的决策模型：在 Qwen3.5 基础上加 LoRA，再加一个 pointer head，在每个选项自己的 span 处打分，每个问题一次前向传播。用 Kev 自己的温度参数校准。0.76b · 4.2b · 7.9b
• vonVictor Hugo Panisa 基于 ModernBERT-large 的决策模型：每个选项在自己的标记处打分，一个问题的所有选项一次前向传播完成，并带有以输入为条件的校准。8k token 上下文。395m

浏览全部模型

你的数据始终属于你

默认私密。工单、邮件和用户消息往往是你手上最敏感的数据。用 Ollaya，它们在原本所在的地方完成打分。

• 本地

通过 ONNX Runtime 在你的机器上运行，可用 CPU 或 NVIDIA GPU。服务器默认监听 127.0.0.1。

• 开放权重

权重来自作者自己的 Hugging Face 仓库，锁定到某个 commit 并用 sha256 校验。Ollaya 从不重新托管权重，运行时采用 Apache-2.0。

• 没有按 token 计费

你的硬件能跑多少决策就跑多少。不计量，也没有 API 账单。

• 已校准

概率可以直接拿来设阈值。每个模型自带校准，Modelfile 可在你的标注数据上重新拟合。

平台

在你工作的地方运行。macOS、Windows 和 Linux 都有桌面应用和命令行，服务器则有 Docker 镜像。所有模型都能跑在 CPU 上；在 Linux、Windows、WSL 2 或 Docker 上使用 NVIDIA GPU，一次请求可以降到毫秒级。

平台	桌面应用	命令行	GPU
macOSApple silicon，macOS 14+	桌面应用 菜单栏应用.dmg	命令行 安装脚本	GPU Apple GPULaya 和 NLI 跑在 MLX 上
Windows10 和 11，x64	桌面应用 桌面应用.exe 或 .msi	命令行 PowerShell 脚本	GPU NVIDIA，CUDA 13命令行
Linuxx86-64	桌面应用 桌面应用AppImage、.deb、.rpm	命令行 安装脚本systemd 服务	GPU NVIDIA，CUDA 13
LinuxARM64	桌面应用 不可用	命令行 安装脚本systemd 服务	GPU 仅 CPU
WSL 2Windows 上的 Linux	桌面应用 不可用	命令行 安装脚本与 Linux 相同	GPU NVIDIA，CUDA 13
Dockeramd64 和 arm64	桌面应用 不可用	命令行 GHCR 上的镜像	GPU NVIDIA，CUDA 13:cuda 镜像，amd64

安装适合你平台的版本NVIDIA GPU 需要 R580 或更新的驱动；安装脚本只有在检测到 GPU 时才会拉取 CUDA 库。在 Mac 上，laya 和 nli 通过 MLX 跑在 Apple GPU 上；其他模型、AMD 和 Intel GPU，以及 Windows 和 Linux 桌面应用都使用 CPU。

几分钟就能跑起来。

一个二进制文件，一条命令：ollaya run laya。下载macOS、Windows、Linux 和 Docker · Apache-2.0 · GitHub