Jev推出一种新形态的大语言模型——System One,又称决策模型

TypeSafe AI 发布 Jev,把前沿智能当成一次函数调用,输入非结构化状态,输出带类型的概率化决策。System One 模型不走生成式路线,为路由、排序、抽取这类需要校准判断的场景提供可编程的常识。

中文
复制

上周,TypeSafe AI 发布了 Jev,这是他们所称“System One 模型”这一新模型类别的首个示例(我赞同 Maggie Appleton 的看法,认为“决策模型”是更合适的名字)。Jev 是常见 LLM 形态的一个有趣变体:它仍然接受文本输入,但输出不是文本,而是对应各类别、是/否问题、评分的浮点数,以及相应的置信度分数。 TypeSafe 这样描述 Jev:

把 Jev 想象成一次前沿智能的函数调用:输入非结构化状态,输出带类型的概率化决策。

它还非常快,而且非常便宜。常规 LLM 按输入和输出 token 计价,输出通常收费高得多。Jev 只对输入收费——输出免费——其首个模型的输入价格为每百万 token 0.042 美元,甚至比 OpenAI 的 GPT-5 Nano(每百万 0.05 美元)还便宜。 Jev 让你能针对文本或半结构化数据提问。你构造一个“state”对象,其中包含一个字符串、字符串数组或一组名值对——它可以描述一篇文章、一位客户,或任何其他类型的记录。然后把它连同若干问题一起发给他们的 API,每个问题都会得到一条回复。 你可以问三类问题:

  • 是/否问题,Jev 称之为“Noul”问题——其 CEO 在 Hacker News 上确认,这是 Bernoulli 的缩写,源自伯努利分布。你给出一个陈述,返回一个 0 到 1 之间的浮点数,表示模型认为该陈述为真的置信度。
  • 选择问题,模型从给定的一组选项中挑出一个——实际上是一个置信度分数,外加在所有选项上的概率分布。
  • 评分问题,你提供一串带描述的数值档位,模型给出该区间内某处的浮点分数。

Jev API 可以接受单个文档(“state”)以及你能塞进上下文窗口的任意多个问题。问题会并行评估,所以发很多问题和只发一个问题的耗时差不多。 我认为决策模型这个框架有助于理解 Jev 该用在哪里。任何能表达为分类任务的事情它都很擅长——比如垃圾邮件检测、标签建议、优先级排序和排名。 我也在拿它试验搜索重排:先用 BM25 这类廉价算法取出 100 个可能的匹配项,再让 Jev 针对原始查询为这 100 个候选打分。

黑盒再度流行

Jev 让我有些不安的一点是,它其实代表着向黑盒机器学习系统的进一步倒退。 LLM 本来就是黑盒——你可以让它们解释自己的决定,但无法保证它们说的有用或准确。 Jev 连这一点都做不到:你尽可以把所有文本喂进去,拿回来的只有一个浮点数。如果 Jev 把某样东西标为垃圾内容,到底是哪些内容信号触发了它? 这也意味着偏见问题必须被摆在最前面。真心希望没人拿 Jev 给求职者排名——那个浮点数可能掩盖了模型里各种看不见的偏见,而想通过实验把这些偏见拆解出来绝非易事。 (我做过一个实验,让 Jev 给旧金山湾区的每座城市打分,回答它们是不是“好城市?”——它把 Cupertino 排在第一,East Palo Alto 排在最后。嗯。) 实际使用中,这一切意味着评估和结构化实验比普通 LLM 项目里更加重要。好在 Jev 足够便宜,跑上几百甚至几千条实验性 prompt 也只要几美分。

Jev 的另类用法

过去几天看着社区为 Jev 想出各种潜在用例,非常有意思。以下是一些让我眼前一亮的创意:

  • Kyle Pena 的 jevchat 把 Jev 变成了一个(糟糕的)聊天模型。“每一步它都问 Jev 一个问题:给定用户的问题和目前已写出的回复,下一个符号是什么?”Hacker News 上的 ericpruitt:“这相当于 Morty 对着死亡水晶说话的数字版”。
  • Fatih Kadir Akın 的 jev-leftpad 用 prompt“value 前面需要多少个空格才能达到 targetLength?”实现了 left-pad,外加一个选择查询,选项从“需要 0 个空格”到“需要 10 个空格”。
  • Andy Gayton 的 jev-2048 用 Jev 来玩2048 滑块拼图游戏。

开放权重复刻

还有一批项目试图在开放权重模型之上复刻出 Jev 那样的模型。Kev 就是其中一个有意思的例子,它基于 Qwen 3.5 做出了 0.8B、4B 和 9B 三个版本。这里是对应的 Hacker News 讨论帖,有人在里面贴出了一个已经冒出来的 JevBench 基准,用来比较“Jev 级决策模型”。 考虑到 Jev 发布至今还不到一周,围绕它的动静已经相当可观。

来源: Simon Willison's Weblog← 返回首页