評価

Jevはテキストを生成せず、確率だけを出力する：「一つの判断」をAPIにした、私たちが実測したそれが解決すべき問題

TypeSafe AI の Jev はモデル出力を文字列から確率付きの型付き判断に置き換え、その確率は「校准」済みだと主張している。この前提を裏付ける証拠は誰も示していない。そこで確定した答えのある 229 件の主張を使い、通常の LLM の信頼度が自動化に使えるかどうかを測った。