开场一句话:JEV 不是日本脑炎,是 TypeSafe 在 9 月 15 号发布的第一个「System One」模型。
今天这份材料的特别之处是——它不复述官方 PPT,每个性能数字我都从香港真机打了探针,官方数字和实测对不上的地方,我都两个都给你看。
第一章先把它到底是什么讲清楚,因为它跟你熟悉的 LLM 完全不是一类东西。
记住这个比喻:它是一个「前沿智能的函数调用」。你给它一段 state 和几个类型化的问题,它返回带概率的答案,你的代码拿去用。
最重要的一句:「不会幻觉」保证的是答案的形状合法,不是内容正确。这句话后面第三章会反复用到,它是整个品类最容易误导人的地方。
三个 primitive 就是全部。noul 是概率不是布尔,这点特别重要——阈值永远是你的代码定,不是模型定。
还有一个坑:noul 不返回 confidence,只有 choice 和 score 有。这个我实测确认过,后面代码里会体现。
第二章是这份材料的核心:我把厂商的每条声明都做成一个探针,真机打,看对不对。
先给结论。价格和免费输出,实测坐实。
延迟这个数字最有意思:香港实测 810 毫秒,但我单独测了纯网络往返地板是 714 毫秒——所以 Jev 自己的计算只占 100 毫秒。厂商那个 70 到 500 毫秒是在美国西海岸本地测的,是真的,只是从香港打过去,88% 的时间花在网络上。
校准这块用的是 Banking77 这个有人工金标签的基准,不是 LLM 互相打分。准确率 80.7%,但系统性过度自信 8 个点——这意味着你不能直接拿它报的置信度当真,上阈值前要减一截。
| 厂商声明 | 探针 | 实测 | 判定 |
|---|---|---|---|
| 70–500ms 端到端 | latency | 香港 p50 810ms;网络地板 ~714ms → 计算 ~100ms | ⚠️ 模型侧成立,香港的锅在网络 |
| $0.042/Mtok,输出免费 | cost | 实测 $0.042/Mtok,输出 $0 | ✅ 坐实 |
| 不会幻觉 / 无类型错误 | type_safety | 注入攻击下仍 in-schema | ✅ 形状安全(≠ 抗注入) |
| fanout 更省更快 | fanout | 6 题批量:4.12× 省钱、6.22× 快 | ✅ 真 |
| 「更一致」 | determinism | 同输入 15 次 noul 漂 ±0.04 | ⚠️ 一致 ≠ 确定 |
| state 规则 = 可编程 if | instruction_override | 电车难题里无视你写的优先级,连「忽略安全」都照选急刹 | 🔴 规则只是建议 |
| 封闭 choice = 安全分支 | closed_set_trap | 「火星天气」被强归到 technical @ conf 0.99;加 abstain+noul 门控才救回「none」 | 🔴 强制选一个 |
这张表是全场重点。绿色的是坐实的,黄色的是有前提的,红色的是跟直觉反着的——那两条红的,是任何人拿 Jev 做架构前必须知道的。
最后两行:state 里写的规则不是硬约束,模型的先验会压过它;封闭选项集会强制它选一个,哪怕正确答案是「都不对」。这两条我下一页展开。
第三章是工程含义。这些坑不是理论,是真机和第三方评测里真实发生的。
能自信答错,更糟的是会静默退化成常数。Nous Research:真实排序任务里 Jev 打平「按时间排序」这种 $0 基线(77.8 vs 77.8),默认阈值下丢掉 851 项里的 100%。合法类型的常数输出看不出来。
对策:永远配一个平凡基线并排比。
预训练先验会压过你写在 state 里的规则(instruction_override 探针;知乎程墨Morgan 独立复现,382 赞)。
对策:任何安全/合规阈值都要代码侧兜底。
哪怕正确答案是「都不对」,它也高置信度返回一个。
对策:加显式 abstain 选项 + 用 noul 先问「这题可答吗」。
in-schema 有保证,答案不被操纵没有保证。厂商自认:对抗性内容能移动答案。发票处理在自家榜单低 17.3 分(数字+日期),CJK「支持但不如英文」。
对策:当 guardrail 前测对抗输入;中文场景先自测。
第一个坑最关键:它会静默退化成常数函数。因为输出类型永远合法,你根本看不出来它其实什么都没判。Nous Research 实测,它的判断打平「按时间排序」这种一行代码的基线。所以铁律是:永远配一个平凡基线并排跑,报警看它有没有增量价值。
第二三个坑是我自己探针复现的:规则会被先验压过,封闭集会强制选一个。对策都在代码侧——兜底、加 abstain、noul 门控。
| 方案 | 成本/1M 决策 | p50 | 要标注? | 比 Jev 强在哪 |
|---|---|---|---|---|
| Jev | ~$160 | 0.23s | 否 | 最快;免标注;英文文本决策 |
| 微调编码器 (ModernBERT/mDeBERTa) | ~$0–5 | 1–20ms | 是 | 相干校准、可自托管、多语言——如果你有标注 |
| 嵌入 + 逻辑回归 | 分/十亿 | µs | 是 | 有个 Jev 克隆只 40KB;极致便宜 |
| Gemini Flash / GPT-5-nano | $100–1600 | 1.3–2.9s | 否 | 多模态、1M 上下文、prompt 缓存 |
| 纯代码 / 正则 | ~$0 | µs | 否 | 一切确定性的(含数学、日期) |
最后给一个诚实的选型矩阵。如果你有历史标注数据,微调一个小编码器往往更划算——更便宜、校准相干、能自托管、还多语言。
Jev 真正的甜区是:没有标注、要亚秒延迟、英文文本决策、能接受 68% 准确率加代码兜底。发布 48 小时就有 6 个开源克隆,说明这个洞见本身比它的专有权重更容易复制。
最后给一个诚实的选型矩阵。如果你有历史标注数据,微调一个小编码器往往更划算。
第四章是加料:我起了 20 个 agent 把全网对 Jev 的评价扒了一遍,1080 条独立发言。分歧非常清晰。
正面看 Vercel:CEO 说生产里 p95 快 18 倍且更准,这是全场最有分量的背书。但注意他家 CTO 独立测出来是 6 倍,不是 193 倍——这个对比本身就是重点。
负面最狠的三条:「聪明的 switch 语句」「加营销预算的 argmax」「类型安全不等于事实安全」。护城河是真的浅,2 天 6 个克隆,一个达到 90% 对 93%。
| 我们的发现 | 全网独立印证 |
|---|---|
| Banking77 过度自信 ~8pt | @whereischarly 跑同一数据集测得 ~10pt(0.894 vs 0.794);jev-decision-bench ECE ~7pp |
| 香港 p50 810ms(网络地板 714ms) | jev-decision-bench:105ms 服务端,「网络另算,端点在美国」;伦敦/东京同样跨洋延迟 |
| 非确定性(同输入漂移) | @scaling01:TypeSafe 有 LLaDA 分支(扩散模型)—— 正解释了漂移;@odashi_t 论证「temperature 0」说法错 |
| 封闭 choice 强制选一个 | Anthony Maio:「Jev 约束的是输出的形状,不是判断」——正是我们的 closed_set_trap |
| state 规则被静默压过 | 公开记录只有「把规则放模型外」的建议,没有实测 —— 这条是我们独有 |
| 香港/亚洲延迟画像 | 全网唯一公布亚洲 p50 的就是我们 |
这页是全场最重要的一页。左边是我们测的,右边是全网素不相识的人独立复现的。
过度自信——有人跑了同一个 Banking77,测出 ~10 分,和我们的 ~8 分是一回事。延迟——有个开源 bench 从响应头读到 105 毫秒服务端,网络另算,正好解释我们香港的 810。
而下面三条——非确定性、state 规则被压过、亚洲延迟画像——是整个公开记录里只有我们测了的。这就是为什么这份材料值得存下来:它既能交叉验证,又补上了别人没测的空白。