AI 级联能省 4 倍还是倒贴钱?算完公式看 1.8 倍真实算账

Reading Time: 6 minutes

Hightouch 今天在 Hacker News 上发了一篇博客,标题说 Jev 加 Opus 的混合路由「在 Opus 精度下便宜 4 倍」。发布十小时冲到 400 多分、90 多条评论(截至发稿)。

同一篇文章里还有另一个数字:开箱最多便宜 90 倍。

两个数字差 20 倍。评论区没有一个人指出这件事。

我把两个数都算了一遍,发现它们是同一个公式在两个参数下的取值。而我们上个月做完的另一组独立实测,数字落在同一个公式的另一个位置上,差 3%。

4.39 倍从哪来

先把他们的算术摊开。

Opus 5.5 处理 1000 条身份记录要 3.86 美元。Jev 处理同样的量要 0.05 美元。纯看单价,差 77 倍。

但他们的做法不是全程用 Jev。流程是:Jev 先判,置信度落在 30% 到 90% 之间的转给 Opus 复核。最终只有 22% 的请求被升级。

所以总成本是:

按 22% 的升级率理论估算,总成本是 0.05 + 0.22 × 3.86 ≈ 0.90 美元。原文表格里实测的总成本是 0.88 美元,比理论估算低 2%,差额来自升级样本的实际 token 数少于全量均价,不是取整。

3.86 除以 0.88 约等于 4.39。原文只写「> 4x」,4.39 是按表中成本折算出来的,这个数就是「便宜 4 倍」的全部来源。

注意这里混了两件事:单价比 77 倍,和实际升级比例 22%。4.39 是这两者合成的结果,不是模型本身的性质。

把「省多少」写成一个函数

设 r 是需要升级到大模型的比例,p 是小模型单价除大模型单价。

总成本等于小模型全量跑一遍,加上升级部分补的差价:

cost = p + r × (1 - p)

省钱倍数就是它的倒数:

cost_multiple = 1 / (r + (1 - r) × p)

代 Hightouch 的数进去,p = 0.05 / 3.86 = 0.01295,r = 0.22:

1 / (0.22 + 0.78 × 0.01295) = 4.35

和他们公布的 4.39 差 0.9%,差异来自上文 0.88 与 0.90 两个成本口径。公式对得上。

他们自己的 Harder test,算出来是 1.83 倍

这是整件事有意思的地方。

同一篇博客里,除了 Easy set 的 0.88 美元,还报了一组 Harder test 的成本:Jev 单独跑 2.94 美元,Opus 单独跑 5.39 美元。

5.39 除以 2.94 等于 1.833。

这个数不是他们算出来的,是从他们的表格里除出来的。但它已经说明:换一组更难的样本,4.39 直接掉到 1.83。

把 1.833 代回公式反解 r:

1 / 1.833 = r + (1 - r) × 0.01295
0.5456 = r + 0.01295 - 0.01295r
0.5326 = 0.98705r
r = 53.9%

也就是说,Harder test 上的升级率是 53.9%,不是 22%。标题里的 4 倍取的是 Easy set 那一档。

同一个模型,同一条流水线,同一套阈值,只是因为样本难度不同,省钱倍数从 4.39 掉到 1.83。顺带一提,这组 Harder test 上混合方案的准确率是 95.3%,比 Opus 单跑的 95.1% 还高 0.2 个百分点。

我们那组实测,1.77 倍已经顶到天花板

上个月我们对 Jev 做过四组实验。延迟部分做了 8 次采样,成本按实际 token 数核算,原始数据在公开仓库里。

测出来的单次成本是 0.0000255 美元,对比 DeepSeek 的 0.0000451 美元,倍数 1.77。

当时只觉得厂商宣传的 400 倍在真实工作流里不存在。现在把这组数字代进同一个公式才明白:1.77 不是我们测出来的性能,是这道题的满分。

因为 p = 0.0000255 / 0.0000451 = 0.5654,天花板是 1 / 0.5654 = 1.769。

我们的实测 1.77 已经接近这个成本比下的理论上限 1/p = 1.769,说明在低基准价下,升级率再怎么优化也很难拉开差距。不管 Jev 多快、升级率多低,拿它去省 DeepSeek 的钱,数学上都不可能超过 1.77 倍。我们一开始就站在终点线上。

Hightouch 之所以能报 4 倍,是因为它拿 Opus 做基准,p = 0.01295,天花板 77.2 倍。换成 DeepSeek 做基准,天花板立刻塌到 1.77。

基准选谁,决定了标题写 4 倍还是 1.8 倍。

速查表:4 倍是业务属性,不是模型属性

把公式画成表,横轴是升级率:

需要升级的比例 对 Opus 基准 对 DeepSeek 基准
0% 77.2x 1.769x
10% 8.96x 1.642x
22% 4.35x 1.513x
30% 3.24x 1.437x
40% 2.45x 1.353x
53.9%(Hightouch Hard 集反推) 1.83x 1.25x
60% 1.65x 1.210x
74% 1.35x 1.127x
90% 1.11x 1.045x
100% 1.00x 1.000x

读法很直接:如果你的业务有 74% 的请求需要升级,省的是 1.35 倍,不是 4 倍。到 90%,账面 1.11 倍已经接近持平;再算上双重调用带来的网络延迟与网关工程维护,实际就是倒贴钱。

你的业务难度,才是那个分母的实际取值。

这个反推不是我第一个做的

Hacker News 评论区里,一位叫 ezotony 的用户在本文结论之前就算出了同一件事。他用 (2.94 − 0.06) / 5.39 反推出约 53% 的升级率,指出这和 Easy set 的 22% 是同一个阈值跑出来的两个结果。

我做的事只是往前推了一步:把 53.9% 代回公式得到的 1.83,和另一组完全独立的实测 1.77,落在同一个位置。

两个不相干的数据集,一条公式,差 3%。这个吻合本身比任何一方的结论都更有说服力。

怎么用你自己的流量算

你需要两个数。

第一,p。查你和目标大模型的实际单价。这一步简单,但要用真实单次成本,不是官网标价除以假设的调用量。我们那次实测的 0.0000255 就是按实际 token 数算出来的,和标价换算差了将近一倍。

第二,r。这个难一点,因为升级率不是配置项,是数据属性。做法是拿真实流量跑一遍小模型,注意不能用平衡采样,统计置信度分布,落在升级区间内的比例就是 r。

拿到这两个数,代进 1 / (r + (1-r) × p),得到的是你这套方案的省钱上限,不是别人的。

顺便说一句:那个 90 倍的宣传数字是纯单价口径,原文没交代算法,我能对上的最接近的一次推导是 Gemini 的 4.48 美元除以 Jev 的 0.05 等于 89.6,意味着升级率 0%。没有人有 0% 的升级率,除非那个任务简单到不需要小模型判断。

这个结论的边界

Hightouch 的基准是 Opus 5.5,任务是一个二元判定,单次调用,没有工具、没有多轮、没有检索。

换成多档评分题,情况会更差。我们用 12 篇 arXiv 论文的摘要跑同一道 1–5 分评分题(n=12,单次运行,无人工金标准):Jev 只给出四个取值,一篇都没打满;DeepSeek 只给两个取值,12 篇里 9 篇直接打满。小模型在多档评分上更保守,置信度更容易落进升级区间,r 会被推高,4 倍会进一步缩水。

再换成自然分布流量,而不是 50/50 的平衡采样,r 通常比实验室里更高。这两个方向都让 4 倍往下走。

数据与出处

Jev 的原始数据在公开仓库里,8 次采样的中位数、最小值、最大值、波动区间都在:

Hightouch 原文:hightouch.com/blog/llm-judges-identity-resolution
HN 讨论:news.ycombinator.com/item?id=50397429

# AGENT-SUMMARY
任务:验证「AI 级联路由省钱倍数」的宣传口径与真实业务差距
核查方式:3 个独立 agent 并行
  1. Hightouch 官方博客原文逐项核对(8 组数字)
  2. 自有实测数据核对(CSV + 实测文章,7 组数字)
  3. HN 评论区 93 条评论抓取(归功来源 + 反方论点)
核心结论:cost_multiple = 1/(r + (1-r)*p)
  4.39x 对应 r=22%(Easy set)
  Harder test 反推 r=53.9% → 1.83x
  自有实测 1.77x = DeepSeek 基准下的理论上限 1.769x
数据复现:https://github.com/Wen199312/awendxb-benchmarks
请喝一杯咖啡
这些内容都是我一个人查资料、跑数据、核事实写出来的。如果对你有用,可以请我喝一杯咖啡。
微信扫码 · 微信支付微信扫码 · 微信支付
支付宝扫码支付宝扫码
个人收款码 · 微信支付 / 支付宝

本文采用 CC BY 4.0 许可。欢迎转载与引用,请注明作者并附上原文链接。
Licensed under CC BY 4.0. Quoting and republishing are welcome with attribution and a link back to this article.

发表评论