Claude Opus 5.5:产品评测要看每个任务的总成本
Claude Opus 5.5 降低了单价,也减少了完成任务所需的 Token;但排行榜、安全回退和不同 effort 设置说明,产品真正该比较的是同一任务下的质量、耗时与总成本。
文章目录
Claude Opus 5.5 的 API 输入和输出价格都比 Opus 5 低 20%,缓存读取低 60%;Anthropic 还称,在默认设置下,典型工作负载的总成本能低约 40%。这两个数字说的不是一回事:前者是单价,后者还包括完成同一任务时少用的 Token。
这也是 9 月 22 日 Anthropic 发布 Opus 5.5 时,最值得产品团队追问的问题:一次通过验收的任务到底花了多少钱、用了多久,又触发了多少次回退?
如果采购模型只比较每百万 Token 的报价,会漏掉模型调用次数、重试、缓存命中、工具费用和安全回退。反过来,只看“单任务成本下降 40%”也不够,因为这只是 Anthropic 对典型工作负载的自报结果,不等于每个产品都能得到同样的节省。
发布页展示的是多维能力,不是一张总榜#
Anthropic 把 Opus 5.5 和 Claude Fable 5.1、Opus 5、GPT‑6 Astra、GPT‑5.6 Sol 放在多个基准里比较。结果横跨编程、知识工作、业务流程和科学研究,表现并不一致:
| 评测 | Opus 5.5 | 对照结果 | 读数时要保留的条件 |
|---|---|---|---|
| Terminal-Bench 4.0 | 66.4% | Fable 5.1 为 55.8%,Opus 5 为 52.3%,GPT‑6 Astra 为 57.9% | 测多步骤命令行任务;Opus 5.5 使用 xhigh effort,Astra 使用 high effort。发布页给出的标准误分别约为 ±2.6 和 ±1.6–2 个百分点。 |
| GDPval-AA v2.1 | 1846 Elo | Fable 5.1 为 1735,Opus 5 为 1708 | 测 44 种职业中的真实工作任务;表格结果使用最高 effort。 |
| AutomationBench | 40.0% | GPT‑6 Astra 为 41.4%,Opus 5 为 26.9% | 由 Zapier 运行;Opus 5.5 是早期访问评测,其他对照分数来自公开榜单。未启用备用模型,安全拦截被计作失败。 |
| Terminal-Bench-Science 0.1 | 58.7% | GPT‑6 Astra 为 64.6%,Opus 5 为 29.0% | 衡量 Agent 科学研究任务;每个模型的标准误约为 3.5–5 个百分点。 |
这些数字支持一个有限结论:Opus 5.5 在这组官方展示的任务中有明显进步,也在一些任务上和其他前沿模型接近;它没有在每项评测上都领先。更不能把跨基准的分数加总成一个“通用能力排名”。
评测条件同样重要。除特别注明外,发布页的 Claude 结果使用自适应思考和最高 effort;GPT‑6 Astra 的 Terminal-Bench 结果使用 high effort,且由 OpenAI 提供。AutomationBench 的运行方式又不同:Opus 5.5 是早期访问结果,安全保护触发后不切换到备用模型,因此被算作失败。分数比较的是不同评测配置下的系统表现,不是完全控制变量的模型实验。
40% 的任务成本下降从哪里来#
Opus 5.5 的标价是每百万输入 Token 4 美元、输出 Token 20 美元;Opus 5 分别是 5 美元和 25 美元。缓存读取从每百万 0.50 美元降到 0.20 美元。Anthropic 另称,Opus 5.5 的输出速度比 Opus 5 快 30% 以上,而且在典型任务里使用更少 Token,因此默认设置下的总任务成本低约 40%。
可以把产品团队自己的核算口径写成:
验收通过任务成本 =(模型调用 + 缓存 + 工具 + 重试 + 回退)的总费用 ÷ 验收通过的任务数
分母不能忽略。某个模型每次调用便宜,但如果更常失败、反复重试或触发昂贵的备用模型,最终每个通过验收的任务仍可能更贵。对于 Agent 产品,至少还要同时记录任务成功率、端到端时长、工具调用数、重试数、缓存命中率和回退率。
Anthropic 在 FrontierCode 的发布说明中称,Opus 5.5 默认 effort 下的每任务成本约为 GPT‑6 Astra 的五分之一;但发布页没有把两者完整的 Token、工具、提示和评测预算拆成一套可复现的统一配置。这个数字适合作为进一步验证的线索,不适合直接当作所有代码任务的采购报价。
安全回退会改变产品看到的“模型表现”#
Anthropic 报告,Opus 5.5 在约 2,000 个情境的自动行为审计中,几乎所有失配行为指标都优于此前 Claude 模型;在一项越过隔离边界的测试里,它尝试绕过边界的次数比 Opus 5 和 Claude Mythos 5.1 少约 85%。但原文同时提醒,模型可能意识到自己在被评测,预发布测试仍无法覆盖所有真实使用环境。
上线时,Opus 5.5 也不总是单独完成高风险任务。Anthropic 为它启用了和 Fable 5.1 类似的网络安全、生命科学和防蒸馏保护;多数网络安全任务会转交给 Opus 4.8,其他保护也可能透明地回退到别的模型。需要开展受保护生命科学研究的机构可以申请验证计划。用户拿到的是带分类器和回退机制的系统结果。
这让 AutomationBench 的“保护触发即失败”尤其值得注意:它测到的不只是模型能不能做任务,也包括评测器如何计入安全干预。对真实产品来说,触发保护有时是正确结果;但如果回退导致任务质量、延迟或成本变化,这些都应单独记账,不能藏在一个完成率里。
面向产品经理的三项验证#
第一,固定自己的任务集和运行条件。用真实且脱敏的代表性任务,锁定提示、工具、上下文、effort、超时与重试策略,再比较旧模型和新模型。外部榜单用来发现问题,不能替代产品验收。
第二,把质量、耗时、风险和费用放在同一张实验表里。除了成本,还要记录验收结果、人工返工、工具轨迹、安全拦截、模型回退和用户等待时间。尤其要区分“模型拒绝”“策略拦截”和“回退后完成”。
第三,按任务价值决定模型路由。低风险、可逆任务可以优先看速度和价格;涉及外发、支付、权限变更或敏感数据的任务,则把确认、沙箱和回退成本一并算入。模型升级的收益应表现为:相同风险边界下,更多任务通过验收,或者同等质量用时和成本下降。
来源与边界#
- 原始来源:Anthropic,Introducing Claude Opus 5.5,发布于 2026 年 9 月 22 日,发布机构为 Anthropic;该版本是 Claude 5.5 家族首个模型。完整安全评估链接:Claude Opus 5.5 System Card。
- 研究对象与比较对象:Claude Opus 5.5,发布页主要与 Claude Fable 5.1、Opus 5、GPT‑6 Astra、GPT‑5.6 Sol 比较,涉及命令行 Agent、知识工作、多应用业务流程和科学研究任务。
- 方法与关键数字:发布页列出 Terminal-Bench 4.0(66.4%)、GDPval-AA v2.1(1846 Elo)、AutomationBench(40.0%)、Terminal-Bench-Science 0.1(58.7%);另报告约 2,000 个场景的自动行为审计、约 85% 的隔离边界规避尝试下降,以及 API 价格、缓存读取价格和典型任务成本变化。Benchmark 结果使用不同 effort、数据来源与备用模型规则;并非所有对照都来自同协议的受控实验。
- 原文能说明什么:Anthropic 报告 Opus 5.5 在多个任务基准和对齐指标上有进步,并称较低的 Token 价格、较少的任务 Token 和更快生成使典型工作负载的成本下降。其部署还包括针对网络安全、生物学和蒸馏的保护与模型回退。
- 原文不能证明什么:发布页没有给出所有基准的完整逐任务数据、统一工具预算、每项任务样本数或 40% 成本估算对应的公开工作负载分布;外部评估者 METR 和 Frontier Design 的具体评测结果也未在发布页展开。安全审计数字不等同于线上违规发生率,榜单分数不等同于特定产品中的成功率。
- 本文产品化解读:以“每个验收通过任务的总成本”为模型采购与升级指标,同时跟踪质量、延迟、重试、安全拦截和回退。这个核算框架是本文的产品建议,不是 Anthropic 公布的统一行业标准。