Agent 评测不是一张分数表，而是一套产品判断系统
真正有用的 Agent eval 要把任务、环境、评分器和线上失败连起来；否则测到的只是一个不完整的演示。
文章目录
一个 Agent 在 benchmark 上多了 3 分，到底说明模型更强、提示词更好，还是机器更快、工具更宽松？如果答案不清楚，分数就不能直接变成产品决策。
Anthropic 的 Demystifying evals for AI agents 与 基础设施噪声研究 都指出：Agent 评测测量的不仅是模型输出，还包括多轮工具调用、环境状态、时间与资源。OpenAI 对 SWE-Bench Pro 的数据审计 则进一步提醒，评测任务本身也可能有严重缺陷。
三组数字，说明“分数”究竟有多脆弱#
第一组来自 Anthropic。它在 Terminal-Bench 2.0 上固定同一 Claude、同一 harness 和同一任务集，只调整六种资源配置；最宽松与最严格设置的成绩相差 6 个百分点，且差异具有统计显著性。排查还发现，严格的容器限制会让瞬时内存波动触发 OOM，内部实验里最多约 6% 的任务因 pod 错误失败，而非模型不会解题。
第二组来自 OpenAI 对 SWE-Bench Pro 的审计。该公开集共有 731 个任务；其数据点分析管线标记 200 个、即 27.4% 可能破损任务，人工标注则识别 249 个、即 34.1%。问题不是单一的“题目太难”，而包括隐藏测试强制未写明的实现、提示遗漏关键需求、测试覆盖过低，以及提示与测试相互矛盾。
第三组来自 OpenAI 的 ARC-AGI-3 复盘：在同一 GPT-5.6 Sol 上，官方 harness 的公开集分数为 13.3%，保留 reasoning 并启用 compaction 的 Responses API harness 为 38.3%，同时输出 token 降低约六倍。这个案例的结论不是应该为了分数定制 benchmark，而是评价报告必须同时说明模型与 harness，才知道结果在测什么。
先承认：Agent 不是单轮模型#
单轮评测可以写成“输入—回答—评分”。Agent 更像一次小型生产运行：它调用工具、修改状态、面对中间失败，并根据观察改变后续行为。任何一个环节不同，结果都可能不同。
所以每次比较都应该显式记录四件事：
| 对象 | 需要固定或披露什么 | 否则会误判什么 |
|---|---|---|
| Task | 输入、成功条件、风险级别 | 同名任务其实不同 |
| Harness | 提示词、工具、记忆、重试策略 | 把系统改进说成模型进步 |
| Environment | 依赖、CPU、内存、超时、网络 | 把资源差异说成能力差异 |
| Grader | 断言、人工规则、容错范围 | 把实现偏好说成正确性 |
这不是为了让评测变慢，而是为了让数字能被解释、能复现、能指导下一步。
分数之外，要保留诊断维度#
一个总分适合看趋势，却不适合修问题。我会至少拆出四个诊断维度：任务完成、过程风险、资源效率和失败可恢复性。
- 任务完成：关键结果是否真的满足用户目标；
- 过程风险：是否越权、泄露、跳过必要校验；
- 资源效率：时间、工具调用、成本是否在预算内；
- 失败恢复：工具异常时是否留下证据、重试有界、能够升级。
两个系统可能同分：一个快速完成但偶发越权，另一个慢一些却稳定升级。对高风险产品，它们绝不是同样的选择。
评测集本身也要有质量治理#
OpenAI 在其审计中估计 SWE-Bench Pro 存在相当比例的破损任务，问题包含提示不足、测试过严、覆盖不足或提示与隐藏测试矛盾。这个结论不等于所有 benchmark 都不可信，而是提醒团队：评测集也需要版本、审计和申诉机制。
我会对每道题维护最小元数据：题目来源、验收契约、已知歧义、环境依赖、失败样例、最近审计时间。当模型显著进步时，还要检查题目是否已经没有区分度，或反而在奖励投机路径。
从线上失败回流，而不是只收集漂亮题目#
最有价值的 eval 往往来自真实工作：用户放弃、工具超时、人工接管、错误发布、边界条件失效。回流流程应当是：线上事件 → 脱敏与归因 → 可复现任务 → 明确 grader → 加入回归集 → 版本对比。
但不能把所有日志直接塞进评测。要区分偶发噪声、数据问题、模型问题和产品流程问题；还要保留一个不参与日常调优的 holdout 集，避免团队只是在熟题上越来越好。
产品经理应该问什么#
每次评测改动，我会要求团队回答：
- 这次要验证的用户任务是什么？
- 通过标准和停止标准分别是什么？
- 变差时，能定位到模型、harness、环境还是题目吗？
- 结果将触发什么产品动作：发布、灰度、回滚还是继续收集证据？
评测不是为模型排名服务，而是让产品在上线前知道自己有哪些已知风险、哪些未知风险，以及下一笔工程投入该花在哪里。
来源与边界#
- Agent eval 的任务、trial、grader 定义参考 Demystifying evals for AI agents；环境影响参考 Anthropic 的 infrastructure noise；评测集质量问题参考 OpenAI 的 SWE-Bench Pro 审计。
- ARC-AGI-3 的设置与结果来自 OpenAI 的 原始复盘。
- 四维诊断、回流流程与产品问题清单是我的方法论整合。