AI 开始参与造下一代 AI，产品团队该量什么

一个 Agent 说自己“完成了任务”，并不能说明它已经适合承担更长、更重要的工作。真正需要回答的是三件事：它参与了多少工作？它做出的动作有没有被看见？团队为安全和能力分别投入了什么资源？

Anthropic 在 2026 年 9 月 17 日发布的 Measurements for understanding the pace of AI development inside frontier labs，没有再给一个单一的模型分数，而是提出三组过程指标：AI 参与 AI 研发的程度、Agent 行动的监督能力，以及算力如何在研发与安全之间分配。它还公布了截至 2026 年 8 月的内部快照。

这篇文章最值得产品团队借鉴的，不是某个数字，而是把“能力进步”拆成一条可追踪的证据链：自动化水平、监督覆盖、复核时延和资源投入必须一起看。

第一组：先量 AI 到底做到了哪一级#

Anthropic 建了一个 R&D Automation Index。它先从 2026 年 7 月模型研发相关部门的工作记录中抽取任务：每周随机抽取各部门 20% 的员工，由研究 Agent 阅读 Slack 和内部文档，整理出约 15,000 个细粒度任务；之后把任务组织成 542 个节点、378 个叶子节点的固定任务树。

每个任务再用 AL0 到 AL5 的自动化等级评分：AL0 是没有 AI，AL3 是 AI 在紧密指导下协作，AL4 是 AI 能根据高层指令端到端完成大部分工作，AL5 才是完全自主。这个等级不是“模型聪明程度”，而是人和系统如何分工的描述。

截至 2026 年 8 月，Claude 在这套口径下领导（AL4）了 26% 的 Anthropic AI 研发工作，超过 90% 的工作至少达到“AI 协作”（AL3），但没有任何被测子集达到完全自主（AL5）。页面图示还显示，AL4 的占比从 2026 年 2 月的不足 1% 增长到 8 月的 26%。

这个结果能说明：在 Anthropic 自己冻结的任务篮子里，人类把更多研发工作交给了能在高层指令下推进的 Agent。它不能说明 Claude 在所有研发任务上都达到 26% 的自主程度，也不能说明研发产出、模型能力或公司效率按同样比例增长。任务篮子是冻结的，新的工作类型可能不会被这个指数捕捉。

第二组：监督不是“有日志”，而是三件可测的事#

第二组指标针对 Agent 行动：覆盖率（动作是否经过监控）、复核时延（动作发生后多久被自动或人工查看）和拦截/升级率（多少动作被阻断、重定向或送人工复核）。

截至 2026 年 8 月，Anthropic 最常用的内部研发平台上约有 30,000 个 Agent 同时做研究和工程工作。这个范围只覆盖该平台。在线监控在执行前检查了这些 Agent 的 100% 动作，离线监控也摄入了 100% 的动作记录；在线监控通常在几秒内完成自动判断，被阻断的动作由人工在一周内复核。

在超过 10 亿次研发 Agent 决策中，在线监控阻断约 0.002%，约为每 47,000 次一次。离线系统每周标记约 100,000 份 transcript，经过多级分类器筛选后，约 50 份升级到人工复核；按活动量计算，约每 1,000 份 transcript 有 1—2 份进入进一步复核。

这些数字不能被读成“只有 0.002% 的动作有风险”。它们是当前监控器的阻断与升级结果，可能同时受策略、阈值、任务分布和漏检影响。覆盖率高也不等于识别能力足够：产品仍要用独立红队、回放和人工抽查验证监控是否真的抓到了重要失败。

第三组：算力投入要先把分类规则写出来#

Anthropic 对 2026 年 7 月 13 日至 20 日的全部算力做了一次快照，把工作负载分成 AI 研发、安全研究等类别。结果是：用于 AI 研发的算力中约 6% 投向安全；用于“由 AI 驱动的 AI 研发”的算力中约 12% 投向安全。

这里的“安全”有明确边界：主导目的必须是让系统更安全、更可理解或更安全地运行；同时有利于能力和安全的工作，会保守地归入 AI 研发。研究训练和评测任务抽样约 14%，并按消耗较大者加权；分类器读取运行元数据与代码，无法读取的 Agent transcript 通常按团队或保守规则归类。

因此 6% 和 12% 不是安全预算比例，也不是安全效果比例。安全研究本身可能不需要大量 GPU，分类边界也有争议；一周快照可以证明“这个测量能做”，不能证明长期趋势。

把这套思路搬进产品评测#

我会把 Agent 产品的上线评估改成三张相互咬合的表：

维度	产品要问的问题	最小证据
自动化水平	任务是辅助、协作、主导，还是完全自主？	冻结任务篮子、AL 等级、人工复核样本
监督能力	关键动作有没有经过监控，出事后多久有人看到？	覆盖率、复核时延、拦截率、升级率
资源与风险	能力增长是否伴随足够的安全投入？	分类规则、算力/调用量、独立抽查

这会改变几个常见决策。第一，模型升级不能只比较成功率，还要看同一任务篮子里的自动化等级是否跨过了新的授权边界。第二，Agent 运行时不能只保存最终答案，要让每个动作绑定身份、时间、工具和可追溯记录。第三，监控指标应成为发布门槛：当 Agent 从“协作”进入“主导”，覆盖率、人工响应时限和回滚路径必须先达标。

监督系统也要接受评测#

Anthropic 的方法有一个容易被忽略的自我检验：自动化等级由 Claude 研究和判断，研究团队再拿人类对相关工作区域的评分做比较。模型与人类的完全一致率为 59%，人类彼此之间为 35%；模型与人类评分相差不超过一个等级的比例为 97%。这并不证明模型评审“客观”，但说明边界案例仍然需要记录和复核。

产品团队可以照搬这个原则：让评分器、人工专家和历史失败样本互相校验；把争议最大的任务单独建成回归集；任务篮子或分类规则变化时，给指标版本号。否则仪表盘上涨，可能只是评分规则变宽了。

来源与边界#

• 原始来源：Anthropic，《Measurements for understanding the pace of AI development inside frontier labs》，发布于 2026 年 9 月 17 日；作者为 Marina Favaro 与 Phillie Wright，Anthropic 提供编辑和研究协作支持。
• 研究对象与方法：Anthropic 内部模型研发工作、最常用的研究与工程 Agent 平台，以及 2026 年 7 月 13—20 日的算力工作负载。AI 研发任务来自 7 月每周抽取的 20% 相关员工工作记录，约 15,000 个细粒度任务被整理进固定任务树；算力分类使用元数据、代码和部分 transcript 的分类器。
• 关键数字：截至 2026 年 8 月，Claude 在冻结任务篮子中 AL4“领导”26%，超过 90% 至少为 AL3，AL5 为 0%；约 30,000 个内部 Agent 的在线和离线监控覆盖率均为 100%；超过 10 亿次决策中在线阻断约 0.002%；安全算力约占 AI 研发算力 6%、AI 驱动 AI 研发算力 12%。
• 原文能说明什么：前沿实验室可以把 AI 参与研发、Agent 监督和安全投入转化为可重复报告的过程指标；这些指标比单个模型能力分数更接近“系统如何被使用和控制”。
• 原文不能证明什么：这不是跨实验室的统一排名，不证明 Claude 在所有任务上具有 26% 的自主能力，不证明监控已经捕捉所有风险，也不证明安全算力占比与安全效果或长期趋势成正比。大部分数据来自 Anthropic 自己的内部系统和分类规则，部分结果是单周快照。
• 本文产品化解读：把“更自主”拆成任务自动化等级、监督覆盖与响应时延、资源和分类规则三条证据链，并把它们接入模型升级与 Agent 授权门槛。这是本文基于原文方法提出的产品框架，不是 Anthropic 验证过的通用评测标准。