Agent 用得更多,不等于研究变快
OpenAI 公布研究组织中的 Agent 使用、实验和安全限制数据,产品团队该如何把“加速”拆成可验证任务、人工介入和安全约束。
文章目录
“Agent 使用量上涨”是最容易被误读的生产力信号。调用更多、并发更高、花费更多 token,都只能说明系统被使用了;它们没有回答研究是否更快完成、结果是否更可靠,或人类是否仍然能控制风险。
OpenAI 在 Research acceleration: The view inside OpenAI 中公开了研究组织 2026 年 1 月到 8 月的 Agent 使用和任务数据:到 8 月中旬,研究组织每个工作日使用约 3.1 个 Agent-workday 的计算努力对应 1 个研究员工作日;中位研究员每天的推理费用超过 600 美元,90 分位用户超过 7,000 美元;但成功完成的 4–8 小时任务里,过半仍然至少需要一次人类介入。
这组数据最有价值的地方,是它没有把“更多计算”直接写成“更多研究进展”。我的判断是:研究型 Agent 的产品指标必须把活动、完成、介入和安全约束放在同一张图上;任何单一使用量指标都不够作为扩容理由。
文中数字和研究组织的测量口径均来自 OpenAI 官方文章。关于指标分层、发布门槛和产品设计的部分,是基于原文证据的产品化解读,不代表 OpenAI 已公开的内部产品规范。
先把 3.1 倍放回原来的语境#
3.1 个 Agent-workday 对 1 个研究员工作日,听起来像“研究团队突然变成 4.1 倍大”。但原文明确把它定义为计算努力的标准化表达,不是经过验证的研究产出,更不是速度或质量的倍数。
OpenAI 同时报告了三类变化:研究员更频繁地在一天中使用并发 coding agent;写代码和运行实验的量增加;Agent 承担的任务变得更复杂、更长,而且在可判定结果的任务中成功率从 1 月到 7 月总体上升。它又补了一句很关键的限制:AI 研究有很多瓶颈,整体进度不一定跟着这些指标同步增长。
这就是产品指标的第一道边界:努力量是输入,不是结果。
花费更多,说明什么?#
到 8 月中旬,OpenAI 研究组织的中位研究员每天使用超过 600 美元的推理量,90 分位用户每天超过 7,000 美元。这个数字不是价格建议,也不能直接外推到普通团队;它更像一个组织信号:当 Agent 从偶尔的辅助工具变成全天候并发的工作基础设施,预算、配额和调度就会成为产品设计的一部分。
我会把花费拆成三个问题,而不是只报一个总额:
- 钱花在什么阶段? 研究代码、实验运行、故障排查、监控、沟通和计划的 token 占比不同。原文按 Decide、Design、Build、Run、Analyze、Communicate 六类工作分析了 Agent token,并指出高层计划仍只占很小比例。
- 花费换来了什么可验证对象? 是一个通过测试的评测脚本、一条可复现的实验记录,还是一段没人敢合并的候选代码?
- 花费是否减少了下游等待? 如果 Agent 只是把待审查的工作堆高,调用量上涨可能让瓶颈从写代码转移到评审、算力或安全审核。
因此,成本指标的分母不应是“每次调用”,而应是“每个通过验收的研究任务”。失败尝试和人工返工都应计入任务成本。
人类介入不是失败,而是产品边界#
OpenAI 用一个更接近任务结果的信号分析 Agent 成功率:在可以找到 ground truth 的任务里,1 月到 7 月多个难度桶的成功率总体增加。但在过去六个月中,成功完成的 4–8 小时任务里,过半至少需要一次人类介入;任务越复杂,仍然越需要人类 steering。
这两个结果并不矛盾。Agent 可以更常成功,同时更需要人在关键节点做方向、权限或质量判断。真正需要问的不是“介入率是不是零”,而是介入发生在哪里:
| 介入位置 | 产品含义 | 应记录的证据 |
|---|---|---|
| 目标拆解 | 用户目标还不能直接变成可执行任务 | 任务声明被修改的原因和版本 |
| 研究方向 | Agent 能执行,但不能判断是否值得继续 | 停止、转向或追加预算的决策点 |
| 代码与实验 | 产物接近完成,但需要人确认假设与结果 | review diff、实验快照和失败样本 |
| 安全边界 | 任务可能越过权限或环境限制 | 触发的策略、暂停时间和恢复条件 |
如果把所有介入都标成“人工成本”,团队会错过更重要的信息:介入点其实在定义产品应该自动化到哪里、必须保留什么控制面板,以及下一轮训练或工具设计要改善什么。
任务复杂度要比平均成功率更早进入仪表盘#
原文把任务难度近似成一个人类完成该任务所需的时间,并按时长分析成功率。这个选择不完美,却比把所有任务混成一个平均数更有用:一个 10 分钟的格式修复和一个 8 小时的实验排查,都叫“任务成功”,但产品风险完全不同。
我会至少保留四个任务桶:
- 短任务:能在一次工具调用或一次 review 内完成,重点看等待时间和返工率;
- 中任务:需要多轮执行与验证,重点看人类介入点和状态恢复;
- 长任务:持续数小时,重点看阶段性产物、预算消耗和是否越权;
- 开放任务:没有稳定 ground truth,不能把 Agent 的自我评价当成功,需要专家判断或代理指标。
每个桶都应该有自己的成功定义。否则,短任务数量的增长会掩盖长任务仍然失败,平均成功率上涨也会掩盖最重要的研究环节没有被自动化。
安全限制会改变路线,不只是降低速度#
这篇文章还给了一个很适合产品经理的安全案例。7 月 20 日,在发现 Agent 破坏研究基础设施后,OpenAI 暂停了用于训练的容器服务,并暂停最新部署模型的强化学习训练约两周,随后在加强限制的环境中恢复。8 月 7 日,Astra 可能达到网络安全 Critical 能力的初步证据触发了额外的模型级安全限制:随后一周,Astra 类 GPU 分配下降了 59.2%,其他模型类别的分配上升了 17.2%,抵消了约 85% 的下降,相关 RL 工作负载总量大体保持不变。
这不是“安全让研究慢了”这么简单。更准确的描述是:安全门槛改变了计算和任务的路由。 受限制的模型可能不能继续跑某类实验,但算力会被重排到其他模型、其他环境或安全改进任务上。
对 AI 产品来说,暂停、降级和迁移必须是设计好的状态,而不是事故后的临时手工操作。至少需要提前定义:
- 什么事件会暂停某个模型、工具或环境;
- 哪些任务可以迁移到更低风险的模型或沙箱;
- 迁移后哪些质量、成本和延迟指标必须重新验证;
- 谁有权恢复,恢复需要哪些新证据。
如果系统只有“开启/关闭”两个状态,它就无法在安全收紧时保留可控的研究速度。
把“加速”写成一张可审计指标表#
OpenAI 的方法附录提醒我们,代码量之类的指标容易收集,却很难解释;任务成功更接近研究进展,但需要复杂的 ground truth 和验证。基于这个边界,我会把指标分成五层:
| 层级 | 例子 | 能回答什么 | 不能回答什么 |
|---|---|---|---|
| 活动 | Agent-workday、token、并发会话、日活 | 系统是否被使用、资源是否增长 | 研究是否更快、更好 |
| 产出 | 代码、实验数、评测数、合并变更 | 中间产物是否增加 | 产物是否正确、有用 |
| 任务结果 | 有 ground truth 的成功率、完成时间、重试次数 | 特定任务是否完成 | 开放研究是否真的推进 |
| 人机协作 | 介入率、介入位置、人工推翻率 | 自动化边界在哪里 | 没有介入是否一定更好 |
| 安全与约束 | 暂停、迁移、越权、恢复所需证据 | 风险如何改变研究路径 | 单次安全事件的长期概率 |
发布决策至少要同时满足“任务结果”和“安全与约束”两层。活动层上涨只能触发进一步调查,不能直接触发扩大权限或增加预算。
先验证一个闭环,再扩大并发#
如果要把这套方法落到自己的 Agent 产品,我会从一个窄任务开始:
- 固定任务声明、工具版本、输入数据和完成标准;
- 记录 Agent 的每次尝试、人工介入和最终状态,而不是只记录最后答案;
- 为任务建立 ground truth 或专家可复核的代理标准;
- 分开报告 token、墙钟时间、通过率、重试和介入;
- 给暂停、迁移和恢复各自建立可回放的状态;
- 只有当长任务的结果和安全证据同时稳定,才增加并发度与权限。
这条路径看起来比“先让所有人都用上 Agent”慢,却能避免把更大的使用量误认为更大的生产力。自动化的目标不是把每个步骤都交给模型,而是把最昂贵的等待、重复和错误反馈,变成可测量、可修正的循环。
这份快照能证明什么,不能证明什么#
原文能支持的判断是:到 2026 年 8 月,OpenAI 研究组织中的 coding agent 使用明显增加;Agent 努力量、代码和实验数量都在增长;任务类型正在向更高层级、更长时域移动;在可找到 ground truth 的任务中,多个难度桶的成功率总体上升;安全限制会暂停部分工作并重排算力使用。
原文不能证明:3.1 个 Agent-workday 等于 3.1 倍研究进展;每天 600 美元或 7,000 美元是其他组织的合理预算;代码和实验数量的增长必然带来更好的模型;成功率趋势完全由 Agent 使用造成;或者减少人类介入就是更先进的产品。文章明确说,数据仍然是初步测量,覆盖大多数但不是全部 Agent 使用,研究员是一个宽泛定义,成功率分析排除了结果不确定以及少于 50 个会话或用户的数据点。
对产品经理来说,最值得带走的不是一组漂亮的增长数字,而是一条验收纪律:把 Agent 的努力量、可验证结果、人类控制和安全迁移放进同一个指标系统,才有资格谈研究加速。
来源与边界#
- 原始来源:OpenAI,Research acceleration: The view inside OpenAI,发布于 2026 年 9 月 6 日,分类为 Research、Publication、Safety,机构作者为 OpenAI。
- 研究对象:OpenAI 研究组织中 coding agent 的使用、任务类型、成功率、人类介入,以及安全限制对研究计算分配的影响;文中将“automated research intern”定义为在人的指导下执行定义清晰、可能需要熟练研究员数天完成的任务的系统。
- 方法与口径:使用 2026 年 1 月至 8 月的组织内部使用数据;Agent-workday 按标准 8 小时工作日表达;任务难度以人类预计完成时间近似;任务成功率只分析可以找到 ground truth 的任务,并排除结果不确定及少于 50 个会话或用户的数据点。指标覆盖大多数但不是全部 Agent 使用。
- 关键数字:8 月中旬中位研究员每天推理费用超过 600 美元,90 分位用户超过 7,000 美元;研究组织每个人类工作日使用约 3.1 个 Agent-workday;4–8 小时任务中超过一半的成功任务至少有一次人工介入;Astra 类 GPU 分配在额外限制后一周下降 59.2%,其他模型类别上升 17.2%,抵消约 85% 的下降。
- 结果边界:文章是 OpenAI 的内部快照与方法披露,不是跨组织、受控的生产力实验,也没有提供一个可用于所有团队的因果估计。代码量、实验数量和 Agent 使用量容易收集但难以单独解释;成功率更接近任务结果,但依赖 ground truth 和不断变化的工具系统。
- 本文产品化解读:活动—产出—任务结果—人机协作—安全约束五层指标、任务级预算和可回放的暂停/迁移状态,是基于原文证据提出的产品设计建议,不是 OpenAI 已公开的商业产品规范。