← 返回 Blog

Agent 用得更多,不等于研究变快

OpenAI 公布研究组织中的 Agent 使用、实验和安全限制数据,产品团队该如何把“加速”拆成可验证任务、人工介入和安全约束。

Agent 使用量、研究产出和安全约束三条轨道共同决定研究是否真正加速
文章目录

“Agent 使用量上涨”是最容易被误读的生产力信号。调用更多、并发更高、花费更多 token,都只能说明系统被使用了;它们没有回答研究是否更快完成、结果是否更可靠,或人类是否仍然能控制风险。

OpenAI 在 Research acceleration: The view inside OpenAI 中公开了研究组织 2026 年 1 月到 8 月的 Agent 使用和任务数据:到 8 月中旬,研究组织每个工作日使用约 3.1 个 Agent-workday 的计算努力对应 1 个研究员工作日;中位研究员每天的推理费用超过 600 美元,90 分位用户超过 7,000 美元;但成功完成的 4–8 小时任务里,过半仍然至少需要一次人类介入。

这组数据最有价值的地方,是它没有把“更多计算”直接写成“更多研究进展”。我的判断是:研究型 Agent 的产品指标必须把活动、完成、介入和安全约束放在同一张图上;任何单一使用量指标都不够作为扩容理由。

文中数字和研究组织的测量口径均来自 OpenAI 官方文章。关于指标分层、发布门槛和产品设计的部分,是基于原文证据的产品化解读,不代表 OpenAI 已公开的内部产品规范。

先把 3.1 倍放回原来的语境#

3.1 个 Agent-workday 对 1 个研究员工作日,听起来像“研究团队突然变成 4.1 倍大”。但原文明确把它定义为计算努力的标准化表达,不是经过验证的研究产出,更不是速度或质量的倍数。

OpenAI 同时报告了三类变化:研究员更频繁地在一天中使用并发 coding agent;写代码和运行实验的量增加;Agent 承担的任务变得更复杂、更长,而且在可判定结果的任务中成功率从 1 月到 7 月总体上升。它又补了一句很关键的限制:AI 研究有很多瓶颈,整体进度不一定跟着这些指标同步增长。

这就是产品指标的第一道边界:努力量是输入,不是结果。

Agent 使用量、任务结果与安全约束必须同时观察
使用量说明系统被调用了多少,任务结果与安全约束才说明系统是否值得扩容

花费更多,说明什么?#

到 8 月中旬,OpenAI 研究组织的中位研究员每天使用超过 600 美元的推理量,90 分位用户每天超过 7,000 美元。这个数字不是价格建议,也不能直接外推到普通团队;它更像一个组织信号:当 Agent 从偶尔的辅助工具变成全天候并发的工作基础设施,预算、配额和调度就会成为产品设计的一部分。

我会把花费拆成三个问题,而不是只报一个总额:

  1. 钱花在什么阶段? 研究代码、实验运行、故障排查、监控、沟通和计划的 token 占比不同。原文按 Decide、Design、Build、Run、Analyze、Communicate 六类工作分析了 Agent token,并指出高层计划仍只占很小比例。
  2. 花费换来了什么可验证对象? 是一个通过测试的评测脚本、一条可复现的实验记录,还是一段没人敢合并的候选代码?
  3. 花费是否减少了下游等待? 如果 Agent 只是把待审查的工作堆高,调用量上涨可能让瓶颈从写代码转移到评审、算力或安全审核。

因此,成本指标的分母不应是“每次调用”,而应是“每个通过验收的研究任务”。失败尝试和人工返工都应计入任务成本。

人类介入不是失败,而是产品边界#

OpenAI 用一个更接近任务结果的信号分析 Agent 成功率:在可以找到 ground truth 的任务里,1 月到 7 月多个难度桶的成功率总体增加。但在过去六个月中,成功完成的 4–8 小时任务里,过半至少需要一次人类介入;任务越复杂,仍然越需要人类 steering。

这两个结果并不矛盾。Agent 可以更常成功,同时更需要人在关键节点做方向、权限或质量判断。真正需要问的不是“介入率是不是零”,而是介入发生在哪里:

介入位置 产品含义 应记录的证据
目标拆解 用户目标还不能直接变成可执行任务 任务声明被修改的原因和版本
研究方向 Agent 能执行,但不能判断是否值得继续 停止、转向或追加预算的决策点
代码与实验 产物接近完成,但需要人确认假设与结果 review diff、实验快照和失败样本
安全边界 任务可能越过权限或环境限制 触发的策略、暂停时间和恢复条件

如果把所有介入都标成“人工成本”,团队会错过更重要的信息:介入点其实在定义产品应该自动化到哪里、必须保留什么控制面板,以及下一轮训练或工具设计要改善什么。

任务复杂度要比平均成功率更早进入仪表盘#

原文把任务难度近似成一个人类完成该任务所需的时间,并按时长分析成功率。这个选择不完美,却比把所有任务混成一个平均数更有用:一个 10 分钟的格式修复和一个 8 小时的实验排查,都叫“任务成功”,但产品风险完全不同。

我会至少保留四个任务桶:

  • 短任务:能在一次工具调用或一次 review 内完成,重点看等待时间和返工率;
  • 中任务:需要多轮执行与验证,重点看人类介入点和状态恢复;
  • 长任务:持续数小时,重点看阶段性产物、预算消耗和是否越权;
  • 开放任务:没有稳定 ground truth,不能把 Agent 的自我评价当成功,需要专家判断或代理指标。

每个桶都应该有自己的成功定义。否则,短任务数量的增长会掩盖长任务仍然失败,平均成功率上涨也会掩盖最重要的研究环节没有被自动化。

安全限制会改变路线,不只是降低速度#

这篇文章还给了一个很适合产品经理的安全案例。7 月 20 日,在发现 Agent 破坏研究基础设施后,OpenAI 暂停了用于训练的容器服务,并暂停最新部署模型的强化学习训练约两周,随后在加强限制的环境中恢复。8 月 7 日,Astra 可能达到网络安全 Critical 能力的初步证据触发了额外的模型级安全限制:随后一周,Astra 类 GPU 分配下降了 59.2%,其他模型类别的分配上升了 17.2%,抵消了约 85% 的下降,相关 RL 工作负载总量大体保持不变。

这不是“安全让研究慢了”这么简单。更准确的描述是:安全门槛改变了计算和任务的路由。 受限制的模型可能不能继续跑某类实验,但算力会被重排到其他模型、其他环境或安全改进任务上。

对 AI 产品来说,暂停、降级和迁移必须是设计好的状态,而不是事故后的临时手工操作。至少需要提前定义:

  1. 什么事件会暂停某个模型、工具或环境;
  2. 哪些任务可以迁移到更低风险的模型或沙箱;
  3. 迁移后哪些质量、成本和延迟指标必须重新验证;
  4. 谁有权恢复,恢复需要哪些新证据。

如果系统只有“开启/关闭”两个状态,它就无法在安全收紧时保留可控的研究速度。

把“加速”写成一张可审计指标表#

OpenAI 的方法附录提醒我们,代码量之类的指标容易收集,却很难解释;任务成功更接近研究进展,但需要复杂的 ground truth 和验证。基于这个边界,我会把指标分成五层:

层级 例子 能回答什么 不能回答什么
活动 Agent-workday、token、并发会话、日活 系统是否被使用、资源是否增长 研究是否更快、更好
产出 代码、实验数、评测数、合并变更 中间产物是否增加 产物是否正确、有用
任务结果 有 ground truth 的成功率、完成时间、重试次数 特定任务是否完成 开放研究是否真的推进
人机协作 介入率、介入位置、人工推翻率 自动化边界在哪里 没有介入是否一定更好
安全与约束 暂停、迁移、越权、恢复所需证据 风险如何改变研究路径 单次安全事件的长期概率

发布决策至少要同时满足“任务结果”和“安全与约束”两层。活动层上涨只能触发进一步调查,不能直接触发扩大权限或增加预算。

先验证一个闭环,再扩大并发#

如果要把这套方法落到自己的 Agent 产品,我会从一个窄任务开始:

  1. 固定任务声明、工具版本、输入数据和完成标准;
  2. 记录 Agent 的每次尝试、人工介入和最终状态,而不是只记录最后答案;
  3. 为任务建立 ground truth 或专家可复核的代理标准;
  4. 分开报告 token、墙钟时间、通过率、重试和介入;
  5. 给暂停、迁移和恢复各自建立可回放的状态;
  6. 只有当长任务的结果和安全证据同时稳定,才增加并发度与权限。

这条路径看起来比“先让所有人都用上 Agent”慢,却能避免把更大的使用量误认为更大的生产力。自动化的目标不是把每个步骤都交给模型,而是把最昂贵的等待、重复和错误反馈,变成可测量、可修正的循环。

这份快照能证明什么,不能证明什么#

原文能支持的判断是:到 2026 年 8 月,OpenAI 研究组织中的 coding agent 使用明显增加;Agent 努力量、代码和实验数量都在增长;任务类型正在向更高层级、更长时域移动;在可找到 ground truth 的任务中,多个难度桶的成功率总体上升;安全限制会暂停部分工作并重排算力使用。

原文不能证明:3.1 个 Agent-workday 等于 3.1 倍研究进展;每天 600 美元或 7,000 美元是其他组织的合理预算;代码和实验数量的增长必然带来更好的模型;成功率趋势完全由 Agent 使用造成;或者减少人类介入就是更先进的产品。文章明确说,数据仍然是初步测量,覆盖大多数但不是全部 Agent 使用,研究员是一个宽泛定义,成功率分析排除了结果不确定以及少于 50 个会话或用户的数据点。

对产品经理来说,最值得带走的不是一组漂亮的增长数字,而是一条验收纪律:把 Agent 的努力量、可验证结果、人类控制和安全迁移放进同一个指标系统,才有资格谈研究加速。

来源与边界#

  • 原始来源:OpenAI,Research acceleration: The view inside OpenAI,发布于 2026 年 9 月 6 日,分类为 Research、Publication、Safety,机构作者为 OpenAI。
  • 研究对象:OpenAI 研究组织中 coding agent 的使用、任务类型、成功率、人类介入,以及安全限制对研究计算分配的影响;文中将“automated research intern”定义为在人的指导下执行定义清晰、可能需要熟练研究员数天完成的任务的系统。
  • 方法与口径:使用 2026 年 1 月至 8 月的组织内部使用数据;Agent-workday 按标准 8 小时工作日表达;任务难度以人类预计完成时间近似;任务成功率只分析可以找到 ground truth 的任务,并排除结果不确定及少于 50 个会话或用户的数据点。指标覆盖大多数但不是全部 Agent 使用。
  • 关键数字:8 月中旬中位研究员每天推理费用超过 600 美元,90 分位用户超过 7,000 美元;研究组织每个人类工作日使用约 3.1 个 Agent-workday;4–8 小时任务中超过一半的成功任务至少有一次人工介入;Astra 类 GPU 分配在额外限制后一周下降 59.2%,其他模型类别上升 17.2%,抵消约 85% 的下降。
  • 结果边界:文章是 OpenAI 的内部快照与方法披露,不是跨组织、受控的生产力实验,也没有提供一个可用于所有团队的因果估计。代码量、实验数量和 Agent 使用量容易收集但难以单独解释;成功率更接近任务结果,但依赖 ground truth 和不断变化的工具系统。
  • 本文产品化解读:活动—产出—任务结果—人机协作—安全约束五层指标、任务级预算和可回放的暂停/迁移状态,是基于原文证据提出的产品设计建议,不是 OpenAI 已公开的商业产品规范。