心理健康 AI 的评测，不能只看它会不会拒答

一个人说“朋友最近很疏远，我还要不要带她参加生日旅行”，好的 AI 不该抢着替他决定，也不该把普通的人际困扰一律升级成危机。它需要先听懂上下文、尊重当事人的选择，再给出合适的下一步；如果对话真的出现紧急风险，响应方式又必须及时改变。

这正是心理健康产品最难评的部分：安全不只是拒绝有害内容，也包括在不同情境下给出适度、具体、不越权的帮助。 OpenAI 于 2026 年 9 月 23 日发布的 MentalHealthBench，把这类判断做成了一个开放评测基准。它最值得产品团队借鉴的，不是模型名次，而是把“应该怎样回应”拆成可检查的行为标准。

从一段对话，而不是一句提示开始#

MentalHealthBench 包含 1,215 段合成的多轮心理健康对话。数据生成先用隐私保护方式归纳真实使用中的高层情境、用户背景和表达风格，再由语言模型模拟对话；评测模型看到完整对话前缀，针对最后一轮用户消息生成回答。

对话覆盖三个紧急程度：日常、非急性困扰占 53.5%；高强度但尚非紧急的情况占 18.2%；需要及时现实世界支持的紧急情况占 28.3%。人物情境包括成年人、13–17 岁青少年、照护者和临床工作者。主题从关系问题、焦虑、用药疑问到自伤风险都有；部分任务还会提供此前已知的用户背景，检查模型是否正确使用它。

这些比例描述的是评测集如何构成，不代表真实用户的议题分布。OpenAI 明确说明，基准中的情境配比不是 ChatGPT 对话发生频率的估计。

把“好回答”拆成可以观察的行为#

80 多位持证心理健康专家参与设计，来自 22 个国家、使用 19 种语言，涉及近 20 个专业方向。每段对话由两位专家独立撰写针对最后一轮回答的评分标准，再由第三位专家审阅、补充并裁定分歧。青少年场景由有近期未成年人诊疗经验的专家审核。

评分标准不是简单的“安全／不安全”标签。每条标准对应一个行为，例如是否询问必要背景、是否保留用户的决定权、是否给出切合情境的具体建议，或是否避免强化缺乏依据的信念。专家给每条标准 -10 到 +10 的权重：有益行为获得正分，可能造成伤害的行为产生负分，权重大小表达该行为在当前情境下的临床重要性。

论文把这些标准归为十个可诊断的行为维度，包括上下文理解、可执行指导、临床准确性、同理支持、用户自主权、伤害避免，以及对紧急程度的校准。这样，团队看到的不只是“总体变好或变差”，还可以追问：模型是没问对问题、把普通困扰误判成危机，还是在高风险时没有及时引导现实支持？

分数要同时看帮助与风险#

论文使用每段对话四次独立采样的回答，并让 GPT‑5.6 Sol 在高推理强度下，逐条判断回答是否满足专家标准。多数汇总结果采用 task-clipped rubric score：每段回答的加权分数低于零时按零计，再对任务取平均。图表同时展示未截断的正向得分与负向惩罚，误差线为 95% 置信区间。

全体模型的 task-clipped 均值中，GPT‑6 Astra 为 57.3%，GPT‑6 Sol 为 53.9%，Claude Opus 5.5 为 52.4%。这些是这套合成任务、专家标准与采样设置下的结果，不是临床成效，也不是“能不能用作治疗”的认证。

尤其值得看的是正负项的拆分：GPT‑6 Astra 获得了可用正向分值的 69%，负向惩罚负担为 19%；Claude Opus 5.5 的正向分值为 73%，但惩罚负担为 33%。这组数字不能被读成谁“整体更好”——它恰好说明，愿意给出更多有帮助内容，与避免高代价失误，是两件需要分别诊断的事。一个总分会把这种取舍压扁。

论文还单独邀请了 44 位有 AI 心理健康支持使用经验的成年人，评价非急性对话。用户更常强调语气和实际下一步；临床专家更重视先补齐上下文、谨慎解释模糊情况。作者将用户视角视为专家指导的补充，而非替代；两组标准存在不宜直接合并的差异。

对产品团队的启发：让评测结果能改变发布决策#

这份基准让我更愿意把高敏感场景的评测设计成一组分层关口，而不是一个上线分数。

1. 按风险等级设不同验收条件。 日常关系困扰主要检查是否理解处境、不过度替用户决策；紧急场景则要单独检查风险识别、求助引导和升级机制。两个场景不能共用一个“友好度”阈值。
2. 把行为维度映射到产品动作。 上下文不足时追问；用户自主权受损时避免直接下结论；紧急风险漏识别时阻止扩量并要求人工复核。每类失败都应有自己的负责人、门槛和回退动作。
3. 用户体验与安全标准并列，不互相替代。 用户偏好能告诉团队回答是否自然、是否有用，但不能单独决定临床安全；专家标准也不能代替真实用户反馈。产品需要保留两条证据，并处理它们发生冲突的情形。
4. 把线上失败变成版本化回归题。 在隐私和合规约束下，将用户申诉、人工接管、过度升级和漏升级等事件脱敏归因，再形成可复现的测试样本。新版本上线前既看收益，也看这些已知失败有没有反弹。

我会把发布评审压缩成三个问题：它在哪类对话中更有帮助？它在哪类对话中更容易造成伤害？这两种变化分别触发什么上线或回滚动作？如果团队只能回答一个总分，就还没有足够的信息作发布决定。

来源与边界#

• 原始来源： OpenAI 于 2026 年 9 月 23 日发布 Introducing MentalHealthBench 及论文 MentalHealthBench: An Expert-Informed Benchmark of AI Capabilities in Realistic Mental Health Conversations，作者为 Ali Malik、Declan Grabb、Rebecca Soskin Hicks、Rahul K. Arora、Preston Bowman、Michael Sharman、Sahra Ghalebikesabi、Mikhail Trofimov、Vinnie Monaco 与 Karan Singhal，机构为 OpenAI。
• 研究对象与方法： 1,215 段合成多轮对话；由持证专家按情境编写、加权并裁定行为标准；每个模型任务采样四次，以 GPT‑5.6 Sol 高推理强度逐项判分。跨提供商模型使用各自 API 的默认推理强度、温度和详尽程度（适用时），因此不是严格控制所有生成配置后的模型因果比较。
• 关键结果： 论文报告 GPT‑6 Astra、GPT‑6 Sol、Claude Opus 5.5 的 task-clipped 均值分别为 57.3%、53.9%、52.4%，并报告 95% 置信区间及正向得分／负向惩罚拆分。这些数字只描述基准内表现；模型版本按各提供商截至 2026 年 9 月 23 日最新可评估模型选取。
• 解释边界： 对话是依据隐私保护的高层使用模式合成的测试样本，不是用户临床结局；情境占比不是现实发生率。语言、文化、主题与紧急程度没有被完全匹配，论文指出语言间比较无法单独识别语言影响；图表列出的非英语样本中，中文只有 1 段。评测依赖专家 rubric 和模型评分器，且四次采样不能覆盖真实部署中的所有行为。基准不能证明疗效、危机干预效果或实际产品安全性。
• 本文判断： 按风险拆分发布门槛、把行为失败连接到追问／升级／回滚，以及让用户和专家标准并行，是我的产品化推演，不是 OpenAI 已验证的临床方案。