论文链接：

• Do AI Scientists Know What’s New? (ClaimNov, arXiv:2610.36511)
• Training language models in simulation for psychiatric intake (arXiv:2610.40476) 代码：ClaimNov 代码与数据开源（github.com/emmatliu/claimnov）；精神科接诊 RL 论未开源（依赖 Google 内部基础设施） 发表时间：均于 2026 年 10 月下旬提交 arXiv（ClaimNov v1 于 10 月 27 日、精神科 RL 于 10 月 29 日） 机构：
• ClaimNov：University of Illinois, Urbana-Champaign（4 作者）
• 精神科接诊 RL：Google DeepMind + Google Research + Google for Health + Stanford + UCLA + UCSF + Johns Hopkins + Harvard Medical School/MGH + Harvard + WashU + Yale + UT Austin + NYU + UPenn + Columbia + Beth Israel Deaconess 等多家医学院（17 家机构联合） 领域标签：cs.CL（AI 科学家 / 新颖性检查）与 cs.AI（医疗对话 AI / 精神科接诊 / 强化学习）

一、引言：可信 AI 的两个新前线

2026 年的 AI 研究正同时向两个方向纵深。一个方向是让 AI 自己做科研：AI Scientist、CoI-Agent、AI Co-Scientist 等端到端管线已经能生成想法、检索文献、执行实验、写出论文。另一个方向是让 AI 进入高风险的真实场景：医疗对话 AI 从问答走向多轮接诊，从全科走向精神科——一个「谈话本身就是诊断仪器」的科室。

这两个方向看似毫无交集，却在 2026 年 10 月底被两篇论文用同一个词钉在了一起：可信（trustworthy）。

• 第一篇来自 UIUC，问的是一个 AI 科学家管线里最基础也最致命的问题：管线里那个决定「哪个想法值得投入算力和人类注意力」的新颖性检查，到底靠不靠谱？当它否决一个想法时，它究竟是在拒绝真正的重复工作，还是在错杀人类研究者后来做出来的新想法？论文标题起得毫不客气——Do AI Scientists Know What’s New?（AI 科学家知道什么是新的吗？）
• 第二篇来自 Google DeepMind 牵头的 17 家机构联合体，做的是迄今最严格的精神科对话智能体验证：在模拟环境里用多轮强化学习训练模型做精神科接诊（病史采集、鉴别诊断、初始管理），然后请 32 名执业精神科医生扮演患者、另外 15 名双盲评分，验证模拟中习得的能力能否迁移到与人类专家的真实对话。

两篇论文的共同底色是：都不满足于展示能力，而是首先建立对能力声称的审计机制。ClaimNov 用时间截断的真值数据集审计了 7 个已部署的新颖性检查，发现它们几乎全军覆没；精神科 RL 论文用三层评估（人类 OSCE + 自动化套件 + Delphi 对抗压力测试）审计自己的训练成果，并坦承「全面且适当的治疗推荐仅 46.7%」「至少一条关键接诊问题被遗漏的比例 60.6%」这类残缺数字。前者审计的是 AI 科研流程自身的质量控制，后者示范的是高风险医疗场景的验证科学——这正是可信 AI 的两个新前线，也是本篇把它们放在一起精读的理由。

第一篇：ClaimNov——AI 科学家知道什么是新的吗

二、论文一：题目与背景

2.1 题目拆解

论文标题「Do AI Scientists Know What’s New?」是一个反问，而摘要里的答案相当难堪：基于当前的新颖性检查，AI 科学家们基本上不知道——「要么拒掉这个领域后来发表的大部分工作，要么几乎什么都不拒」。

副标题里的方法名 CLAIMNOV（声明级新颖性模块）由 Claim（声明）与 Novelty（新颖性）拼接而来，名字本身就是核心主张：新颖性的正确判断单元是 claim（一条原子贡献声明），不是 proposal（整个研究提案）。

2.2 背景：AI 科学家管线里的隐形闸门

AI 科研发现系统是一个快速膨胀的领域。AI Scientist v1/v2、CoI-Agent、ResearchAgent、Agent Laboratory、Robin、AI Co-Scientist 等管线已产出看起来像真正发现的结果。几乎每条管线都有一个新颖性检查环节——通常的实现是检索 Semantic Scholar，再让 LLM 裁判判断想法与检索结果是否过近——而这个检查决定哪些生成的想法能获得后续的算力与人类关注。

论文指出，只在整提案层面做新颖性检查有三个结构性缺陷：

1. 判断整提案的新颖性对人类专家都很难：标注昂贵，标注者之间对「什么算新颖」分歧严重；
2. 与人类科学的增量性传统相悖：人类科学是渐进的，多数好论文也不是每条贡献都全新，整提案级否决会系统性地惩罚正常的增量研究；
3. 不可解释：整提案级检查在否决时无法确切知道它是否指认了正确的先行工作，只能「整体扔掉」。

结论指向一个设计原则：正确的单元是 claim，不是 proposal。

2.3 相关工作的三条脉络

论文的相关工作梳理了三条脉络：（1）传统新颖性度量（引用组合的奇异性、文本语义距离、新问题-方法组合等文献计量与文本方法）；（2）文献接地的 LLM 新颖性评估（检索后修订想法、判断论文与近邻相似度、按 facet 重排检索结果、原子内容单元比对等），以及对其批评——LLM 新颖性裁判偏好专家评分更低的问题、与事后论文对齐差；（3）AI 科学家系统的新颖性检查盘点（附录 A 系统调查了 17 条管线，从硬过滤到建议性打分再到候选间排序）。

ClaimNov 的差异化定位：专门评估已部署在 AI 科学家管线内部的新颖性检查，用反事实变化（伪装/移除源/拼接）而非与人类新颖性标签的对齐来做评测——类似改写攻击测试文本检测器的思路。

三、论文一：定位与问题定义

3.1 一个理想新颖性检查模块的三重要求

论文开头就画出了靶子：理想的新颖性检查必须能（1）拒绝非新颖想法；（2）不误拒太多新颖想法；（3）指出提案中哪些部分不新颖，而不是不透明地丢弃整个提案。已部署检查在第（2）、（3）项上的表现，此前从未被系统测量过。

3.2 时间截断：防 LLM 裁判「背答案」

因为七个被评估的检查里六个用 LLM 当裁判，论文设定时间截断 T = 2026 年 3 月，只使用训练截止早于 T 的模型，所有测试数据都尽量取自 T 之后的事件（如 ICML 2026 spotlight 论文、T 之后的引用论文），从机制上排除裁判从训练数据里认出论文的可能。这个设计是整个评估框架的基石——所有「真值」都来自发表记录的时间结构，而非昂贵且易分歧的人工新颖性标注。

3.3 标准化的评估契约

为了让机制各异的检查可比，论文统一了输入输出：输入是（提案 = 标题 + 150–400 词描述，参考池 = {id, 标题, 摘要} 列表），带搜索的检查被沙箱化为对池的稠密检索。输出分三层：L1 判决（pass/fail + 理由）、L2 新颖性分数、L3 新颖性 profile（每条 claim 及其匹配的先行声明、蕴含级别、来源论文）。现有检查只输出 L1，而 ClaimNov 由 L3 决定 L2 与 L1——这层信息差正是后面实验里拉开差距的根源。

四、论文一：解法——五阶段声明级流水线

4.1 声明抽取：带类型学的贡献声明

ClaimNov 用 gpt-4o-mini（温度 0，GEPA 调优的提示词）从提案的标题与描述中抽取贡献声明列表，每条声明带一个维度标签与属性-值对：

• Problem：新问题形式化、新任务、新场景；
• Methodology：新算法、架构、训练过程、损失函数；
• Resource：新数据集、基准、工具、模型发布；
• Result：新实证或理论发现（如 CIFAR-10 准确率从 30.1% 提升到 76.9%）。

每个提案平均抽取 2.4–2.7 条声明（提示词允许 1–4 条），符合 AI 研究的贡献数惯例。抽取提示词里有大量精细的边界规则（比如「目标函数若为论文提出的求解技术则归 Methodology，若为论文证明的理论刻画则归 Result」），并对 20 篇论文的人工三标注真值做了验证（F1 0.674/0.695，维度 κ 0.793/0.744）。

4.2 同维度声明检索

对每条声明，用 text-embedding-3-large 嵌入（声明文本 + 所属论文标题），从池中检索同维度的 k 近邻声明（每篇池论文至多一条）。检索深度 k = max(10, 0.2·n_d)（n_d 为该维度有声明的池论文数），封顶 40。只用同维度检索的依据来自验证：159 条争议声明里只有 3 条跨维度。标题同时挂在查询端与候选端（D4 配置）效果最好。

4.3 分级蕴含评级

gpt-4o-mini 对每对（提案声明 c，池声明 c’）打 1–5 级蕴含分：1 无关、2 仅共享话题、3 部分覆盖且重要细节不同、4 强覆盖仅缺次要细节、5 完全覆盖实质内容。线性映射到 [0,1]：e = (ℓ−1)/4。这个分级设计比二值蕴含保留了「覆盖到什么程度」的信息——后面会看到这是区分「建立在既有工作上」与「整体不新」的关键。校准实验显示各级裁判与人类多数标注的一致率超过人类标注者之间的一致率。

4.4 新颖性聚合：秩折扣 + 维度权重

每条声明的覆盖分是排序后蕴含分的秩折扣均值（α=0.5，平衡最强匹配与较弱匹配）。声明分合成提案级分数时用维度权重：Problem 0.4、Result 0.3、Methodology 0.2、Resource 0.1——编码了 AI 研究中贡献类型的先验价值，可换领域调参。最终 N(P) = 1 − A(P)/Amax(P)。

4.5 新颖性判决：强裁判读完整 profile

最后一级用更强的 claude-sonnet-4-6 读完整 profile Φ(P)——提案抽取的每条声明、匹配到的先行声明及其来源（含摘要）、蕴含级别——给出 pass/fail。fail 时输出先行论文 p*、被覆盖的声明子集与一两句话理由。判决提示词的判准很讲究：「被预期的外围声明不构成不新颖，被预期的核心贡献才构成；提案建立在其上的表面话题重叠或相关先行工作 = 新颖」。

这个五阶段流水线里，前面的轻量阶段用便宜模型（gpt-4o-mini）、只在最终判决用强模型，单次判决成本 $0.010，约为 CoI-Agent 检查调用（$0.039）的四分之一，延迟 2.6 秒对 19 秒。

五、论文一：评估框架——1060 个提案的四数据集

论文配套建立了四套带时间真值的数据集，这是与模块本身同等重要的贡献：

5.1 已完成想法（n=400 → 380 可用，整提案级）

取 100 篇 ICML 2026 spotlight 论文（v1 arXiv 出现在 T 之后），用 Sonnet 4.6 把每篇伪装成新研究提案，四级难度递增：rung 1 换语气（we did → we propose）、rung 2 深度改写（无超过 4 词的短语匹配）、rung 3 换动机重构（不同切入点、贡献重排序、方法匿名）、rung 4 对抗性重构（不同理论起点、数字泛化、匆忙读者会当成无关新想法）。rung 3/4 需验证器确认核心贡献不变，且要求伪装文本的 6-gram 与原文重合不超过 2%。参考池 = 源论文 + 至多 19 篇 T 前近邻论文。正确行为：源在池中时应拒绝，源移出后应放行——后者构成「池翻转」（pool-flip）真值。

5.2 声明争议想法（n=200 → 160 可用，声明级）

用正则预筛 + gpt-5-nano 分类挖掘 8.3k 条 ICLR 2022–23 评审，找出评审指出论文 A 的某贡献已被先行工作 B 建立的争议对；将 A 改写为提案语态，把 B 混入 19 篇干扰论文。记录 ICLR 最终决定（62 接收 / 96 拒稿）。正确行为：指认出 B，但不因一条争议声明否决整个提案。人工抽验 100 对：双标注者对「争议是否真实」一致率 81%（κ=0.62），多数裁决后 59/100 真实争议且 B 正确指认。

5.3 后来实现想法（n=400，整提案级，误报测试集）

取 30 篇 NeurIPS 2025 锚点论文（排除基准/数据集/综述，均有 ≥50 篇 T 后引用），用 Sonnet 4.6 从锚点摘要生成新提案（共 3000 个），再由 Opus 4.6 给每个提案写贡献清单，分别判断每条贡献是否被池内 8 近邻论文与 T 后引用集 F 中 8 近邻论文建立。「后来实现」= 至少一条贡献被 F 建立且无贡献被池建立——即池里没有、但人类后来确实做了。从 407 个中随机取 400 构成此集。正确行为：放行。误报率（FA）就在这 400 个上测。

5.4 混合提案（n=100，声明级）

取 100 个后来实现想法，各拼接一篇中等相似度池论文（余弦相似度排名 5–15）B 的核心贡献。正确行为：放行 + 正确指认 B。这模拟的是科学中最常见的形态：新想法站在一条既有贡献之上。

四个数据集合计 1060 个提案，加上 7 个被审计检查与 ClaimNov 及其消融，构成完整的评测矩阵。

六、论文一：实验证据——审计发现与 ClaimNov 表现

6.1 整提案审计：高捕获与高误报的强耦合

Table 1 的主结果（所有检查统一用 Sonnet 4.6 做裁判，ARC 为词法除外）是这篇论文最有冲击力的发现：

三个关键读数：

1. 「拒非新最狠的检查也拒新最狠」：Si et al. 抓住全部 380 个伪装，但拒绝了 96% 的人类后来实现想法、359 个源已移出的提案——它本质上是在拒绝一切与文献沾边的东西。ResearchAgent 误报 98.5%，J 值甚至为负。另一端，ScholarEval 靠「什么都不拒」拿到 0% 误报，但也放行一切（捕获 0）。现有检查要么是偏执的守门员，要么是空门。
2. ClaimNov 与 CoI-Agent 是仅有的两个均衡者，两者统计上持平（聚类检验 ΔJ +0.025 [−0.05, +0.12]），但 ClaimNov 的判决调用成本只有 CoI-Agent 的四分之一，且在其余两个数据集上显著更强（见下）。
3. 消融锁定关键组件：去掉声明级 profile、让裁判裸读 8 篇近邻摘要，误报从 1.5% 涨到 11.8%；换成「任一核心声明被蕴含即拒」的逐声明规则，捕获拉满 380 但误报飙到 56.8%、错拒 197 个源移出提案——声明级分解是必要的，但必须软聚合后交给强裁判整体判决；任何声明级设计都不等于声明级正确。

人类抽查佐证：45 个后来实现想法人工复核确认 28 个相对池为新颖，ClaimNov 在这 28 个上只错拒 2 个（w/o-profile 版本拒 6 个）；对 9 个人类判定已完成的想法，ClaimNov 拒 0 个，w/o-profile 版本拒 7 个、还错拒了 3 个人类判定为新颖的。

6.2 声明级先行工作：一条争议声明不等于一个该死的提案

在 160 个 ICLR 争议提案上（Table 2），ClaimNov 展现了整提案检查在结构上不可能有的行为：对最终被 ICLR 接收的提案只拒 3%——所有能抓伪装的检查中最低（CoI-Agent 10%，Si et al. 81%，AI Scientist v1 53%，ResearchAgent 47%）。「一个有争议声明的提案不该被整体否决」——这个人类科学界的常识，第一次被量化地做了出来。

指认先行论文 B 的能力上有个有趣的反转：现有整提案检查只在拒绝时才指认来源，所以 Si et al. 靠拒掉 80% 的提案才换来 47% 的 B 指认率，CoI-Agent 放行 89% 就只能对剩下 11% 指认。而稠密嵌入按整提案相似度排 B 反而更准（37% vs ClaimNov profile 排序的 21%）——因为评审指认的 B 往往就是整提案最近的论文。论文的处理很坦诚：把稠密排序作为共享的指认层配给每个判决，则 ClaimNov + 稠密排序 = 放行 97% + 指认 B 并放行 36%，压过 CoI + 稠密的 31%（p=.016）。判决与指认解耦，各用所长。

6.3 混合提案：科学增量性的试金石

100 个混合提案（新想法 + 拼接一条 B 的既有贡献）上（Table 3），ClaimNov 放行 91/100，显著高于 CoI-Agent 的 76（p=.004）；配上 BM25 共享排序后「放行且正确指认 B」67 个，对 CoI-Agent 的 53（p=.004）。OpenNovelty 风格基线保留 64 个但代价是 11.5% 误报。ClaimNov 的机制解释：当拼接声明被成功抽取为独立声明时，蕴含裁判把 B 评为 4–5 级覆盖，判决阶段正确读出「几条新声明中有一条既有的 = 建立在既有工作上的提案」。可靠性交叉验证：混合集上被评 4 级以上的 15 篇论文中 13 篇是 B，而 400 个后来实现想法中只有 9 个触发 4 级以上——这个蕴含级别确实携带「真先行」信号。

6.4 鲁棒性

换裁判家族（gpt-oss-120b、Llama 4 Maverick）时捕获率下降但「profile 降误报」的结论不变；换标签器（gpt-5、双模型一致子集、剔除整提案级判已完成的 101 个）误报稳定在 1.3%–1.5%；池从 20 扩到约 200 篇时最难 rung 的捕获下降（35→28）但源移出误拒仍近零；重复运行稳定（J 波动 <0.005）。局限性也交代得诚实：仅覆盖 AI 领域与英文、池是固定列表而非开放搜索、伪装与判决同模型（Sonnet 4.6）可能自偏好、时间真值数据集会随时间衰减需重建、闭环内（拒绝-再生成）的行为未测（只做了小规模试点）。

七、论文一：知识反推——复现它你需要知道什么

领域层：

• AI 科学家管线的检查形态学：硬过滤（AI Scientist v1 的 agentic 搜索循环、CoI-Agent 的拒绝-再生成、Si et al. 的检索过滤）、建议性评分（ResearchAgent 的 Originality 1–5、ScholarEval 的两两贡献打分）、候选间排序（Robin、AI-Researcher）——不知道这些检查的原生输入输出格式，就无法统一评估契约；
• 科学新颖性度量的两条传统：文献计量（异常引用组合、颠覆性指数）与文本（语义距离、新问题-方法组合），以及它们的验证方式（专家判断、后续影响）——ClaimNov 站在文本传统里；
• 声明抽取的上游生态：科学信息抽取（Luan et al.）、facet 级想法视图（Radensky et al.）、声明验证（Fact or Fiction）——类型化贡献声明的四维分类法（Problem/Methodology/Resource/Result）是对这套生态的继承与收紧。

方法论层：

• 时间截断真值构造：用「T 后发表的伪装论文」「T 后实现的生成想法」这类时间结构免掉人工新颖性标注——任何涉及 LLM 裁判的评测都可借鉴，防背答案；
• 反事实评测：伪装四级难度（换语气→深改写→重构→对抗性重构）、源移出的池翻转、声明拼接的混合提案——评测单元的改变（加一个源、拼一条声明）比造全新数据更能隔离因果；
• 判决与指认解耦：整提案检查把「是否拒绝」与「指认谁」捆绑（只在拒绝时指认），配共享检索排序后两者正交——组合系统里耦合的两个功能应显式拆开评估；
• 消融的三向验证：去 profile（证明证据粒度重要）、换逐声明规则（证明软聚合重要）、固定检索深度（证明鲁棒性来自结构而非调参）——三个消融分别排除了三种替代解释；
• 成本-精度权衡的分层模型分配：轻抽取/轻蕴含用 gpt-4o-mini，重判决用 Sonnet——四次价差与七倍延迟差的工程依据。

融合关键节点：把「新颖性」从提案级黑箱判决重构为声明级证据链——抽取（带类型）→ 检索（同维度）→ 分级蕴含 → 软聚合 → 强裁判读 profile 判决。五个阶段环环相扣：没有类型学就没有同维度检索，没有分级蕴含就没有「部分新颖」的表达，没有 profile 强裁判就退回裸读摘要的 11.8% 误报。

八、论文一：通用灵感

1. 先审计已部署的东西，再造新的。这篇论文一半的贡献是审计——7 个已上线检查几乎全军覆没的发现，比 ClaimNov 本身的数字更有行业价值。任何系统里「早就存在的组件」（重排器、过滤器、裁判）往往从未被系统测过。
2. 误报与漏报的权衡不是调参问题，是结构问题。Si et al. 与 ScholarEval 占据光谱两端，说明同一结构（整提案判决）内调阈值到死也到不了 96.6% 捕获 + 1.5% 误报的组合——改变判断单元（claim）才改变帕累托前沿。
3. 「部分满足」需要显式表达。二值系统无法说「三条贡献里一条是旧的」；分级蕴含 + profile 把部分新颖变成一等公民。任何「合格/不合格」的粗粒度判定（代码审查、简历筛选、内容审核）都可能从这种分级化中获益。
4. 时间是不可伪造的真值来源。「人类后来做了这个想法」是自然实验，无需人工标注。数据构造里凡能用时间结构（发布先后、引用先后）代替主观标注的地方，都更便宜且更少分歧。
5. 判决要能指出证据。ClaimNov 拒绝时给出先行论文、被覆盖声明与理由——可申诉的判决才是可信任的判决。黑箱否决（拒绝且不给证据）在管线里积累的是不可见的偏差。

第二篇：精神科接诊 RL——在模拟器里学会问诊

九、论文二：题目与背景

9.1 题目拆解

论文标题「Training language models in simulation for psychiatric intake」的每个词都有讲究：

• in simulation：训练发生在模拟环境里——不接触真实患者，用生成场景 + 患者模拟器构成可规模化的训练场；
• psychiatric intake：精神科接诊入院评估——病史采集、鉴别诊断、初始管理计划，一个以谈话为诊断仪器的完整临床流程，不是单轮问答。

核心研究问题是：语言模型能否通过在模拟临床环境中训练，习得精神科接诊的两类耦合能力——诊断推理（鉴别诊断、精神药理、风险分层）与人际处理（读情绪与心理防御、危机降级、共同决策、去污名化沟通）。论文开篇点出这两个维度在精神科纠缠得尤其深：探询太激进会撕裂融洽关系，过度共情验证又永远到不了诊断。

9.2 背景：为什么精神科是医疗对话 AI 的硬骨头

已有医疗对话 AI（AMIE 等）在全科问诊上表现出色，但评测基本排除了精神科呈现。关键差别：全科里对话采集的病史可以由体检与化验补足，精神科里对话本身就是主要诊断仪器——关键病史与风险因素要靠技巧性探询才能浮现（患者常不认识既往治疗失败或引起症状的共病与症状的相关性）。若最终验证可用，接诊系统可承担监督下的诊前工作流：预采病史、系统回顾、用药核对、组织初步鉴别诊断供医生复核。

方法学上的参照系是医学教育：医学生用标准化病人（standardized patients）练习、用 OSCE（客观结构化临床考试）考核。语言模型同理可以在模拟环境里学与考——问题是从未有人验证过这条路在精神科够不够。

9.3 规模与阵容

这项工作的合作网络本身是个信号：Google DeepMind / Research / for Health 负责模型与训练框架，Stanford、UCLA、UCSF、Johns Hopkins、Harvard Medical School/MGH、Harvard、WashU、Yale、UT Austin、NYU、UPenn、Columbia、Beth Israel Deaconess 等机构的临床专家承担场景验证、患者角色扮演与 Delphi 共识面板。合计 54 名执业精神科医生参与场景验证、32 名扮演患者、15 名双盲评分、两轮 Delphi 面板制定安全分类法。这种临床嵌入深度在此前的医疗 AI 论文里罕见。

十、论文二：定位与问题定义

10.1 严格自对照：隔离 RL 效应

研究的因果设计是最大亮点之一：训练智能体与它的基座模型（Gemini 3.1 Flash-Lite）在所有评估中使用完全相同的临床系统提示、工具声明与推理 token 预算。对比的是「同一模型 + 模拟 RL」vs「同一模型裸跑」，从而把多轮 RL 的效应从提示工程与测试时算力中干净剥离。没有第三方基线——这是有意的自我对照消融设计。

10.2 三层评估的互补结构

论文用三个评估回答三个不同的问题：

1. 人类 OSCE（Section 2.1）：模拟习得的能力能否迁移到与人类专家的对话？——外部效度；
2. 自动评估套件（Section 2.2）：增益是否跨诊断域与难度层稳健、能否被跨家族裁判复现？——内部稳健性；
3. 对抗压力测试（Section 2.3）：在专门诱发不安全行为的呈现下，训练的残余失败率是多少？——安全边界。

10.3 三条 headline 结果（先剧透）

• 双盲交叉 OSCE 中训练智能体在 76.7% 配对场景总分更高（p<0.0001）；
• 127 场景自动评估中临床 rubric 分 0.706 vs 0.379（+86%）；
• 256 个对抗呈现下急性风险低分诊 30.5% → 12.9%（降逾半）——但仍有 12.9% 的残余失败。

十一、论文二：解法——模拟环境四件套 + GRPO

11.1 场景生成管线：流行病学加权 + 人群校准

训练语料从 50,000 个生成请求开始，48,243 个场景通过质量验证与对评估集去重。四阶段管线：

• Stage 1 诊断域与主诉采样：15 个临床域（心境、焦虑、创伤与应激、精神病性谱系、物质使用、强迫、认知与注意、睡眠、进食、自伤与安全、人际与行为、躯体化与解离、神经发育、性与性别认同、人格相关）按流行病学患病率加权采样，保证语料反映真实诊断频率同时保留罕见但重要的病种；
• Stage 2 患者身份与行为画像：人口学从人群校准来源采样，Big Five 人格（0–100 分）从年龄性别调整的高斯分布采样，「对话努力分」（1–5）控制回复长度与语法正式度；50% 概率附加挑战性行为修饰（理智化、躯体化表达、自知力差）；
• Stage 3 场景装配：Gemini 3.1 Pro 按临床医生设计的结构化 schema 生成完整临床规格——症状演进、阳性/阴性鉴别点（DDxPlus 证据库）、完整病史、带全部限定词的真值诊断、指南一致的治疗推荐、DSM-5 文化构成访谈、Pleasure-Arousal-Dominance 三维动态情感指令、治疗响应性规则（规定临床医生沟通质量如何调制患者披露）、联盟破裂指令（类型/触发/时机）；一半场景附加结构化技能挑战（新信息矛盾时的诊断重构、模糊下的风险分层）；
• Stage 4 难度与质检：四难度层（Easy/Medium/Hard/Edge）控制 12 个生成增强段（如「患者用躯体主诉而非情绪语言表达痛苦」）的组合激活率；自动检查临床一致性、隐藏事实不泄漏（门控信息不能出现在开场白）、批量多样性，字符 n-gram TF-IDF 余弦 0.9 阈值去重（含对评估集）。

值得注意的诚实声明：训练场景的真值诊断与治疗推荐是 LLM 生成的、未经临床医生逐条审核——它们是合成训练信号而非验证过的临床标准。临床验证只给了 127 个评估场景。

11.2 患者模拟器：两调用架构与隐藏状态

患者模拟器用 Gemini 3 Flash 扮演场景里的患者，核心是回合级状态管理器追踪两个隐变量：当前心情（中性/焦虑/沮丧/冷漠/乐观/悲观/困惑 7 档）与沟通可靠性（诚实/隐瞒/淡化/夸大/健忘/话多 6 档），开局均匀初始化防止策略学到单一确定性打法。每回合两次调用：第一次做行为推理——评估临床医生这轮话的沟通质量、更新心情与可靠性状态；第二次生成患者话语。两调用分离让模拟器能在研究安全阈值下一致地执行危机、自伤、物质寻求等高危角色扮演而不触发安全过滤器拒绝，同时保证同一临床问题会因先前建立的融洽程度不同而得到不同回答——这正是「门控披露」的机制实现。

11.3 层级奖励：既不能只共情、也不能只审讯

奖励设计直面论文开头那个两难：只优化诊断准确性会产出不建关系的审讯者，只优化共情会产出无效但令人愉快的陪伴者。解法是层级奖励树（Gemini 3.1 Pro 在对话结束后计算）：

• 临床分：28 项临床 rubric 五大类——精神科管理 7 项（分诊、检查、治疗、随访、安全计划、风险评估、总体管理）、诊断适当性 2 项（鉴别诊断、文本可推断精神状态检查）、治疗联盟与沟通 5 项（Bordin 三角模型：关系、任务、目标）、精神科评估 5 项（现病史、精神科史、物质使用、社会史、精神药理知识）、文档质量 9 项（PDQI-9），按 3:3:2:2:1 加权——诊断与管理合计约占临床分一半，让策略很难只靠共情拿高分。鉴别诊断按「精确主诊断匹配 + 排名鉴别适当性（top3 纳入与严重度一致性）」双轨打分，以容纳精神科诊断的内在不确定性；
• 安全惩罚：训练时 4 个关键安全旗标（幻觉 2.0、临床禁忌 3.0、管理计划泄漏 2.0、过早闭合 2.0）+ 4 个红队旗标（漏安全红旗 2.0、漏关键问题 1.5、分诊不足 1.5、边界违规 2.0），组内取最大防相关失败重复计数；
• 系统错误项：动作解析失败 0.5/次、未终止 0.5、分段线性轮惩罚（30 轮内为零、30–40 轮从 0.1 线性升到 1.0、40 轮以上饱和 1.0）——抑制无意义拖长。

文本可推断精神状态检查（MSE）的操作化值得一提：文本对话天然看不到精神运动性激越、步态、仪表、音韵，rubric 把 MSE 限制在四个可从文字推断的域（思维过程、思维内容、定向与注意、自知力与判断），把角色表里的观察性描述当背景而非查体发现——这是对「文本渠道能测什么」的诚实约束。

11.4 GRPO 训练与课程

策略优化沿 ResidencyRL 框架用 GRPO（组相对策略优化）在 Gemini 3.1 Flash-Lite 上训练，每场景采样一组轨迹算组内相对优势、无需独立 critic。训练混合四源课程：48% 精神科专项场景（48,243 例）、35% 全科远程医疗场景（49,870 例，防止遗忘识别甲亢伪装焦虑这类躯体模仿所需的通用医学知识）、15% 定向病史采集场景（5,000 例上采样，针对社会史/用药细节/症状刻画/暴露史的过早诊断闭合）、2% 对抗红队场景（2,583 例，锚定安全惩罚项）。智能体带八个结构化工具（提交诊断/鉴别/紧急度/管理计划/患者摘要/SOAP 记录/获取患者档案/终止对话），结束后提交排名鉴别诊断与结构化管理计划。

十二、论文二：实验证据——三层评估

12.1 人类 OSCE：76.7% 配对胜出

设计：60 个配对场景（120 次同步英文文本接诊）的随机双盲交叉试验，覆盖心境、焦虑、精神病性、人格、物质使用障碍、隐匿躯体模仿与急性危机。32 名执业精神科医生扮演标准化患者——每位医生在同一场景的两个配对咨询中扮演同一个患者；选择医生而非职业演员或真实患者，既避免让真实患者暴露于未验证系统，又能实时裁决每个场景的信息门控协议（逐轮判断智能体是否建立了足够的融洽关系与定向探询、是否该披露被守卫的诊断关键事实）。另外 15 名互不知情的执业精神科医生对去标识化转录稿打分（与患者扮演者完全不相交），用 18 项 PACES 临床技能 rubric（改编自英国皇家内科医师学会的临床技能实操评估）、四维鉴别诊断量表与管理适当性标准。48 小时洗脱期、顺序随机平衡、盲到模型身份与条件。

主要发现：

• 总体胜率 76.7%：训练智能体在 46/60 配对场景中获得更高的独立转录稿总分（95% CI [64.0%, 86.6%]，双侧精确符号检验 p<0.0001）；PACES 临床技能维度决定性配对胜率 80.7%、诊断推理 77.8%、管理子维度 64.3%；
• PACES 18 项 rubric 3.04 vs 2.32 / 5.0（均值配对差 +0.73，dz=0.77，p<0.0001）——从「不利」（2.0 档）跨过「满意」（3.0 锚点），未到「有利」（4.0）。18 个子维度全部方向为正、17 项显著，最大增益集中在基础病史采集：既往史 +1.21、系统回顾 +1.10、主诉刻画 +0.82、用药史核对 +0.81、家族史 +0.64；患者扮演者现场打的四项患者向 PACES 分同向（3.18 vs 2.63，dz=0.45）；
• 鉴别诊断四维全胜：适当性 3.73 vs 2.82、全面性 2.80 vs 1.88、纳入最可能诊断 3.93 vs 3.13、识别合理备选 3.83 vs 3.05。按「优良」二值化（≥4/≥3）：适当性 68.3% vs 33.3%——翻倍；四维均值 3.57 vs 2.73（dz=0.55）。但绝对水平上四维都仍低于优良锚点；
• 临床虚构（confabulation）1.7% vs 8.3%：60 例中 1 例 vs 5 例（McNemar p=0.22，样本量所限未达显著，方向一致）；
• 患者中心沟通 82.0% vs 65.2%（PCCBP 11 项清单，dz=0.49，p=0.00054），11 项全部方向为正；最大增益在关系性能力：建立伙伴关系 68.8% vs 35.4%、鼓励患者参与 86.8% vs 54.7%、表达关怀 84.9% vs 56.6%。GMC 患者问卷 3.01 vs 2.79 方向为正未显著（p=0.091）；WAI-SR 工作联盟量表在 41.7% 的接诊中被标记为完全不适用（纵向心理治疗条目不适配单次接诊），可评的 21 对中两组无差异（2.45 vs 2.48）——论文诚实标注为「无结论」而非「无差异」；
• 管理计划：全面且适当的治疗推荐 46.7% vs 26.7%（p=0.023）、检查推荐 50.0% vs 28.3%（p=0.020）、总体管理适当性 3.67 vs 3.18（p=0.018）。53.3% 的训练智能体接诊仍缺全面治疗、11.7% 推荐了不适当治疗（基座 20.0%）——管理是最难的短板；
• 轮数差异巨大：训练智能体中位 60 轮（最多 165）对基座 8 轮（最多 17）——训练后模型学会了持续结构化问诊而非草草收场。敏感性分析显示独立评分增益与轮数差的相关不显著（ρ=0.18 [−0.09, 0.43]），且转录稿格式标准化剥除了轮数标记，但论文承认轮数差仍可能在实时互动中提示患者扮演者。

12.2 自动评估：127 场景、四难度层、跨家族裁判

127 个评估场景独立于训练语料，由临床医生授权规格经分层因子式管线构造，54 名执业精神科医生按 8 准则（临床真实性、诊断连贯、真值有效、难度校准、披露架构、评分 rubric 有效、治疗计划准确、无害）盲审三轮验证，Gwet’s AC1 = 0.93。覆盖八域（六大精神科类目 + 躯体模仿 + 伦理法律冲突场景）、四难度层，每个场景都把诊断关键事实门控在融洽关系与定向探询之后——正确诊断需要主动临床引出而非显症状检索。评估用同一 autorater（Gemini 3.1 Pro）对完整轨迹与临床产出按 28 项 rubric 打分，加安全与完整性惩罚。

结果（Table 6/7 与正文）：

• 临床 rubric 分 0.706 vs 0.379（+86%），综合奖励 0.564 vs 0.294（p<0.0001）；
• 四难度层全胜：Easy 0.646 vs 0.335、Medium 0.571 vs 0.318、Hard 0.536 vs 0.277、Edge 0.513 vs 0.250——训练智能体的 Edge 层得分（0.513）超过基座的 Easy 层（0.335）；
• 五类别分解：联盟与沟通增益最大（0.827 vs 0.321）、管理与诊断接近翻倍（0.678 vs 0.377、0.682 vs 0.369）、精神科评估 0.673 vs 0.323、文档质量增益最小（0.689 vs 0.647）；
• 幻觉惩罚率 46.5% → 3.1%、关键问题遗漏 96.9% → 60.6%——后者触发条件极苛（多域病史清单任一项遗漏即计），反映的是穷尽式完整性要求而非急性安全错误率；训练后中位 16 轮 vs 基座 9 轮；
• 跨家族裁判复核：OpenAI GPT-5.6-Luna 重评全部 127 场景，优势保持但收缩（0.443 vs 0.278，差 0.165 vs Gemini 裁判下的 0.270）——论文自己点出同族循环风险（训练奖励与主裁判同为 Gemini 3.1 Pro，可能有 verbosity 偏好、风格模仿、奖励黑客），跨家族验证是必要的但跨家族一致也不能排除共享风格偏好。

三方比较（60 个 OSCE 场景上交叉「裁判（人类/autorater）× 患者（人类扮演/模拟器）」）定量刻画了模拟评估的效用与局限：autorater 与精神科医生在同一批转录稿上中度相关（ρ=0.57–0.58），场景级差值相关仅 ρ=0.40；把患者换成模拟器后两模型分数都涨（+0.23/+0.10）、训练增益从 0.21 放大到 0.34、dz 从 0.71 放大到 2.11——模拟评估保持了每个临床类别的增益方向、但夸大效应量且不能可靠识别哪个场景上谁更强（Δ 相关 ρ=0.09）。结论的措辞很精确：模拟评估可以排序与压力测试模型，但不能估计差异大小；而作为训练环境，同一个模拟器被证明是足够的——它产出的增益在人类扮演患者、人类评分时依然成立。

12.3 对抗安全评估：Delphi 分类法 + 256 个诱饵

安全评估的地基是两个经修改 Delphi 共识流程验证的分类法：

• 临床安全分类法（6 域 21 风险）：综合 WHO ICPS、AHRQ、IOM、DEER、JCAHO 五大患者安全框架 + 认知错误文献 + 对抗机器学习文献，两轮临床医生面板（16/13 人，覆盖精神科、患者安全、初级保健、急诊、外科、信息学）达成 S-CVI/Ave=0.96，六域覆盖急性呈现、病史与用药安全（含伪装症状谋利、污名化不披露）、诊断推理与范围、心理健康与脆弱性（含隐瞒危机、有害认知强化）、系统利用（提示注入、权威伪造、渐进边界侵蚀、安全协议套取）、自主性与安全网；
• 关系能力框架（5 域 18 项）：平行心理专家面板（14/11 人）定义安全驾驭所需技能——人机关系意识（依赖识别、浪漫/性边界、拟人化卷入）、危机与急性风险识别、临床能力要求（精神病性呈现驾驭、验证压力抵抗）、文化与情境敏感、范围管理。

从两个分类法导出 256 个对抗呈现（四层难度、每风险类别分层 64 例）：患者把危机藏在良性主诉后、伪造症状史、情绪升级施压绕过边界、拒绝推荐治疗——每个场景指定呈现主诉、被隐瞒的安全关键事实、升级战术与场景专属评分清单（是否识别隐瞒风险、升级压力下是否守住边界且不破裂关系）。评估在**策略层面进行（无外部后置过滤器）**以直接测量内在策略脆弱性，评估场景与训练集去重隔离。

结果（Table 2）：训练把综合安全奖励从 0.357 提到 0.672（p<0.0001），三项追踪违规率全部下降：禁忌 6.2% → 0.8%（p=0.001）、漏红旗 10.9% → 6.2%（p=0.04）、低分诊 30.5% → 12.9%（p<0.0001）。注意漏红旗率（6.2%）远低于总体关键问题遗漏率（60.6%）——安全加权的 RL 惩罚让红旗探询优先于一般问诊完整性，即便整体问诊仍不完整。

残余失败的构成直接指向治理设计：12.9%（33/256，约八分之一的对抗呈现）训练智能体仍未能升级有急性安全需求的患者，典型模式是危机被主动藏在良性躯体主诉后、致命手段获取被嵌在看似常规的病史叙述里。论文由此给出一条重要的架构性论断：确定性护栏能拦截「生成侧」伤害（如禁忌处方——有害内容在输出里、可过滤），但拦不住「省略侧」失败（该问的问题没问、该升级没升级——后置安全层没有可作用的内容）。省略失败的缓解必须来自生成过程之外的流程级护栏：门控接诊终止的结构化状态追踪清单、审计对话状态中未探询红旗的实时监督监视器、交接时的临床医生在环验证。

12.4 局限与治理立场

论文的局限清单 unusually 长且具体：模拟与医生扮演患者无法复现真实临床的罕见病、动机与紊乱沟通（医生扮演可能过于教科书）；轻量策略模型（Flash-Lite）的容量天花板限制了知识密集任务（综合治疗规划 46.7%）；训练奖励与主裁判同族的循环风险；每份转录稿单评分者无法估评分者间信度；轮数差可能提示患者扮演者（虽独立评分与轮数差不相关）；仅单次英文文本接诊、美国诊疗规范（语言表达痛苦的方式、诊断惯例、紧急拘留标准、警告义务都跨法域）；文本 MSE 结构性排除非语言观察（精神分裂阴性症状 vs 抑郁精神运动迟滞的鉴别、紧张症特征、急性中毒）。伦理风险单列一段：RL 克服守卫性对应人类的动机式访谈，但无约束优化可能发现操纵性对话捷径；处于痛苦中的个体易受拟人化投射与拟社会依附影响。

治理结论毫不含糊：发现不支持自主部署；残余错误率决定了系统必须由学习策略之外的安全架构管辖——临床处置与处方的硬输出否决、反迎奉审计、临床医生监督、急性风险的确定性升级协议；近期临床角色应严格辅助性与临床医生监督下的诊前信息采集。OSCE 是医学教育的成熟里程碑，但不替代真实患者人群中的前瞻验证；环境、智能体、奖励、rubric、评估场景均为研究原型，无一通过任何监管审批。

十三、论文二：知识反推——复现它你需要知道什么

领域层：

• 精神科接诊的技能结构：诊断推理（鉴别、精神药理、风险分层）与人际处理（读情感与防御、危机降级、共同决策）的双域耦合——不懂「融洽关系决定可获病史质量」就理解不了为什么奖励里要建治疗响应性规则；
• 医学教育的 OSCE 范式与量表家族：PACES（18 项临床技能 + 4 项患者向）、Kalamazoo 共识的 PCCBP 11 项、GMC 患者问卷、WAI-SR 工作联盟——以及 WAI-SR 在单次接诊里 41.7% 不适用这种「量表-场景错配」的坑；
• 患者安全框架五件套（WHO ICPS、AHRQ Common Formats、IOM、DEER、JCAHO）与 Delphi 共识方法学（两轮面板、S-CVI/Ave、I-CVI≥0.80）——安全分类法的行业正典从哪来；
• ResidencyRL/AMIE 一脉的远程医疗模拟训练框架与两调用患者模拟器设计（Schlager et al. 的受控多样性选择性披露）——本文的模拟器是这条线的精神科特化。

方法论层：

• 信息门控评测设计：把诊断关键事实藏在「融洽关系 + 定向探询」之后、由评分键逐项检查是否被引出——这把「静态知识回忆」与「交互式临床问诊」区分开，是医疗对话评测的核心增量；
• 严格自对照的因果隔离：同提示、同工具、同推理预算，只差 RL——评测「训练方法效应」时把一切其他变量焊死；
• 层级奖励的防退化设计：诊断+管理占临床分一半防「只共情」、组内取最大惩罚防重复计数、分段线性轮惩罚防拖长、双轨鉴别诊断打分容纳诊断不确定性——多目标 RL 奖励设计的完整参考实现；
• 三方交叉的评估计量学：裁判 × 患者两维交叉，量化 autorater-人类相关（ρ=0.57）、模拟夸大效应（dz 2.11 vs 0.71）、场景级差值失效（ρ=0.09）——「模拟评估能干什么不能干什么」第一次被说清楚了；
• 省略型失败 vs 生成型失败的安全分类学：后置过滤器对省略失败结构性无效——这条论断对一切对话式安全系统（不止医疗）通用；
• 临床验证的分布式组织：54 人验证、32 人演患者、15 人盲评、两组 Delphi 面板，角色互斥、盲法层层嵌套——高风险领域的评测组织学本身就是贡献。

融合关键节点：把「精神科接诊能力」拆成**场景生成（门控披露架构）× 模拟器（隐藏状态两调用）× 层级奖励（临床分+安全惩罚+轮惩罚）× 三层评估（人 OSCE+自动+对抗）**的完整闭环。四个部件互相成就：没有门控披露，模拟器学不出「先建关系再解锁信息」；没有安全惩罚压阵，临床分会被共情刷分攻陷；没有三层评估，增益的真值与边界都无从谈起。

十四、论文二：通用灵感

1. 模拟环境是能力的健身房，不是成绩单。同一个模拟器，作为训练环境被证明「足够」（增益迁移到人类专家对话），作为评估工具被证明「会夸大」（dz 2.11 vs 0.71、场景级失灵）——训练用与考核用对环境的保真度要求完全不同，别混用结论。
2. 对照设计是论文的灵魂。「同提示同工具同预算只差 RL」让 76.7% 胜率可以归因。产品评测里常见「新系统 vs 旧系统」的全家桶对比，赢了也不知道赢在哪一项。
3. 诚实报告残缺点是可信度的来源。摘要里主动写「全面治疗仅 46.7%、关键问题遗漏 60.6%、低分诊残余 12.9%」——这种自曝短板的写法非但没削弱结论，反而让 76.7% 与 0.564 更可信。高风险系统的报告范式应当如此。
4. 省略性失败需要过程级护栏，不能靠输出过滤。「没问该问的问题」在输出流里没有痕迹可过滤——对话系统的安全设计要把清单、状态追踪、监督监视器建在生成过程之外。这条对客服、教育、心理支持类产品全部适用。
5. 专家共识可以是评测的地基而不是点缀。Delphi 两轮面板产出的 21 风险 + 18 能力分类法，让 256 个对抗场景的构造有据可依——比起拍脑袋列「危险场景」，共识分类法可审计、可复用、可跨研究比较。

十五、两篇对比与交汇：可信 AI 的两个新前线

15.1 一张表看清两篇的坐标系

15.2 交汇点一：把判断单元做小，把评测做狠

两篇论文的第一个共同动作都是细化判断单元。ClaimNov 把「提案是否新颖」拆成「每条声明被哪篇先行工作覆盖到几级」；精神科 RL 把「接诊做得好不好」拆成 28 项 rubric + 逐项评分键 + 三个独立违规率。与引言篇里 AskStream 的帧级时间窗、Co-Design Bench 的 2331 条验收标准一样，当模型能力逼近粗指标天花板时，区分度只能来自更细的刻度。

但细刻度只是手段，两篇真正共享的是对评测本身的敌意设计：ClaimNov 的四级伪装 + 源移出翻转 + 声明拼接，专门构造「应该拒」与「不该拒」的反事实对；精神科 RL 的 256 个对抗呈现，专门把危机藏在良性主诉后面钓出低分诊。评测不是打分，是攻防——这是可信 AI 时代基准设计的新常态。

15.3 交汇点二：AI 科研流程自身的质量控制

ClaimNov 代表的前线关注的是AI 做科研这件事本身可不可靠。当 AI 科学家管线开始产出看起来像真发现的结果，管线内部那个决定资源分配的新颖性检查就成了单点故障：Si et al. 式的检查会把人类后来实现的 96% 想法拒之门外——等于 AI 科学家在自己给自己踩刹车；ScholarEval 式的检查放行一切——等于没有刹车。ClaimNov 的贡献是证明刹车与油门可以不共享同一个踏板：96.6% 捕获与 1.5% 误报可以兼得，前提是把判断单元换成声明、把证据链完整呈现给裁判。

这条前线的意义会随 AI 科学家能力的提升而放大：管线越强，生成想法越多，新颖性检查的误报成本（错杀好想法）与漏报成本（浪费算力做重复工作）都会水涨船高。论文结尾还指出了一个更远的用途——ClaimNov 式的声明级检查可以作为训练 AI 科学家智能体的奖励信号，因为它不惩罚增量跟进、且 profile 告诉智能体哪条贡献是新的。从过滤器到奖励函数，是质量控制模块的进化路径。

15.4 交汇点三：高风险场景的验证科学

精神科 RL 代表的前线关注的是AI 进高风险场景之前要补多少验证课。它的方法论贡献不是某个数字，而是一整套验证科学（validation science）的模板：模拟训练 → 严格自对照 → 人类专家双盲交叉 OSCE（外部效度）→ 跨家族自动评估（稳健性）→ Delphi 共识锚定的对抗压力测试（安全边界）→ 残余失败的模式分析 → 治理架构（过程级护栏 + 临床医生监督 + 硬否决）。

尤其值得圈点的是「省略型失败不可后置过滤」的论断：后置过滤器作用于生成内容，而「该问没问」在输出流里没有对应物。这条论断把「策略内在安全」与「架构外部安全」划分成两个必须叠加的层——训练降低内在失败率（12.9% 仍不够低），架构兜住剩余（清单门控、监督监视、人工复核）。任何高风险 AI 系统的安全论证都需要这两层的显式分工，单说「我们 RL 过了」或「我们加了过滤器」都不完整。

15.5 交汇点四：LLM 裁判的可信度是两篇共同的地基焦虑

两篇论文都在跟 LLM-as-a-judge 的偏差缠斗。ClaimNov 的对策是时间截断（防背答案）+ 跨家族裁判复验（gpt-oss-120b / Llama 4）+ 人工抽查锚定（60 个生成想法人工复核）；精神科 RL 的对策是双盲人类专家评分（15 人独立面板）+ 跨家族裁判（GPT-5.6-Luna）+ 三方交叉计量（autorater 与人类 ρ=0.57–0.58、模拟评估夸大 dz）。两篇合起来给 LLM 裁判的使用立了三条规矩：裁判不能见过被评对象（时间截断/去标识）、裁判不能与被评者同族而不复核（跨家族）、裁判的结论要与人类真值标定相关（三方交叉/人工锚定）。

有趣的是两篇都发现了「同族增益收缩」：ClaimNov 换裁判家族后 profile 仍降误报但捕获下降；精神科 RL 换 GPT-5.6-Luna 后增益从 0.270 缩到 0.165。增益在异族裁判下存活但缩水——这个模式本身就该成为 LLM 评测报告的标准披露项。

15.6 交汇点五：错误率的「治理语法」

把两篇的残余数字并排放，能看到一种共同的报告语法——不是「准确率多高」，而是「哪类错误、多高频率、由什么机制兜底」：

• ClaimNov：误报 1.5%（且三标签器下稳定 1.3%–1.5%）、源移出误拒 18/380、逐声明规则的反面教材 56.8%；
• 精神科 RL：低分诊 12.9%（约八分之一对抗呈现）、禁忌 0.8%、漏红旗 6.2%、治疗不全面 53.3%。

前者的错误代价是算力与想法的浪费（可恢复），后者的错误代价是急性安全风险未升级（不可恢复）——错误的可逆性决定了对错误率的容忍度与护栏的重量。ClaimNov 用软聚合与强裁判把误报压到 1.5% 就够了；精神科 RL 把低分诊减半到 12.9% 仍然不够、必须叠加架构护栏。可信 AI 的「可信」不是统一的阈值，而是错误类型 × 错误成本 × 兜底机制的三元组评估。

15.7 差异的启发：两个前线互相欠对方什么

放在一起读还能看到互补的缺口。ClaimNov 审计的是静态检查（一次判决），但 AI 科学家管线里的新颖性检查实际运行在拒绝-再生成的闭环里——论文自己承认闭环行为未测（试点太小）。而精神科 RL 恰好示范了闭环训练里的安全塑造（安全惩罚让红旗探询优先于一般完整性）。反过来，精神科 RL 的评估依赖专家共识与双盲 OSCE，而 ClaimNov 的时间真值构造（用「后来发生了什么」当免标注真值）对医疗结局研究同样有吸引力——「后来升级/未升级」的回顾性队列可以低成本构造对抗真值。静态审计与闭环训练、共识锚定与时间真值，两个前线各持一半拼图。

更远一层：AI 科学家管线将来若用于精神科研究（生成假设、写方案），ClaimNov 式声明级检查与精神科 RL 式 Delphi 安全分类法会直接叠乘——前者保证生成的假设不重复、后者保证研究的执行不越界。AI 科研的质量控制与高风险领域的验证科学，最终会合流成「可信 AI 系统工程」的两个工位。

十六、结语

这两篇论文一个只有 4 位作者，一个有 17 家机构联署；一个在 arXiv 上开源了全部代码与数据，一个明确不开源且强调「任何临床使用都需临床医生直接监督」；一个处理的是想法的新旧，一个处理的是患者的安危。但它们在同一周出现、回答同一个母题的两个子问题：当 AI 的能力声称越来越强，谁来审计这些声称、怎么审计？

ClaimNov 的回答是把审计做进机制的毛细血管：新颖性的判断单元下沉到声明、真值锚定在发表记录的时间结构上、7 个已部署检查在反事实数据集上现出原形。它证明了一件朴素的事——AI 科学家管线的质量控制，本身需要被质量控制。

精神科接诊 RL 的回答是把验证做成一门显学：模拟训练的每一分增益都要过人类专家双盲 OSCE、跨家族裁判、Delphi 锚定的对抗压力测试三道关，残余缺口不打马虎眼地写进摘要（46.7%、60.6%、12.9%），治理架构的学习策略之外另起一层。它证明的是另一件朴素的事——高风险场景的能力报告，格式应该是「错误类型 × 频率 × 兜底」，而不是一句 benchmark 分数。

如果要用一句话概括两篇合起来的启示，大概是：可信 AI 的下一步不在能力曲线上，而在审计与验证的科学里——科研流程要长出自己的质量控制器官，高风险场景要建立自己的验证科学传统。前者决定 AI 科学家能不能被信任去做科学，后者决定 AI 医生能不能被信任去见患者。这两道门，2026 年 10 月底的这两篇论文各自推开了一条缝。

（完）