Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge 精读

论文链接：arxiv.org/abs/2608.28478 项目主页：tencent.github.io/ElephantBench 代码仓库：github.com/Tencent/ElephantBench 数据集：huggingface.co/datasets/Tencent/ElephantBench 发表时间：2026年8月 机构：清华大学 + 腾讯优图实验室 + University of Warwick（企业与高校合作：清华学生与腾讯优图研究员共同一作，华威大学参与） 领域标签：cs.CL（自然语言处理／LLM 知识评测）

一、论文背景

1.1 从『盲人摸象』说起

印度寓言里，几个盲人各摸大象的一部分：摸到腿的说大象像柱子，摸到耳朵的说像扇子，摸到尾巴的说像绳子。每个人都真实地接触了大象，但每个人都只保留了局部的、片面的印象。这篇论文把这个问题搬到了大语言模型（LLM）身上：当一个事实在世界上存在多个都被验证过的不同说法时，LLM 的参数记忆里保留下的是完整的『象』，还是只有一条『腿』？

论文把这种失败模式命名为认知近视（epistemic myopia）：模型能回忆起某个长尾事实的主流记述，却系统性地遗漏同时存在、同样经过验证的少数派记述。

1.2 什么是闭书事实问答与长尾知识

要理解这个工作，需要先理清几个概念。

事实问答（Factual QA）：问模型一个事实性问题（如『特蕾莎修女的出生日期是哪天？』），检查它能否给出正确答案。这类任务传统上假设只有一个标准答案。

闭书（closed-book）设置：模型答题时不提供任何检索文档、外部工具或参考资料，只能依赖训练时固化进参数的知识——即参数记忆（parametric memory）。与之相对的『开书』设置会在推理时把证据文本喂给模型。

长尾知识（long-tail knowledge）：训练语料中出现频率极低的事实。研究（如 Kandpal 等人的工作）表明，LLM 对高频事实记忆良好，但对低频事实经常答错——一个事实在语料里出现的文档数每翻一倍，模型答对的概率才显著上升。头部事实模型都答得出，区分度低；长尾事实才是检验参数记忆的硬测试。

知识冲突（knowledge conflicts）：不同来源对同一事实给出不一致的记述。例如论文开篇的例子：IMDb 页面写特蕾莎修女生于 1910 年 8 月 26 日，而 Poem of Quotes 写她生于 8 月 27 日——两个日期各有独立来源支撑，谁也不是唯一的『标准答案』。

1.3 现有评测的盲区

论文敏锐地指出了两条研究线各覆盖了问题的一半：

1. 长尾 QA 基准（EntityPopularity、PopQA、LPFQA、MINTQA 等）测试模型能否回忆罕见事实，但默认单一标准答案，测不出记忆的完整性。
2. 知识冲突基准（WikiContradict、WhoQA、DYNAMICQA、ConflictBank 等）研究分歧，但几乎都是开书设置——推理时把冲突段落给模型，考的是阅读理解与多跳推理，而不是参数记忆本身。

于是一个关键问题悬空：**不给模型任何证据文档，它的参数记忆里到底存了几个版本的事实？**单答案 QA 会把『答出主流版本』记为满分，完全掩盖『漏掉另一版本』这一失败。这就是本文要填补的空白。

1.4 被过滤数据的另一重价值

还有一个背景值得一提：现代 LLM 预训练都会用质量分类器（如 DCLM fastText）过滤网页语料，把低分文档丢弃。但被丢弃的部分（论文记为 D_low）并非垃圾——它包含大量罕见事实，只是排版或来源不够『高质量』。近年出现了一批『过滤数据回收』工作（WRAP、ReWire、RePro 等）把这些数据改造成训练语料。本文反其道而行：不拿 D_low 训练，而是拿它出考题——正因为它曝光度低，模型更可能没记住，记忆失败更容易被探测到。

二、论文定位和关联工作

2.1 研究谱系一：长尾知识评测

本文继承『以低曝光事实为探针』的思路，但把考察对象从『能否回忆』升级为『能否完整回忆所有验证记述』。

2.2 研究谱系二：知识冲突

本文的关键差异是闭书 + 自然发生：冲突不是合成的，而是从真实网页中挖掘的跨源分歧；评测时全部源文档对模型隐藏。

2.3 研究谱系三：多答案 QA

AmbigQA 处理问题本身歧义（不同解读对应不同答案）；SituatedQA 处理情境依赖（时间、地点不同答案不同）；NATCONFQA 做答案枚举与一致性分类。这些工作的答案分歧来自问题端，而 ElephantBench 的分歧来自事实端——问题明确无误，是世界的记述本身不统一。

2.4 本文定位

在上述脉络中，ElephantBench 站在一个此前无人占据的交叉点：长尾 × 跨源分歧 × 闭书。它不是又一个排名榜，而是一个『诊断探针』——把模型性能分解为『记不记得』与『记得全不全』两个独立维度，并把记忆完整性与语料曝光分布直接挂钩，从而能反过来指导数据策展。此外，其图构建管线本身是一个可复用的方法论贡献：任何低曝光语料都可以被转化成可溯源的知识探针。

三、问题定义

3.1 从具体场景到抽象问题

具体场景：世界上很多长尾事实存在多个被独立来源验证的不同说法，我们想知道 LLM 的参数记忆是否完整保留了这些说法。

抽象洞察：论文发现这个问题的本质是一个可控的记忆完整性测量问题——它需要的不是新模型或新算法，而是一组满足四个性质的测试题：

1. 长尾性：事实的语料曝光必须低，否则模型见过太多次，测不出记忆失败；
2. 多记述性：每个问题必须有至少两个都被独立验证的答案；
3. 闭书可测性：所有源文档必须可追溯可审计，但评测时对模型隐藏；
4. 非泄漏性：问题本身不能暗示存在分歧或泄露任何一方的答案。

3.2 形式化定义

给定：网页语料 D_all，质量分类器 Q 与阈值 τ，把语料划分为保留集 D_high（Q(z)≥τ）与过滤集 D_low（Q(z)<τ）。

构建：在 D_low 上构建文档图 G_D = (V_D, E_sup, E_conf)，其中支撑边连接讨论同一事实的文档，冲突边标记同一『主体—属性』对的不兼容记述。每条经验证的冲突边 e 作为种子，生成 QA 记录 x = (q, A)，其中 A = {v_i}（k≥2）是全部验证答案集合，每个 v_i 可溯源到一份保留审计但对模型隐藏的文档。

求解：对目标模型 M，仅输入 q，得到响应 y = M(q)，判定 y 属于三档之一：完整回忆（覆盖全部 v_i 且无错误）、部分回忆（覆盖至少一个但不全）、失败回忆（一个都不覆盖或含错误）。

3.3 这个定义的精妙之处

• 把『记得』与『记得全』解耦：传统 QA 的 accuracy 把两者混为一谈。分解之后才能发现『模型几乎总能答出一个版本，却几乎从不能答全所有版本』这一结构性失败。
• 以 D_low 为矿：一个巧妙的反向操作——被质量过滤丢掉的数据恰好是低曝光事实的富矿，天然适合做记忆探针，且这些事实不太可能在预训练中被定向上采样。
• 不预设唯一真值：所有答案地位平等，不把主流版本当标准答案、少数版本当噪声，这是与单答案 QA 的根本区别。

四、问题解法

ElephantBench 的解法是一条三阶段管线（Discovery → Relation Construction → Validation & Evaluation），核心挑战是：如何在几十万文档的海洋里，以可接受的成本找到真实的跨源事实分歧，并保证每条题目干净可靠。

4.1 阶段一：候选对检索——先缩小战场

问题：判断两份文档是否冲突需要 LLM 读全文，若对所有文档两两配对，代价是 O(n²) 次调用，不可行。

解法：两级剪枝。

1. 知识点聚类：用 Qwen3.6-27B 按 SuperGPQA 学科分类体系给每份文档打一个知识点标签，同标签的文档组成簇内候选对 C_K。附录 B 量化了收益：聚类后候选对空间压缩到原来的 6.6% 以下，LLM 判断次数至少减少 15.2 倍。
2. 跨簇实体检索：相关文档可能被分到不同标签（比如一篇讲历史、一篇讲音乐，但都提到同一个人）。用 T-NER（deberta-v3 命名实体识别）抽取归一化实体/事件，配合倒排索引检索共享实体但知识点不同的跨簇对 C_N。

最终候选集 C = C_K ∪ C_N，只有这些对才进入下一步的关系判定。

4.2 阶段二：图边归纳——判定支撑与冲突

对每个候选对，Qwen3.6-27B 读两份文档全文，输出三分类之一：

• none：不讨论同一具体事实；
• support：讨论同一『主体—属性』对且记述一致 → 支撑边；
• conflict：讨论同一『主体—属性』对但记述不兼容 → 冲突边。

提示词要求模型给出主体、属性、双方取值和逐字证据片段，明确『仅共享实体或宽泛主题不够』，防止把同话题不同事实误判为冲突。本文最终采样了 4,127 条冲突边。

4.3 阶段三：出题与三重验证

冲突中心子图：对每条冲突边 e，取出两端文档及其支撑邻居构成局部子图——两边阵营的文档都齐了。GPT-5.6-Sol 读子图结构加全部文档全文，生成问题 q_e 与参考答案集 A_e，要求：问题不得泄漏答案、不得宣告冲突；每个答案必须逐字证据支撑。

双形态配对：每条事实生成两种问法——命名实体式（直接点名，如『特蕾莎修女的出生日期报道是哪天？』）与线索式（用至少两个相关属性间接指认，如『那位创办仁爱传教会、获 1979 年诺贝尔和平奖的阿尔巴尼亚裔天主教修女的出生日期报道是哪天？』）。两种问法共享同一答案集，其分数差可以分离『间接指认』本身的影响——这是内置的稳健性检验。

三重验证（任一阶段不过即丢弃）：

1. LLM 复核：另一模型重读全部源文档，确认每个答案都被明确支撑；
2. 智能体外部验证：GLM-5.2 驱动的 Web Agent 带 WebSearch/WebFetch 能力，独立搜索每个候选答案的公开证据，双方都必须获得独立于种子文档的权威来源（如维基百科）支撑，否则整条丢弃——这一步排除了以讹传讹的循环转载；
3. 人工审查：三位 CS/AI 研究生剔除实体错配、无支撑答案、答案泄漏、问题—事实错配，并移除敏感与有害内容。

从 4,127 个子图生成 8,254 道候选题，最终留下 1,094 道 QA 对（405 个匹配对），覆盖 22 个知识领域，新闻与公共信息占 39.4%。

4.4 闭书评测与打分

被测模型只收到统一的闭书系统提示（无搜索、无浏览、无工具，只靠训练时知识，答案不超过三句）与问题本身。GPT-5.6-Sol 作为裁判，按四步规则打三档标签：识别问的槽位 → 逐一核对每个金标答案的语义覆盖 → 只记录实质性矛盾 → 机械式赋分（全覆盖无矛盾=完整；部分覆盖=部分；零覆盖或有矛盾=失败）。

四个指标：C（完整回忆率）、P（部分回忆率）、F（失败回忆率）、K = C/(C+P)（条件完整性——在至少答出一个答案的前提下答全的概率）。附录 D 验证裁判与三位人类标注者的一致率达 90.13–93.36%，Cohen κ 介于 0.815–0.877，模型排序完全一致。

4.5 全景小结

五、评估指标与实验证据

5.1 主实验：32 个模型的完整回忆

在全部 1,094 题上评测 26 个开源权重模型与 6 个专有系统（默认开启推理，输出预算 32,768 tokens）。核心结果（完整回忆 C / 条件完整性 K）：

三个层次的读数：

1. 头部模型几乎从不空手而归：前三名失败率仅 2.19–2.65%——长尾事实它们基本都『记得一点』。
2. 但完整回忆卡在 50% 附近：最强的 Kimi-K3 也只答全 52.38% 的问题，部分回忆高达 45.25–47.44%。主要失败模式不是遗忘，而是不完整——这正是认知近视的量化画像，也是单答案 QA 看不见的盲区。
3. 开源 Kimi-K3 力压全部专有模型登顶，是榜单里最显眼的例外。

5.2 规模效应：越大越全，但提升被『部分回忆』吞掉

Qwen3.5 家族从 2B 放大到 397B：C 从 1.65% 升到 32.27%，F 从 81.35% 降到 8.50%——但 P 同时从 17.00% 涨到 59.23%。也就是说，规模把『完全不会』转化成了『会一半』，却没有成比例地转化成『会全部』。<10B 模型平均 C 仅 5.48%。

5.3 推理效应：能帮大模型，会伤小模型

开启推理对部分前沿模型提升显著：GPT-5.6-Sol +13.99 个百分点、GPT-OSS-120B +12.89 个百分点。但 Qwen3.5 呈现规模依赖：9B–397B 提升 0.73–4.39 个百分点，而 2B/4B 反而下降 0.64/0.37 个百分点。附录案例给出了机理：非思考模式下 Qwen3.5-2B 答道格拉斯出生年份时会说『1818，虽然一些来源认为可能是 1817』（完整）；开启思考后却收敛为『1818 是公认年份』（部分）——推理把一个账户判定为共识，主动抹掉了另一个账户。更多的思考并不必然带来更完整的记忆。

5.4 曝光不对称分析：本文最有解释力的发现

由于各模型预训练语料不公开，作者用 RePro 公开语料中双方的支撑文档数做观测代理。对每个冲突统计多数方文档数 N_maj 与少数方文档数 N_min，做项目级回归（对数变换后标准化）：

结论高度不对称：多数方曝光决定『记不记得这个事实』（F 降），少数方曝光决定『记得全不全』（C 升、P 降）。这把语料分布的可测性质与记忆失败模式直接连了起来——探针不止能给模型排名，还能指导数据策展：想让模型记得全，就得给少数派记述曝光。

5.5 辅助证据链

• 跨模型 Oracle 覆盖：从 Kimi-K3 出发贪心扩充模型池到全部 32 个配置，C 升至 81.2%、F 归零（23 个配置后饱和）——模型间高度互补；但仍有 206 题（18.8%）任何配置都无法完整回忆，是全体模型的共同盲区（如新西兰婚姻修正案首读赞成票数 78 vs 80、贝·布托死因颅骨骨折 vs 颈部枪伤）。
• 问法稳健性：命名实体式与线索式的平均差仅 0.65 个百分点（p=0.470），性能不由问题表面形式驱动。
• 领域梯度：人物/组织/事件 C=38.7% 最高，消费品与服务仅 6.2%（P 高达 62.1%）——可能与预训练中维基百科类来源对人物的重复采样有关。
• 冲突机制分层：测量/估算类冲突最易（C=38.9%），时序边界与直接报道分歧最难（C≈18%）；推理对时序类冲突帮助最大（+4.12 个百分点，Wilcoxon p=0.011）。
• PPL 低成本代理：对 Qwen3.6-27B 按答案条件困惑度分五桶，PPL 从 1.13 升到 7.53 时 C 从 78.9% 单调跌到 45.3%——困惑度可作为免生成的廉价评估代理。
• 稳健性：温度 0 vs 1 的受控消融 |ΔC|≤0.46 个百分点（McNemar p≥0.53），排名不变。

六、效果优势的根源解释

本文是基准论文，『效果』指的是它为何能可靠地暴露别家基准测不出的失败模式。因果链如下。

6.1 为什么单答案 QA 看不见认知近视

单答案 QA 的评分规则是『答出标准答案即满分』。其结构性缺陷在于：主流记述恰好就是模型最可能答出的那个版本（5.4 节证明多数方曝光决定可回忆性）。于是『答出主流、漏掉少数』在单答案体系里不是扣分项而是满分项——失败模式被评分函数系统性洗白。ElephantBench 把答案集扩展为全部验证记述并把『完整回忆』设为主指标，等于是换了一把专门量这个盲区的尺子，认知近视立刻现形（最强模型 C 也只有约一半）。

6.2 为什么闭书设置是必要的

开书冲突基准把冲突证据喂给模型，测的是阅读理解——模型只需对比眼前两段文本。但参数记忆里到底存了什么，开书设置永远测不到。闭书去掉全部证据后，模型的响应只能来自训练时固化的权重，53.5% 的条件完整性才是参数记忆的真实成色。这也解释了为什么开书基准上的高分模型（多跳推理能力强）在本文榜单上未必领先。

6.3 为什么长尾 + D_low 让信号最大化

反事实推理：如果题目换成头部事实（D_high 中高频出现），预训练的多轮上采样和重复曝光会让双方记述都被牢牢记住，完整回忆率虚高，探针失去区分度。选 D_low 的结构性好处是：(1) 事实本身低曝光，记忆失败易于检测；(2) 这些文档不太可能进入定向上采样，曝光分布更接近『自然状态』。5.4 节的回归之所以能做出干净的分离（多数方→可回忆性、少数方→完整性），正因为题目的曝光分布有真实的方差。

6.4 为什么管线能规模化且可审计

若不做知识点聚类剪枝，n 份文档的配对判定是 O(n²) 次 LLM 全文调用——成本天花板让此类基准以前做不大。聚类 + 实体倒排把配对空间砍掉 93.4% 以上，才让『从真实网页挖自然冲突』变得可行。而『冲突边种子 → 局部子图 → 双形态出题 → 独立来源验证 → 人工终审』的链条中，每个答案都保留逐字证据与来源 URL——可溯源是审计性的根基，也是该管线能被复用到任何低曝光语料的资本。

6.5 需要如实说明的边界

曝光分析是观测性关联而非因果测量：各模型真实训练配比与采样策略未知，公开语料的分布只是代理；1,094 题覆盖 22 个领域但无法穷尽长尾知识；32 个模型也只是代表性抽样。作者在限制章节对此有明确交代。

七、必要知识反推

假设一个完全没有背景的人要完成这项工作，他最少需要掌握什么？

7.1 领域知识层

• LLM 参数记忆的运作机制：知道知识以参数形式固化、闭书条件下才暴露真实记忆、长尾事实记忆困难（频率-记忆的实证规律）。不理解这些就不会想到『闭书 + 长尾』是探测记忆完整性的正确刀口。
• 预训练数据工程：懂质量分类器（DCLM fastText）如何划分 D_high/D_low、懂上采样与数据配比——才能想到『被过滤的余料恰好是低曝光探针的矿』，也才能设计 5.4 节的曝光代理分析。
• 网络知识的分歧生态：理解同主体—属性的多记述会自然出现在不同网站，且存在循环转载污染——这是设计『独立来源验证』的前提。

7.2 方法论知识层

• 基准构建方法论：知晓前述三类基准（长尾 QA、知识冲突、多答案 QA）的设定与缺陷，才能找到『长尾 × 跨源 × 闭书』的空位；这直接决定了指标体系（C/P/F/K）的设计。
• 图结构与检索技术：文档图建模、命名实体识别（T-NER + 倒排索引）、知识点 taxonomy（SuperGPQA）——三者组合才有低成本的候选对剪枝。
• 评测测量学：LLM-as-judge 的信度验证设计（多标注者、Cohen κ、一致率），条件概率指标（K = C/(C+P)）的构造思想，以及配对实验设计（命名实体 vs 线索式、推理开 vs 关、温度 0 vs 1）与统计检验（McNemar、Wilcoxon、Kruskal–Wallis）。
• 回归分析：对数变换处理右偏计数、标准化系数解读——5.4 节曝光不对称结论的载体。

7.3 工程知识层

• 多模型协同的流水线编排：Qwen3.6-27B 标签与边、GPT-5.6-Sol 出题与裁判、GLM-5.2 驱动 Web Agent——知道各模型强项并分工，预算仅约 295 美元 API 费用。
• API 评测工程：32 个模型的推荐采样配方（各家族温度/top-p/思考配置不同）、输出预算控制、失败计入 F 的固定分母处理。

7.4 知识融合的关键节点

• 节点一：反向数据选择。『过滤回收』文献把 D_low 当训练资源，本文把 D_low 当考题资源——同一堆数据，视角一换，整个工作的问题定义就成立了。这需要对数据工程与评测两个领域的同时把握。
• 节点二：答案集扩展 + 指标解耦。把 QA 的金标从单值改为验证集合，再把评分从二值改为三档并派生条件指标 K——评测测量学与知识冲突研究的融合产物，认知近视由此变得可测量。
• 节点三：曝光—记忆的桥梁。把语料统计量（N_maj、N_min）通过项目级回归与模型输出档位挂钩，让『探针』升格为『诊断 + 数据策展指导』。这需要同时理解语料分布测量与模型行为测量两套语言。

八、论文中可以提取的通用性灵感

8.1 灵感一：评分函数决定失败模式的可见性

核心思想：一个系统真正的弱点，往往藏在当前评分函数记为满分的行为里。把『部分正确』从满分档里拆出来单独立项，是发现新失败模式的最廉价手段。

论文证据：单答案 QA 把『答主流漏少数』记满分；引入 C/P/F 三档后，最强模型的完整回忆立刻暴露为约 52%，部分回忆高达约 47%。

推广场景：(1) 推荐系统评测——把『覆盖用户全部真实兴趣』从点击率里拆出来；(2) 代码生成评测——不止测能否编译，单测『是否遗漏边界分支的处理』；(3) 摘要评测——测『是否遗漏原文的关键主张』而非只测流畅度；(4) 医疗诊断辅助——把『漏诊』与『误诊』分成独立指标；(5) 多语言翻译——把『语义完整』从『意思大致对』中拆档。

8.2 灵感二：被丢弃的数据是最好的考题

核心思想：任何筛选流程的『余料』都自带低曝光/低频属性，是构造困难测试集的天然矿藏；主流做法把余料当垃圾或回收再利用，还可以反向把它变成测量仪器。

论文证据：DCLM 过滤后的 D_low 被转化为 1,094 道可溯源探针；知识点聚类再砍掉 93.4% 配对空间，使管线成本可控（约 295 美元）。

推广场景：(1) 推荐系统的长尾曝光评测——用冷门物品池测真实兴趣覆盖；(2) 软件测试——用模糊测试淘汰的崩溃输入建回归套件；(3) 教育测评——用学生错题聚类生成诊断题库；(4) 风控——用被规则放行的可疑交易回流做模型审计样本；(5) 语音识别——用降噪预处理丢弃的弱信号片段测鲁棒性。

8.3 灵感三：把『多样性曝光』与『总量曝光』分开管理

核心思想：对需要全面记忆的系统，语料的『面』（不同版本的覆盖）与『量』（总频次）作用于不同的能力维度——量决定记不记得，面决定记得全不全；只堆量不铺面会制造系统性偏颇。

论文证据：回归显示多数方曝光 +1σ 主要降 F（+14.18 P、−10.17 F），少数方曝光 +1σ 主要升 C（+15.13 C、−15.41 P），两者角色清晰分离。

推广场景:(1) 教材编写——同一概念的正反例与不同学派观点都需出现，而非把主流观点重复十遍；(2) 对抗鲁棒性训练——攻击类型多样性比攻击样本总量更决定防御覆盖；(3) 多文化产品评测——少数市场的真实用例曝光决定产品能否『记得』他们；(4) 医学训练数据——罕见病的不同表现型都需要配额而非总量；(5) 搜索引擎——索引的来源多样性决定答案的多面性。

8.4 灵感四：更多计算（推理）不必然带来更完整的知识

核心思想：推理/深思这类额外计算会天然趋向收敛到单一共识解，对需要保留多假设的任务可能主动压制低显著性的替代项——算力与知识完整性不是单调正相关。

论文证据：Qwen3.5-2B/4B 开推理后 C 反降 0.64/0.37 个百分点；案例显示思考模式把『两说并存』改写成『公认年份』；对 32 个配置的 22 组配对中，推理平均只对时序类冲突有统计显著增益。

推广场景：(1) 创意发散任务——强推理链会收敛掉候选方案；(2) 情报分析——过早收敛到最可能解释会漏掉低先验但真实的假设；(3) 医疗鉴别诊断——LLM 辅助诊断时应保留鉴别清单而非直接给最可能诊断；(4) 风险评估——多情景推演中防止『最可能情景』淹没尾部情景；(5) 集成学习——强个体模型的自洽性可能牺牲集成多样性。

8.5 灵感五：用『集合吻合度』而非『单点吻合度』做对齐

核心思想：当真值天然是集合（多记述、多目标、多约束）时，评测与训练目标都应改为集合级覆盖度量（如本文的 C 与 K），单点度量会引入系统偏差。

论文证据：K = C/(C+P) 专测『在记得的前提下记得多全』，与 C/F 正交，共同构成二维诊断；Oracle 分析显示 32 个配置的并集也只能覆盖 81.2%，剩余 18.8% 是集合级共同盲区。

推广场景：(1) RAG 评测——金标证据集的覆盖率而非单条命中；(2) 机器人任务规划——约束满足的完整清单核对；(3) 法律检索——判例谱系（含少数意见）的覆盖；(4) 数据标注质检——多人标注的分歧保留与共识抽取分离；(5) Agent 工具调用评测——完成任务的可行路径集合覆盖率。

8.6 灵感六：可溯源是大规模合成数据的信任底座

核心思想：LLM 流水线可以规模化生成测试/训练数据，但只有当每条数据都锚定可回查的独立证据时，产出才敢被下游信任；『生成—独立验证—人工抽审』三层漏斗是通用架构。

论文证据：8,254 道候选题经 LLM 复核、Web Agent 独立来源验证、三人人工终审后只剩 1,094 道（约 13% 通过率），每条答案保留逐字证据与 URL；裁判与人类 κ 达 0.815–0.877。

推广场景：(1) 合成训练数据——每条配验证器与溯源元数据；(2) 自动化新闻事实核查——claim 级证据锚定；(3) 代码注释生成——锚定到具体提交与测试；(4) 知识图谱构建——边级来源审计；(5) Agent 记忆系统——写入前的事实溯源过滤。