论文链接:EvoOntology: A Self-Evolving Ontology Layer for Data Agents 代码仓库:ruc-datalab/EvoOntology 发表时间:2026 年 9 月(arXiv:2609.15779v1,2026-09-14 提交) 机构:中国人民大学 ruc-datalab(高校研究团队,4 位作者:Meiduo Chong、Shaolei Zhang、Ju Fan、Xiaoyong Du) 领域标签:cs.AI / cs.CL / 数据智能体 / 语义层 / Agent 自进化
一、论文背景
1.1 数据智能体在"盲探"数据库
今天的数据智能体(Data Agent)要做的事,是把自然语言指令变成对真实数据的操作——可以是写 SQL 查数据库、读 CSV 做分析、翻文档找证据。这一类任务有个绕不开的麻烦:数据住在 agent 外面。
想象一个新人分析师第一天入职。他面前是一座巨大的仓库:几十张表、上百个字段,命名可能是 fct_rev、dim_date、net_revenue,文档散落各处,业务口径藏在老员工的脑子里。他没有"说明书",只能靠反复试探——写一条查询看看返回什么、猜某个字段是不是自己要的、翻一堆无关内容。这就是论文里反复强调的 agent–data gap(智能体—数据鸿沟):数据既不暴露结构也不暴露含义,agent 只能通过 SQL 接口、文件读取器这类"通用工具"去盲探。
这种盲探的代价是真实的:论文在 DDR-Bench 上测到,没有任何本体层的 baseline(ReAct 直接跑)平均要 14.6 轮交互才能完成任务,而且经常陷在重复、低效的探索里。
1.2 本体 / 语义层是什么:数据库的"说明书"
怎么补上这道鸿沟?一个自然的想法是给数据库配一份"说明书"——把"收入 = 已完成订单的净营收"“利润 = 收入 − 成本"“月份口径 = 按月聚合"这类领域概念、字段映射和业务约束显式写下来。在数据库与人工智能领域,这份说明书有两个常被混用的名字:
- 本体(Ontology):更偏知识表达,描述"有哪些概念、概念之间什么关系、适用什么约束”。
- 语义层(Semantic Layer):更偏工程落地,把指标、维度、实体定义成代码(如 dbt 的
metrics、Looker 的 LookML),让 BI 工具和 LLM 能按名字调用"净营收"而不是手写 SQL。
可以把它类比成**“数据库的说明书 + 导航地图”**:没有它,agent 每次都得重新读图、问路;有了它,agent 直接查"收入在第几页、怎么算”。论文用的术语是 ontology layer(本体层),本质就是一份可被机器读取、可被程序调用的领域说明书。
1.3 现有"说明书"的两个死穴
论文指出,已有的补鸿沟方式分两派,各有硬伤:
- 裸查询派(Raw querying):让 agent 直接读 schema、自己写探索查询。小数据库还行,一旦数据又宽又杂,agent 很容易困在重复探索里。
- 静态语义层派(Semantic-layer):把人工写好的说明书整段塞进 prompt。问题有二——(a)放不下:大数据源的语义层远超上下文长度;(b)养不起:语义层通常人工定义、人工维护,换数据源、换任务、换 agent 行为就得重写。
这就引出本文的核心动机:我们需要的不是一个"写死的说明书",而是一个能跟着数据和 agent 行为一起生长的交互式说明书。
二、论文定位和关联工作
2.1 静态语义层谱系:从 dbt / Snowflake 到"交互式自进化"
| 工作 | 核心思想 | 与 EvoOntology 的关键区别 |
|---|---|---|
| dbt Semantic Layer(dbt Labs 2023,MetricFlow) | 把指标/维度定义成 Git 里的 YAML,“定义一次,处处一致” | 静态、人工维护;论文引用的第三方复盘指出其有"连接跳数上限"等覆盖边界(超出即 0 分),且缺乏从失败中自动进化的反馈环 |
| Snowflake Cortex Analyst / Agentic Semantic Model(2025) | 语义模型以 YAML 描述,通过托管的 MCP Server 让 agent 按需调用 | 语义模型仍多为人工策展、相对静态;EvoOntology 进一步让"构建 + 进化"全自动化,且进化从轨迹归因 |
| Semantic-Layer-Mediated Agent(arXiv:2606.31041,2026) | 让 NL2SQL agent 在"语义层 + SMQ 中间表示"上推理,再编译成方言 SQL,Spider2-snow 达 94.15% | 语义层是人工策展的;其独立评测(Pith)直言"缺少不完整/失配语义层下的消融",正是 EvoOntology 想解决的可维护性问题 |
| EvoOntology(本文) | 本体层封装成 MCP 服务按需检索,且能自进化 | 把"供给方式(按需 vs 全量)“和"维护方式(自动进化 vs 人工静态)“双双优化 |
一个值得记下的行业信号:Snowflake 在 2025 年把语义模型通过 MCP Server 暴露给 agent(“managed MCP server”),说明"把语义层做成 agent 可主动查询的服务"已是产业共识;EvoOntology 的增量在于让这层自己长出来、自己改自己。
2.2 text-to-SQL 谱系:从流水线到"带说明书的 agent”
text-to-SQL 是数据智能体最成熟的分支。谱系大致是:
- 单模型直出:DIN-SQL、DAIL-SQL、TA-SQL 等,靠提示工程/decompose 直接生成 SQL。
- 多 agent 协作:MAC-SQL(多 agent 分解/检索/验证)、CHESS(上下文 harness,BIRD 上 GPT-4o 达 65.0 EX)。
- 带语义层的 agent:上述 2606.31041、以及本文——区别在于本文的语义层不是喂进 prompt,而是 agent 用 MCP 工具去查,并且会进化。
本文在 BIRD 上用 Claude-Opus-4.8 跑出 EX 78.3,已经超过 CHESS 的 65.0,且这不是靠更大的模型,而是靠本体层补上了"字段语义"这块短板。
2.3 定位结论
EvoOntology 站在"语义层派"的肩膀上,但把它从静态、全量、人工推进到交互式、按需、自进化:语义层不再是一段塞进 prompt 的文字,而是一个 agent 用工具去检索、又能从自身失败里持续完善的"活说明书”。
三、问题定义
3.1 抽象:外部知识层的"供给方式"与"维护方式"双优化
剥开具体场景,论文其实在解决一个更本质的问题:
当一个 LLM agent 需要依赖一份"外部知识层"(这里是数据库的领域说明书)才能做好任务时,这份知识层应当怎么供给给 agent,以及怎么维护更新?
把它和深度学习训练做一个类比:
| 深度学习训练 | EvoOntology 的对应 |
|---|---|
| 模型参数 = 需要学好的"内部知识" | 本体层状态 $L_t$ = agent 需要的"外部知识" |
| 训练数据 = 反馈信号 | 交互轨迹(成功/失败)= 反馈信号 |
| 梯度更新 + 验证集早停 | 归因编辑 + 配对门控(Gate) |
| 过拟合 = 在训练集好、验证集差 | 回归(regression)= 候选编辑在验证集掉分 |
形式化地,给定:任务集、评估函数、初始数据源与训练负载(workload),求一个本体状态序列 $L_0 \to L_1 \to \dots$,使部署 agent 在留出的验证/测试集上得分最大化,且满足两个约束:
- 供给约束:本体内容不整体塞进 prompt,只在运行时通过工具按需返回相关片段;
- 维护约束:每次更新只改一个有界的部分(单层、少量对象),且必须经配对验证通过才接受。
3.2 这个抽象的精妙处
它把"怎么让 agent 懂数据"这个含糊目标,拆成了两个可操作的旋钮——“给多少、怎么给”(供给)和**“错了怎么改、改完验不验”**(维护)。后面所有方法设计,都是在拧这两个旋钮。
四、问题解法
4.1 三层本体架构:$L_t = (S_t, \Gamma_t, R_t)$
论文把本体状态定义为 $L_t = (S_t, \Gamma_t, R_t)$,三者分离了"语义知识"“对象模型"“运行时暴露”:
| 层 | 名字 | 存什么 | 类比 |
|---|---|---|---|
| Content Layer $S_t$ | 内容层 | 一张类型化语义图:四族节点(Terms 概念、Mappings 字段映射、Constraints 约束、Evidence 证据)+ 两类边(Semantic Relations 语义关系、Structural References 结构引用) | 说明书的正文:概念、对应字段、业务规则、支撑证据 |
| Schema Layer $\Gamma_t$ | 模式层 | 四族节点的字段定义、允许的语义关系类型、引用模式 | 说明书的版式/语法:规定了能写哪几类条目 |
| Tool Layer $R_t$ | 工具层 | 两个 MCP 工具 browse(q,k,n)(按查询返回 Top-n 语义匹配)、resolve(I,c)(按 Term ID 返回完整语义)+ 一个 session manifest | 说明书的检索接口 |
关键设计:只有 manifest(紧凑的来源与用法信息)进 prompt,详细记录靠 browse/resolve 在每一步按需取回。这正好对应第二章指出的"放不下"问题。
4.2 证据接地(Evidence-Grounded)的初始化
人工写说明书太贵。builder agent 的做法是:
- 从负载提概念:给定训练负载 $W$ 和原始数据 $D$,提出候选概念集合 $C = \text{propose}(W)$(反复出现的实体、指标、操作、分析条件)。
- 用探针接地:对每个候选 $c$,发
probe(c, D)去真实数据里验证——找到候选字段、连接路径,检查类型/取值/语义一致性。 - 只提交被证据支持的:只有
verify(probe(c,D))=1的候选才写进初版内容层: $$C^+ = \{c \in C \mid \text{verify}(\text{probe}(c,D)) = 1\}, \quad S_0 = \text{construct}(C^+, D; \Gamma_0)$$ 验证会检查声明的类型、过滤条件、取值分布——一句话,每条目都要有探针证据,不能只靠自然语言描述。
这一步产出的 $L_0$ 已经是一个"有数据撑腰"的初版说明书。
4.3 四步进化环:从失败轨迹里长知识
数据接地不等于"适合某个具体 agent”。于是论文用历史交互轨迹当行为证据,跑一个四步环:
| 步骤 | 名字 | 做什么 | 类比 |
|---|---|---|---|
| 1 | Diagnose(诊断) | 从轨迹里聚类失败签名 $\Sigma_t = \text{analyze}(T_t, L_t)$ | 复盘会:把"哪类任务翻车了"归纳出来 |
| 2 | Attribute(归因) | 把每个签名分到 Content/Tool/Schema 某一层 $\alpha:\Sigma_t\to\{C,T,S\}$,并说明预期效果 | 定位根因:是"说明书缺字段"(内容)、“检索接口不好用”(工具)还是"版式装不下"(模式) |
| 3 | Patch(修补) | 提出候选 $L'_t = \text{patch}(L_t, \sigma, \alpha(\sigma))$,每次只改一层 | 打补丁:精准改一处,不重写全文 |
| 4 | Gate(门控) | 在留出验证集 $V$ 上配对评估,改进达到 margin $\tau$ 才接受 | 见下 |
Gate 配对验证 ≈ “A/B 测试 + 灰度发布”
这是全文最巧妙也最该记住的一环。对于 backbone $m$,记 $\phi(L, V; m)$ 为本体 $L$ 在验证集 $V$ 上的得分。候选和父版本在同一 $V$、同一解码与交互预算下各跑一遍,只有候选比父版本提升达到阈值 $\tau$ 才保留:
$$L_{t+1} = \begin{cases} L'_t, & \phi(L'_t, V; m) - \phi(L_t, V; m) \ge \tau \\ L_t, & \text{否则} \end{cases}$$这就像上线前的 A/B 测试:新老两版在同一批流量上比,胜出(且赢够多)才全量;没赢就回滚。它同时实现了两件事——(a)单层编辑让每次改动可归因、可回滚(灰度);(b)配对 + margin 防止"看似有用实则拉垮"的回归。被拒的候选不部署,但其签名与结果会被记下来,避免重复犯傻。
所有 backbone 从同一 $L_0$ 各自独立进化,于是每个 backbone 长出贴合自身行为的本体(论文测得跨 backbone Term 重叠 Jaccard ≤ 0.62)。
4.4 全景对照
| 维度 | 静态语义层(Baseline+SL) | EvoOntology |
|---|---|---|
| 供给 | 整段塞 prompt,和任务指令抢上下文 | manifest 进 prompt + browse/resolve 按需取 |
| 构建 | 人工或一次性自动生成 | builder agent 探针接地 |
| 维护 | 不更新 / 粗粒度重写 | 四步环单层归因编辑 + Gate |
| 防回归 | 无 | 配对验证 margin $\tau$ |
五、评估指标与实验证据
5.1 实验设置速览
- 6 个 backbone:GPT-5.5、GPT-5.6-sol、Claude-Sonnet-5、Claude-Opus-4.8、DeepSeek-V4-Flash、Qwen3.5-Flash。
- 3 个基准:
- DDR-Bench(10-K 场景,跨源深研):看 Message-Wise / Trajectory-Wise(全历史综合)准确率;
- InsightBench(商业分析):看 Insight / Summary / Overall;
- BIRD(text-to-SQL,Oracle Knowledge):主指标 EX(执行准确率),次指标 VES(有效效率分,0–100)。
- 对照:Baseline(ReAct 无本体)、Baseline+SL(把语义层当静态 prompt 注入)、ReAct+Memory(记忆过往轨迹)。
- 互易二折(Reciprocal Two-Fold):把每个基准拆成互斥的 A、B 折;A→B 用 A 的 70% 构建、30% 配对验证,冻结后在 B 上测,再反过来取平均。这保证构建/进化永远碰不到测试答案,杜绝偷看。
5.2 主结果汇总
| 基准 | 指标 | EvoOntology vs Baseline | 备注 |
|---|---|---|---|
| DDR-Bench | Traj-Wise | 平均 +17.8(Qwen +4.8 ~ GPT-5.5 +26.7) | 跨 backbone 普遍有效 |
| InsightBench | Overall | 平均 +1.9(DeepSeek +6.1 最高) | 答案饱和,增益较小 |
| BIRD | EX / VES | 平均 +7.4 / +8.6 | Opus-4.8 EX 78.3,超 CHESS 65.0 |
“初始本体"与"进化"各自的贡献:从 Baseline→Initial(仅 builder 构建)DDR-Bench Traj-Wise 平均 +12.3,再 Initial→Evolved(四步环)+7.7;BIRD EX 是先 +5.1 再 +3.7。说明"好起点"和"持续打磨"都不可或缺。
5.3 为什么"静态注入掉分"是全篇最有证明力的设计
本文最有说服力的一组对照,不是 EvoOntology 比 baseline 高多少,而是 Baseline+SL(把同一份语义层整段塞进 prompt)反而常常掉分:
- DDR-Bench 上 Claude-Sonnet-5 的 Traj-Wise −15.0(Overall −11.9);
- BIRD 上 GPT-5.5 的 EX −5.6(VES 却上升)。
这个对照的巧妙在于控制变量:Baseline+SL 和 EvoOntology 用的是同一份 builder 生成的语义内容,唯一差别是"怎么喂给 agent”。于是它干净地证明了论文的核心论点——问题不在语义层有没有用,而在"全量注入"这种供给方式本身有害:一大段静态文字会和任务指令争抢上下文、且无法按步 prune,agent 反而被带偏(BIRD 上表现为 SQL 更"像样"但更不对)。同理,ReAct+Memory(75.8)只回放"做过什么",不暴露"类型化、可组合的结构",仍比 EvoOntology(89.5)低 13.7 分。
读法小结:表 1–4 里 EvoOntology 的"+“是"它好”,而 Baseline+SL 的"−“才是"为什么它好”——因为后者证明了供给方式决定了生死。
5.4 支撑"四步环必要"的消融
在 DDR-Bench(四 backbone 平均)上关掉各步:
| 变体 | Traj-Wise | 跌幅 |
|---|---|---|
| 完整环 | 89.5 | — |
| w/o Gate | 78.3 | −11.2 |
| w/o Attribution | 83.2 | −6.3 |
| w/o Diagnose | 84.7 | −4.8 |
| w/o Patch(改自由重写) | 87.8 | −1.7 |
Gate 和 Attribution 是"承重墙"——没有门控,劣质候选带来的回归下一轮还不一定能挽回;没有归因,该改内容时却去改工具、反之亦然。
单层进化:Tool-only +13.2、Content-only +8.7、Schema-only +3.6,均不及全层 +20.0;三层互补不可互相替代。成本侧:总 token/任务从 52.6K(Baseline)降到 42.0K(Evolved),轮数 14.6→8.4,性能反而升——“少绕路"省下的比"多查说明书"花的多。
六、效果优势的根源解释
6.1 因果链:为什么 EvoOntology 结构性地更好
把第五节的数字倒推到机制,因果链如下(标注证据等级):
供给方式→上下文竞争→按需检索〔论文实验已支持,且有外部文献支撑〕
- Baseline+SL 把语义层整段塞进 prompt → 它与每轮任务指令争抢有限的上下文窗口,且无法按步裁剪 → agent 注意力被稀释、甚至被错误语义带偏(Claude-Sonnet-5 −15.0、GPT-5.5 EX −5.6)。
- EvoOntology 只把紧凑 manifest 放进 prompt,细节靠
browse/resolve在当前这一步才取回 → 每步只加载与当下相关的术语和映射 → 上下文留给真正的推理。 - 外部支撑:pipecode 的生产实践文档把语义层 grounding 的流程明确写成 Retrieve(检索器只返回 Top-N 指标)→ Prompt → Generate,并指出"为什么不直接加更多文档?因为文档会腐化、运行时语义层才是强制机制”——这正是"按需检索优于全量注入"的工业侧印证。Snowflake 把语义模型通过 MCP Server 暴露给 agent,也是同一方向的产业共识。
进化归因→单层编辑→可回滚防回归〔论文实验已支持〕
- 失败轨迹被 Diagnose 聚类、被 Attribute 定位到某一层 → Patch 只改一层、少量对象 → Gate 用配对验证 + margin 决定接受/回滚。
- 这把"改说明书"变成有假设、可验证、可撤销的操作,避免自由重写带来的不可控回归(w/o Gate −11.2 反证了其必要性)。
- 外部支撑:cloud-datalakehouse 关于 dbt 同义词的复盘明确指出——“同义词管理需要反馈环:当 text-to-SQL 路由失败时,失败被记录、复核、用来加新同义词;把它当一次性配置做,准确率会触顶;维护反馈环,准确率随时间提升”。这与 EvoOntology 的"从失败轨迹进化"高度同构,且来自不同团队、不同工具的独立观察。
证据接地→字段级锚定→查询更准〔论文实验已支持〕
- 每条 Term 必须被
probe验证、挂上 Mappings(落到具体列与连接路径)和 Evidence(取值分布) → agent 不必重新发现字段含义。 - 消融显示 Mask Mappings 掉 −13.4、Mask Evidence 掉 −8.7,二者是"承重家族",反证了"每条目必须锚定在探针而非自然语言描述"的设计。
- 外部支撑:arXiv:2606.31041 用"语义层 + SMQ"在 Spider2-snow 达 94.15%,同样证明"让 agent 在语义层而非裸 schema 上推理"能显著提升接地质量;但其独立评测(Pith)指出它缺少不完整/失配语义层下的消融——恰好说明"静态策展的语义层有脆弱性",而 EvoOntology 的自动进化正是补这块短板。
- 每条 Term 必须被
6.2 相关工作检索与对照表
| 研究(可核验链接) | 相似尝试 | 相关结论 | 与本文差异 / 适用边界 | 对根源解释的影响 |
|---|---|---|---|---|
| dbt Semantic Layer(dbt Labs 2023;第三方复盘) | 把指标/维度定义成代码,定义一次处处一致 | 在连接跳数上限内语义层接近 100%,超出即 0;本质是覆盖边界问题 | 静态、人工维护;无自动进化 | 支持"语义层有用",也暴露"静态有边界"→ 支持 EvoOntology 的进化必要性 |
| Snowflake Agentic Semantic Model / MCP(官方博客) | 语义模型经 MCP Server 让 agent 按需调用 | 行业把语义层做成"可查询服务" | 语义模型仍多人工策展、相对静态 | 支持"MCP 封装 + 按需检索"这一供给方式 |
| Semantic-Layer-Mediated Agent(arXiv:2606.31041;Pith 评测) | 语义层 + SMQ 中间表示,编译成 SQL | 语义层显著改善接地(94.15%) | 语义层人工策展;缺失配下消融 | 支持"语义层改善接地",其脆弱性指向 EvoOntology 的自动维护 |
| dbt 同义词反馈环(cloud-datalakehouse) | 从路由失败中加同义词 | 维护反馈环者准确率随时间升 | 仅限同义词,非全本体自动进化 | 独立印证"从失败轨迹进化"机制 |
| 生产语义层 grounding 流程(pipecode) | 检索器返回 Top-N 指标进 prompt | “文档会腐化,运行时语义层才是强制机制” | 偏 RAG 式检索,无门控验证 | 支持"按需检索 > 全量注入" |
6.3 综合判断与未决问题
- 多项研究共同支持:①语义层确实改善接地;②按需/检索式供给优于全量注入;③从失败中维护反馈环能持续提升。这三条机制有论文实验 + 至少 2 个独立外部来源,可信度高。
- 仍属合理猜测(本文未直接证):Gate 的 margin $\tau$ 是否对所有 backbone 同样最优、进化轮数上限是否普适,论文只报了"后两轮趋于平缓",属工程观察。
- 适用条件与可能失效:当数据源语义极稳定、任务极同质时,静态语义层 + 一次构建可能已足够,进化增益收窄(InsightBench 仅 +1.9 即是征兆);当验证集与真实分布严重偏移时,Gate 可能接纳"只在这份验证集上赢"的过拟合编辑——论文用互易二折缓解但未根除。
七、必要知识反推
假设让一个零基础的人重做这篇论文,他最少必须掌握以下知识,并在关键节点上融合:
7.1 领域知识层(不懂就写不出背景)
- text-to-SQL / 数据智能体的基本范式:ReAct(推理—行动循环)、工具调用、交互预算。否则无法定义 baseline 与评估。
- 本体 / 语义层的概念史:从 OWL 本体、dbt MetricFlow 到 Snowflake 语义模型。否则提不出"静态层有边界"这一动机。
- MCP(Model Context Protocol):agent 如何用标准化工具接口连外部系统。它是本文"按需检索"的承载协议。
7.2 方法论知识层(不懂就设计不出方法)
- 归因分析 / 失败签名聚类:从轨迹里归纳"哪类交互失败",这是四步环第 1–2 步的前提。
- 配对评估 / 留出验证 / 早停:机器学习里的标准防过拟合套路,被借用为 Gate。
- 二折互易评估(Dietterich 1998 的两折 split-and-swap):保证构建不偷看测试集。论文明确引用此法,说明作者熟悉统计对比检验。
- text-to-SQL 谱系与基准(BIRD、Spider、CHESS、MAC-SQL):选基准、选对照都得读文献。
7.3 工程知识层(不懂就跑不出实验)
- 把本体做成"类型化图 + 对象模型 + 工具接口"的可版本化状态:这是系统实现骨架。
- 探针(probe)验证设计:如何在不看 gold answer 的前提下用类型/取值分布验证接地。
- 跨 6 个 backbone 的统一 scaffold:同一 ReAct 骨架、解码配置、预算,才能公平比"本体层"的增量。
7.4 知识融合的关键节点
真正的创造性火花在两个融合点:
- 把"语义层"从静态文档重新概念化为可查询的 MCP 服务(领域知识 × MCP 工程);
- 把"机器学习里的留出验证/早停"迁移成本体编辑的 Gate(方法论知识 × agent 系统)。正是这两处"跨层化学反应",让它区别于此前的语义层工作。
八、论文中可以提取的通用性灵感
以下灵感均有论文证据支撑,且可推广到 Agent 系统的其他场景。
8.1 按需检索优于全量注入(供给机制)
- 核心思想:外部知识别整段塞进 prompt,做成 agent 能按步查询的服务。
- 论文证据:Baseline+SL 全量注入在 Claude-Sonnet-5 上 −15.0、GPT-5.5 EX −5.6;EvoOntology 按需检索整体大幅领先。
- 推广场景:①RAG 问答(检索段落而非整库);②代码智能体(按需拉取 API 文档而非全量 context);③长程任务规划(按需取子目标而非一次铺开)。
8.2 单层、有假设的归因编辑(修改机制)
- 核心思想:改系统时不自由重写,而是先归因到某一层、只改一层、提出明确假设。
- 论文证据:单层编辑 + Attribution 是承重墙(w/o Attribution −6.3);三层互补(全层 +20.0 vs Tool-only +13.2)。
- 推广场景:①Prompt 自动优化(一次只调一个指令维度);②Agent 记忆库整理(一次只补一类缺失知识);③Agent 工具集扩缩(加一个工具而非重排整套)。
8.3 门控进化 = A/B 测试式灰度(防回归机制)
- 核心思想:任何"自我改进"都必须经配对验证、达 margin 才接受,否则回滚。
- 论文证据:w/o Gate −11.2,是全篇最大跌幅;Gate 用同一验证集配对比较候选与父版本。
- 推广场景:①自改进 Agent 的策略更新;②在线系统的自动调参;③任何"LLM 自己改自己配置"的场景,都应加一道验证闸门防退化。
8.4 从失败轨迹而非成功里长知识(信号利用)
- 核心思想:成功轨迹教你"能做什么",失败轨迹才精确指出"说明书缺了什么"。
- 论文证据:进化环的 Diagnose 完全基于失败/低效签名;外部 dbt 同义词反馈环独立印证"从路由失败中补"。
- 推广场景:①客服/运维 Agent 的知识库自维护;②编程助手的错误模式归档;③任何带"用户纠错信号"的产品闭环。
8.5 证据接地,拒绝空描述(可信机制)
- 核心思想:每条知识声明都要锚定到可验证的数据观察,而不是自然语言描述。
- 论文证据:Mask Mappings −13.4、Mask Evidence −8.7,证明"字段级锚定"是承重家族;初始化要求
verify(probe)=1。 - 推广场景:①知识图谱构建(声明须有出处);②RAG 事实溯源(答案附证据片段);③Agent 的世界模型,避免"幻觉式"记忆。
一句话总结:EvoOntology 的洞见不在"给 agent 一份说明书",而在于——说明书要做成可查询的服务(按需供给),并且要从自己的失败里、带着假设、经 A/B 式门控、一层一层地长出来(自进化维护)。这两个旋钮,正是所有依赖外部知识层的 Agent 都该重新拧一拧的地方。