Memento 3、MASS 与 Mara Chain：递归自我改进机制三重奏 精读

论文一：Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks 发表时间：2026年10月8日（arXiv v1，30 页） 机构：UCL（Jun Wang 通讯）+ 华为诺亚方舟实验室（UK）+ 利物浦大学——典型的企业实验室与高校联合模式 领域标签：cs.AI

论文二：Recursive Self-Improvement through Multi-Agent Self-Supervision（MASS） 发表时间：2026年10月8日（arXiv v1，39 页） 机构：UC Berkeley + Sakana AI；一作为 UCB 学生在 Sakana AI 实习期间完成 领域标签：cs.AI / cs.LG

论文三：Mara Chain: Rethinking Failure as a Stepping Stone for AI System Auto-Evolution 发表时间：2026年9月25日（arXiv v1，32 页；开源 AntOmniEvo 框架） 机构：蚂蚁集团（主导）+ 北京智能游戏与决策实验室 + 北京国防创新研究院 领域标签：cs.LG / cs.AI

一、论文背景：RSI 的三个正交瓶颈

什么是递归自我改进（Recursive Self-Improvement, RSI）？ 论文一给出的定义足够通用：一个 AI 系统自主设计与改进支撑自身推理、规划与学习的组件，后续版本继续这一过程——其核心是一个反馈循环，系统用当前能力改进「支持它能力的那些部件」。这个定义容得下三种截然不同的「部件」：

1. 世界模型：智能体对环境规律的理解（论文一的 rulebook 与可执行模型）；
2. 模型权重与工作方式：模型自身的参数、以及多副本之间的编排结构（论文二的 workflow 与 SFT）;
3. 非权重工件：已部署系统的 prompt、技能、harness、检索管线代码（论文三的 tunable artifacts）。

RSI 为什么难？ 三篇论文各自瞄准一个长期无解的瓶颈，而且这三个瓶颈几乎正交：

瓶颈一：世界知识如何显式表示与验证。 一个进入陌生环境的智能体必须推断「我的动作会带来什么」。有限交互历史总能支持多个都能解释过去、却对未见状态预测不同的世界模型（version space 问题）——论文一开篇的例子是：如果观察到的墙都在第 7 列，「箱子遇墙停」与「箱子停在第 7 列」两条规则解释同一段轨迹，却在别处墙出现时给出不同预测。直接提交单一假设，探索会系统性避开能证伪它的证据。

瓶颈二：不可验证任务的自监督从哪来。 在开放式研究任务上，输出质量连人类专家都难以可靠评估；能用的最强模型既是选手又是裁判。但生成、评估、修订共享同一个学到的先验——自反馈容易强化而非纠正错误。外部教师、特权信息、人类标注都不可得时，监督信号从哪里来？

瓶颈三：进化过程的信息浪费。 对已部署系统的工件优化普遍采用「提案-评估-选择」循环：候选不过接受门槛就整体丢弃。但一个被拒候选可能携带部分正确修复、方向正确但有 bug 的实现、或「排除了一条路线」的负信息。丢弃它们，等于每轮都从零重建同样的诊断——论文三称之为「持续失败壁垒」（persistent failure barrier）：同一个残余失败跨 epoch 反复出现，rollout 预算烧完也不动。

三篇论文恰好一一对应这三个瓶颈，而且共享同一个深层判断——RSI 的瓶颈不在生成而在验证与信息保持。这个判断与本博客 2026-10-09《自我改进的验证经济学》一文的三部曲一脉相承：昨天讲「验证信号为什么失真、如何省钱、怎样扩展」，今天讲「改进循环里什么东西必须被显式表示、什么信息不能丢」。

二、论文定位和关联工作

谱系一：ARC-AGI 持续学习与代码世界模型（论文一的位置）

• 前序工作：Memento 系列（Memento 的情景记忆持续适应、Memento 2 的有状态反思学习形式化、Memento-Skills 的程序性记忆）都在改进「策略侧」；Memento 3 首次把学习状态扩展到「模型侧」——环境规律本身。代码世界模型一脉（WorldCoder 用反例修复 Python 动力学模型、GIF-MCTS 搜候选模型、Code-as-World 物理推理）确立了「语言引导构造+执行验证精炼」的机制。
• ARC-AGI-3 上的直接对手：Rodionov 的 baseline1（维护并验证持久 Python 模型，RHAE 99.0）、OPINE-World（自然语言假设+对象中心可执行模型，78.4）、NOOA（85.1）、DreamTeam（38.1）、Continual Harness（20.5）。
• 论文一的突破：给出「模型式 RSI」的完整形式化（Bayes-adaptive POMDP 信念近似），并用「rulebook（语义记忆）+ 可执行代码（编译产物）+ Git（演化历史）」三元组把学习状态完全外化；ARC-AGI-3 全 25 游戏满分 RHAE 100.0 是该基准上的标志性事件。

谱系二：同构自改进与工作流优化（论文二的位置）

• 前序工作：SELF-Rewarding 式自反馈训练（同模型自评自奖）暴露「同构先验自我强化」问题；绝对零（Absolute Zero）式自博弈依赖可验证任务（数学/代码），无法迁移到开放式研究。工作流优化一脉（ADAS 自动设计 agent、AFlow 进化工作流、AgentSquare 等）优化「怎么组织模型」，但通常不改权重、且依赖外部评估。
• 论文二的突破：把「多智能体编排」同时用作监督信号的发生器与被优化对象——内环进化 workflow（agent 之外的编排结构），外环把优化后 workflow 的轨迹蒸馏回权重（agent 之内的能力），交替执行形成同构 RSI 闭环，全程不依赖外部教师或特权信息。

谱系三：工件进化与拒绝处理（论文三的位置）

• 前序工作：prompt 进化（GEPA 的反射式 Genetic-Pareto、ACE 的 playbook 生成-反思-策展、SkillOpt-Lite 的技能优化）、harness 进化（AHE 的证伪-回滚循环、Meta-Harness）、代码进化（AlphaEvolve/FunSearch）；反思机制一脉（Reflexion、Self-Refine）用失败驱动下一次尝试，但不维护「被拒候选」这条血脉。MAP-Elites 一系的 quality-diversity 选择是其种群管理的远亲。
• 论文三的突破：指出所有 propose-evaluate-select 方法的公共盲点——被拒候选的信息被整体丢弃；用「历史条件化精炼链」把失败候选转成证据链，并用固定深度+Pareto 过滤 Top-N 保证成本有界。

定位对比表：

三篇互为补集：论文一说「不知道世界怎么运作就先学会建模」；论文二说「没有外部裁判就自己组织一个团队互相监督」；论文三说「进化路上扔掉的东西都是证据」。值得注意的是三者的验证基础设施差异巨大——论文一的验证是机械的（逐帧重放，非对即错）、论文三的验证是统计的（验证集分数+接受门槛）、论文二的验证最弱（同构自比较+外部裁判终审），这恰好对应其任务从确定性游戏到开放式研究的可验证性递减谱——验证越弱的地方，越需要在信息结构上做文章。

三、问题定义

3.1 Memento 3：不确定环境下的世界模型学习

环境建模为确定性、目标导向的 POMDP M=⟨S,A,O,T,ρ,G⟩：转移函数 T 与目标状态集 G 均未知，智能体只能通过动作-观察交互获得证据，环境只报告「目标达成」信号而不揭示目标定义。学习问题被放进 Bayes-adaptive POMDP 框架：信念 bₜ(s,m) 是对「当前状态×候选环境模型」的联合分布。Memento 3 的近似方案是把信念外化为一对持久工件——自然语言 rulebook ψₜ（语义记忆，记录关于实体/动作/动力学/目标的可修订假设）与可执行实现 θₜ——连同交互记录 Hₜ 构成学习状态 Zₜ=(Hₜ,ψₜ,θₜ)。核心难题是 version space：满足全部历史证据的程序不止一个，规划查询未见状态时必须做证据未定的预测。目标：在 B 步动作预算内到达目标，且随交互持续改进预测与决策（论文 Definition 1 形式化了这一「模型式 RSI」）。

3.2 MASS：同构 RSI 的自监督

设定 L_agent = L_eval = L_opt：同一个模型（基座 Qwen3.6-27B）同时充当任务执行者、评估者与 workflow 优化器。目标定义为：经过 g 代 RSI 后，提高 P[y⁽ᵍ⁾ ≻ y⁽⁼ᵍ⁾]——其中偏好由外部强模型（GPT-5.5 与 Claude Opus 4.8 各 3 种子、共 6 次裁决）判定，且外部裁决对 agent 与 workflow 优化器保密，不进入 SFT。双重难题：评估侧，开放式研究产出超出可靠人类监督范围（论文举核聚变研究单次实验需 1.2 亿 CPU 小时的例子——反馈又慢又贵）；改进侧，高质量执行数据依赖更好的 workflow，而手工修订任务分解/工具调用/验证步骤的成本随任务数爆炸。

3.3 Mara Chain：工件优化中的持续失败壁垒

可调工件（prompt/脚本/harness/配置/源码）表示为目录 σ，优化目标 σ⋆ = argmax E[-score(exec(σ,τ))]，约束 rollout 预算 B——每次 exec 都是昂贵执行。论文的关键概念是残余 δ(σ,τ)：一次执行暴露的未满足条件。持续失败壁垒定义为：残余跨迭代不变——无论花多少 rollout，同一失败条件反复出现。成因包括：方向正确但无即时分数增益的部分修改、从未被执行到的正确修改、被前置条件卡住的目标条件。三者共同点是：正确修改可达，但每轮都被「不过门槛→丢弃」的机制反复扔掉。

三个抽象共享同一深层结构：自我改进系统的进步速率 = 生成候选的质量 × 验证信号的质量 × 历史信息的保持率。三篇分别把第二个乘子（可执行模型的逐帧重放验证）、第一个与第二个的耦合（外部裁判下的信息流优化）、第三个乘子（失败候选的证据化）推到新水平。

四、问题解法

4.1 Memento 3：Code as Model 持续学习循环

五步循环：观察→反思→规则修订→编译→验证。

1. 观察：记录动作前后的观察与目标达成信号；
2. 反思：预测与观察不符时（论文图 2 的例子：假设「徽章镜像翻转」被「顺时针旋转 90°」的观察反驳），LLM 生成新假设；
3. 规则修订：假设变更必须先写入 rulebook ψ（未观察到的机制允许留白不写）；
4. 编译：由 rulebook 引导生成可执行模型 θ（转移函数、目标函数）；
5. 验证：双重门槛——LLM 检查代码与 rulebook 的一致性（θ∈⟦ψ⟧）+ 对全部历史做 cell-exact 逐帧重放（重放每个记录动作必须复现每个记录观察）。任一不过则回到反思。

两个精细设计：其一，LLM 偏好简洁的 rulebook 与实现（在保真与重放通过的前提下），作为实用的最小描述长度（MDL）偏置——不消除不确定性，但让假设更可证伪；其二，种群扩展：维护 N 个共享交互证据的 rulebook-可执行对，每次规划随机采样一个成员，产生的转移用于检验全部成员——不同模型引导不同探索方向，N=1 退化为单模型。全部模型历史存入 Git 仓库（3.4 节），演化过程可完整审计。Pong 案例中，level 求解 planner 换成反馈控制器：用学到的世界模型预测候选动作后果、随新观察更新决策，执行期零 LLM 调用。

验证细节：LLM 一致性检查与 cell-exact replay 双门缺一不可——前者防「代码实现了别的东西」，后者防「实现与历史矛盾」；论文 Figure 2 的例子中，徽章旋转规则被接受前必须在新旧两版可执行模型上重放全部交互记录。这种「编译期类型检查+运行期回归测试」式的双重门禁，是软件工程验证纪律在认知架构上的直接迁移。

4.2 MASS：双循环交替——编排进化与轨迹内化

内环（Algorithm 2）：workflow 进化搜索。workflow 定义为文本规范 w={h,(rⱼ,uⱼ,cⱼ)}：编排顺序 h + 各 subagent 的角色 r、指令 u、输出契约 c，拼接进任务 prompt。每轮：执行当前 workflow→自评估者比较本次产出与历史最优→反馈文本进入任务专属历史→优化者据此提出下一个 workflow（elite size 1 的进化）。关键约束是优化 prompt 显式强调通信结构（h 与 cⱼ）优先于角色指令——搜的是「谁在何时对谁说什么」。

外环（Algorithm 3）：轨迹联合蒸馏。在优化后 workflow 下每任务独立执行 M 次，产出配对进行 pairwise 锦标赛，Bradley-Terry 模型把成对裁决转成 workspace 级分数，每任务取 top K-1 条轨迹进 SFT 训练集（第 K 条留验证集）。轨迹切成至多 49,152 token 的窗口（含至多 8,192 token 掩码上文），仅对 assistant 输出计损失；采样按任务均匀、orchestrator 窗口 1/3 与 worker/辅助窗口 2/3 的比例抽取——orchestrator 与 subagent 对话窗联合训练。LoRA rank 64，验证损失选 checkpoint，合并后量化为 block-FP8。更新后的模型进入下一代三角色，形成 L⁽⁰⁾→L⁽¹⁾→L⁽²⁾ 的递归循环。

训练配置细节：首个周期共 119 条轨迹切成 2,435 个窗口（282 orchestrator、2,054 worker、99 辅助），17.2M 监督 token；训练在 6 块 H100 上以三路数据并行完成。

裁判隔离是效度关键：外部强模型裁决只用于最终报告，workflow 搜索用自评估、教师排名用自比较、checkpoint 用验证损失——闭环内没有任何外部信号渗漏。这一点与昨日《验证经济学》一文强调的 held-out 审计原则完全一致。

4.3 Mara Chain：拒绝候选的历史条件化精炼

外环种群：候选池 P 中按多维 leadership 采样父代（leadership 计数 ℓ(P) 统计该候选在多少个分数维度上接近最优，按 ℓ 成比例无放回采样——偏好互补维度领先者）；父代在训练 minibatch 上跑出基线，提案者（Pi coding agent）生成子代 Pₙ；子代在同一 minibatch 上比父代高出阈值 δ 才进验证集。

Mara Chain 精炼链：Pₙ 不过门槛时不丢弃——保留其 rollout 轨迹、残余失败、结构化分析与变更历史，沿单一路径迭代精炼。链上第 i 步的上下文 Γᵢ 汇集：全链逐实例分数历史、先前节点的结构化分析、带归因的工件变更日志、原始运行记录；LLM 由此生成子代并继承其工件。链内最优节点必须过同一道接受门槛才转验证，否则整链废弃。深度固定 d=5 封顶失败成本。

池管理：Pareto 过滤（按验证集分数向量删支配解）+ Top-N 截断（N=3，按验证分取前 N）——高维分数向量下大量候选互不支配，单靠 Pareto 池会无限膨胀。全部 rollout 日志/轨迹/分数/元数据持久化到文件系统记忆，提案者可检索完整历史。

论文对名字的解释颇有意味：Māra 是佛教中阻碍修行者的魔障化身——方法正如其名，通过反复受挫前进，每次未过门槛的尝试都被留作垫脚石。

五、评估指标与实验证据

5.1 Memento 3：ARC-AGI-3 满分与 Pong 零调用控制

主指标：ARC-AGI-3 全部 25 个公开游戏的 RHAE（人类相对动作效率，100 封顶，按关卡加权）与动作数；全部基线数字取自各系统的 ARC Prize 官方记分卡。

†带剑标者有未完成关卡，总动作是花费而非求解成本。Memento 3 比 Claude Opus 5 + ARC Prize 标准 harness 高 59.3 RHAE；单游戏动作比 0.20（m0r0）到 0.67（lf52），中位数 0.42。

消融：去掉 rulebook（保留代码世界模型+重放验证+规划执行器，其余逐字节不变），三难度带代表游戏（ft09/ka59/cn04）全部通关但成本上升——三游戏合计动作 677→617（有 rulebook 省 9%）、agent turns 830→678（省 18%）。种群：wa30（人类动作基线最大的游戏）上 N=2，总动作 899→597（0.66×），9 关中 8 关持平或更优，两个世界模型从不同初始假设出发、随共享证据收敛。

Pong 案例：学到的反馈控制器在三个不同开局中全部 21:0，学习成本 9,504 帧 emulation；EfficientZero/EfficientZero V2 预算 4×10⁵ 帧（约 42 倍），model-free RL（GDI/LASER/IMPALA/Rainbow）2×10⁸ 帧（约 2.1 万倍）。同一 LLM 无世界模型、逐帧调用打 -19 分；随机策略 -20.7。Figure 9 完整记录了反弹规则三次修订：四段假设（v01）→中心平击反例推出居中偏转公式（v02）→进一步接触点推出非对称带状映射、|vy|≤2 封顶（v04）——「由测量强制而非假设」。

证明力分析：满分本身就是强证据（183/183 关卡、与人类基线 0.44 的动作比），但更有价值的是三组受控消融——rulebook 消融把「自然语言假设显式化」的贡献从 harness 中剥离（同通关、更高成本）；种群实验固定 backbone/推理力度/harness 只改 N；Pong 的 rulebook 版本序列让「反例驱动假设修订」的机制肉眼可见。

一个口径提示：论文明确说明各基线的 RHAE 与动作数都取自其官方记分卡，同一系统在不同 harness 下数字不可直接互比——baseline1 的 99.0 已经非常接近满分，Memento 3 的边际贡献主要在动作效率（8,347→7,518）与满分达成的确定性上。

5.2 MASS：win rate、每 token 分数与角色迁移

三层指标：外部强模型 win rate（对基座）；研究基准绝对分数与每输出 token 分数；角色能力（workflow 优化速度、评估者一致率）。

证明力分析：最扎实的是同预算对照与固定执行者迁移实验——Table 1 显示 L⁽¹⁾ 优化的 workflow 交给 L⁽⁰⁾ 执行仍 64% 胜 L⁽⁰⁾ 自己优化的 workflow，分离出「workflow 质量」与「执行能力」两个变量；互信息分析（Figure 4/5）给机制证据：优化过程中 role/instruction 的任务信息量下降、contract/hop 上升（四种嵌入配置一致），组件冗余度（total correlation）总体下降。诚实的边界标注（论文自己写明）：MLR-Bench 的显著性依赖聚合单位（配对符号检验 p=0.23），增益主要来自完成率而非单篇质量；180 次 MLR-Bench 执行无一调用 delegation 工具——公开基准的迁移机制尚未定位；Terminal-Bench 2.0 与 SWE-bench 轻微下降，说明多智能体蒸馏不是免费午餐。

5.3 Mara Chain：三基准全面领先与难度梯度效应

消融（难度梯度是最大亮点）：去掉 Mara Chain（深度 0，同预算）——Normal TGC 持平（86.9 vs 86.9）、Normal SGC 差 <2pp；Challenge TGC -4.8pp、SGC -7.2pp；TerminalBench 2.1 -14.6pp（57.3% vs 71.9%）；MuSiQue nDCG@10 -0.034。去掉 Top-N 则所有 AppWorld 指标退化（83.3/67.9/73.6/53.2）。样本效率：完整设置 2,356 rollout 达 0.79、终值 0.87；只留 Mara Chain 需 5,388 rollout；只留 Top-N 需 3,480 且终值仅 0.81——两机制协同。

案例研究（sanitize-git-repo，TerminalBench 2.1）：无链设定下，含部分修复但不过门槛的候选被丢弃，后续提案各自为战，同一错误跨多个 epoch 反复出现；Mara Chain 血脉上，候选从 prose 指导逐步升级为 search-filtered.sh 脚本 v0→v1（行级过滤引入漏报）→v2（按 token 长度匹配）→v3（只打印匹配 token）直至任务通过。论文特别指出：链上每步倾向于从低可靠性的 prose 指导向高可靠性的可执行脚本升级——最终候选的行为由代码强制而非建议性文本约束。

六、效果优势的根源解释

按三篇分别建立「方法差异→机制变化→指标提升」因果链，每步标注证据等级。

6.1 Memento 3：为什么外化的 rulebook 能拿到满分

1. 方法差异：学习状态外化为「rulebook+代码+Git」而非隐式记忆 → 机制变化：有限证据下的多个一致假设被显式列出、未观察机制留白、MDL 偏好简洁规则 → 后续观察可以精准证伪单条规则而非模糊地「调整策略」 → 指标提升：Pong 反弹规则三轮修订均由决定性反例触发（中心平击排除纯 ±1/±2 映射、offset 12 的 +1 反驳对称假设）——机制证据（论文实验已支持：Figure 9 完整版本序列）。
2. 方法差异：在验证过的可执行模型上做最短路规划 → 机制变化：每步动作都朝推断目标推进、无无效试错 → 指标提升：总动作仅为人类的 0.44×、单游戏最低 0.20×，RHAE 触顶 100（论文实验已支持）。
3. 方法差异：cell-exact 逐帧重放验证门 → 机制变化：planner 使用的模型与全部历史一致，预测误差立即变成新证据而非累积漂移 → 指标提升：25 游戏无一因模型不一致而卡关（论文实验已支持：183/183；对照 baseline1 组件研究曾发现「要求可执行模型并不一致地改善动作效率」，Memento 3 的差异恰在验证门+rulebook 的组合）。
4. 方法差异：种群 N 个模型共享证据、轮流引导探索 → 机制变化：避免单一初始假设把探索带进自确认死角 → 指标提升：wa30 动作 0.66×、9 关中 8 关持平或更优（论文实验已支持；但仅在一游戏一配置上验证 N=2，跨游戏普适性属推测）。
5. 消融定位：rulebook 使动作 -9%、turns -18% → 自然语言假设层独立于代码层的贡献被分离（论文实验已支持）；「rulebook 通过让反例可证伪来加速收敛」的具体机制路径为论文解释+合理推测（消融只测成本差异，未测假设修订次数）。

6.2 MASS：为什么多智能体轨迹是更密的自监督

1. 方法差异：多副本分工（角色+输出契约+路由）替代单模型长轨迹 → 机制变化：「单模型长视野预测」被拆成两层——orchestrator 学「任务→有界委派」、subagent 学「委派+工件→实现」，两个损失更新同一参数、各自在合适的抽象层上学习 → 监督信号更密、信用分配更清晰 → 指标提升：M⁺ 用少 31.4% 的监督 token 比 S⁺⁺ 高 4.3pp；等量生成 token 的多智能体产出仍被偏好 80-85%（论文实验已支持；「两层预测问题」的机制解释是论文的合理推断）。
2. 方法差异：workflow 优化显式聚焦通信结构（contract/hop）→ 机制变化：优化压力作用在「谁在何时对谁说什么」上，任务特异信息向通信组件迁移、组件间冗余下降 → 指标提升：互信息分析显示 contract/hop 任务信息量单调上升、role/instruction 下降、total correlation 下降（论文实验已支持：四种嵌入配置一致；「信息流优化是有效自监督源」的因果定性为论文解释）。
3. 方法差异：只在任务求解轨迹上 SFT，不训练优化者/评估者角色 → 机制变化：求解能力外溢到三角色 → 指标提升：workflow 发现更早（固定执行者下 L⁽¹⁾ workflow 仍 64% 胜）、评估者一致率 0.73→0.93（论文实验已支持）。
4. 瓶颈定位：换 GPT-5.5 评估者改善有限、连优化者一起换改善更大 → 同构 RSI 的限速环节是 optimizer 容量而非 evaluator（论文实验已支持：角色消融 Figure 7）。
5. 边界（论文实验已支持）：通用编码基准轻微回退（TB2.0 -2.3pp、SWE-bench -1.5pp）；MLR-Bench 增益主要来自完成率；公开基准迁移不经过 delegation 工具——机制不明。「更多代循环能继续放大」属推测：论文只跑了两个周期，未见饱和但也未证外推。

6.3 Mara Chain：为什么失败链复用能破持续失败壁垒

1. 方法差异：被拒候选保留 rollout/残余/分析/变更史并沿单链精炼（对照：不过门槛即整体丢弃）→ 机制变化：链上每步以全部前序后果为条件——可延伸部分修复、修复方向正确实现的 bug、或在被排除路线后换路 → 指标提升：sanitize-git-repo 案例（prose→脚本 v0→v3 直至通过；无链版本同一错误跨 epoch 重复）+ 消融增益随难度单调放大（Normal ≈0 → Challenge +4.8/+7.2pp → TB2.1 +14.6pp）（论文实验已支持）。
2. 方法差异：固定深度 d=5、链失败即弃、Top-N 截断 → 机制变化：失败链的成本有界、候选池不膨胀 → 指标提升：更高终分的同时 rollout 反而更少（3,280 vs GEPA 9,514；消融中 2,356 vs 5,388/3,480）——「留更多信息」没有换来「更多预算」（论文实验已支持）。
3. 难度梯度的解释：易任务的好摘之果靠直接提案就能摘、链用不上；难任务的正确修改需要多次依赖性修改才越过接受门槛、恰是链的设计目标 → 增益随任务难度放大（论文实验已支持：消融梯度；解释由论文给出）。
4. 可靠性升级机制：链上迭代倾向于从 prose 升级为脚本 → 最终行为由可执行代码强制（论文实验已支持：案例观察；普适性为推测——论文未统计全部链的 prose→script 比例）。
5. 推测部分：论文自认按单 minibatch 诊断可能过拟合该批失败模式；上下文构造与诊断逻辑是固定手工版本；深度自适应、Mara-tree 并行化、跨配置元学习经验库均为未来工作。

6.4 综合判断

多项证据共同支持的机制：(1) 假设/证据显式化使反例可用（论文一 Figure 9 + rulebook 消融；论文三变更历史归因）；(2) 验证门保证循环不漂移（论文一 cell-exact replay 的 183/183；论文二的裁判隔离设计）；(3) 信息保持率的提升直接转化为样本效率（论文三 -65.5% rollout；论文二 -31.4% token）。

仍属合理推测的部分：Memento 3 的满分是否依赖 ARC-AGI-3 的确定性、离散、网格化特性（Pong 已部分外推但不覆盖随机环境）；MASS 增益能否继续随周期数复合；Mara Chain 的链机制在高噪声评估（分数本身有随机性）下是否会被噪声候选拖入歧途——论文未测，且与昨日《验证经济学》揭示的「噪声下 argmax 高估」风险直接相关。

与昨日三部曲的交叉印证：昨天的三篇证明「选择集内的分数会被噪声污染、共享误差无法从内部消除」；今天的论文二与论文三恰好暴露了对这一风险的不同应对——MASS 用外部裁判终审+验证损失选 checkpoint，绕开了自报分数；Mara Chain 的接受门槛基于 minibatch 分数差，理论上继承了赢者诅咒风险，但其 Pareto 多维过滤+链内同 minibatch 比较部分缓解了单噪声源问题。换言之，今天的方法论进步发生在「信息结构」层，而昨日的「测量理论」层风险仍然悬而未决——两个层次的合流（给历史条件化精炼链配 held-out 审计）是显而易见的下一步。

七、必要知识反推

假设一个完全没背景的人要独立做出这三篇论文，最少需要掌握什么？

领域知识层：

• 世界模型与规划栈：POMDP/Bayes-adaptive 形式化、模型预测控制、最短路规划——不知道「在模型上规划比在环境里试错便宜」，就不会想到把世界模型当一等公民（论文一）。
• ARC-AGI-3 生态：RHAE 口径、ARC Prize 记分卡、baseline1/OPINE-World/NOOA 的技术路线——满分是踩在整条持续学习谱系肩膀上的（论文一）。
• 多智能体系统与 SFT 工程：orchestrator-subagent 模式、Bradley-Terry 排名、LoRA/FP8 训练、外部裁判评估协议——「同构」设定下每一处信号渗漏都会让结论作废（论文二）。
• 工件进化谱系：GEPA 的反射式进化、ACE 的 playbook、AHE/Meta-Harness 的 harness 搜索、Reflexion 一系的反思机制——不知道「丢弃被拒候选」是全谱系公共默认，就找不到这个切口（论文三）。

方法论知识层：

• version space 与 MDL：有限证据下假设空间的不可辨识性、简洁性偏置的证伪价值——论文一全部设计的理论支点。
• 互信息与 total correlation 分析：用嵌入模型度量 workflow 组件的任务信息量与冗余度——把「信息流被优化了」从口号变成可测量命题（论文二）。
• 消融的难度分层设计：论文三「增益随难度放大」的梯度呈现方式，比单一平均分更有说服力；论文一的难度带归一化（人类动作/关卡数）同理。
• 预算约束下的对照构造：固定执行者分离 workflow 质量与执行能力（论文二 Table 1）、固定 harness 逐字节对齐消融（论文一）。

工程知识层：

• 冻结 LLM 上的外部记忆工程：Git 版本库、cell-exact 重放器、种群通信同步（论文一）；文件系统记忆+结构化分析持久化（论文三）。
• 六卡 H100 级的 LoRA 训练管线与 262K 上下文窗口的轨迹切分渲染（论文二）。
• 基准插桩：AppWorld 585 任务的双 split 评估、TerminalBench 2.1 的 per-task 二值奖励矩阵、跨模型配对评估（论文三）。

知识融合的关键节点：

1. 论文一的融合点是**「Bayes-adaptive POMDP × 软件工程实践」**——把信念近似写成「rulebook+代码+Git」，让认知状态可以用 diff 审计。
2. 论文二的融合点是**「Society of Mind × 自蒸馏」**——Minsky 的心智社会论不是当哲学引用，而是落到「role/instruction/contract/hop 四元组的文本规范+联合 SFT」的可操作设计。
3. 论文三的融合点是**「反思机制 × 血统遗传」**——Reflexion 只把失败写进下次尝试的 prompt，Mara Chain 把失败变成有血脉的搜索树干。
4. 三篇共同的元知识：RSI 系统里，被验证过的信息与被保留的信息才是资产；生成只是流水线。

最小可复现路径：三篇的代码与工件均可获得（论文一方法依赖冻结 LLM+harness、论文二承诺开源代码与 blog、论文三已开源 AntOmniEvo），复现的最小门槛分别是：一套 ARC Prize 记分卡账号与重放验证器（论文一）、6 卡 H100 级训练预算与两套外部裁判 API（论文二）、一个可执行工件目录与验证 minibatch 划分（论文三，成本最低）。

八、论文中可以提取的通用性灵感（三篇合并）

灵感一：把学习状态外化为可检验的工件，而不是参数或上下文。 论文证据：rulebook+代码+Git 三元组支撑冻结 LLM 拿到 RHAE 100；MASS 的 workflow 是文本规范、可被进化也可被剥离；Mara Chain 的工件目录可直接 diff。 推广场景：组织知识管理（把「老师傅的经验」写成可修订规程而非口传心授）；个人学习（维护显式假设清单并记录被证伪的历史）；代码库的可执行文档。通用做法：凡是需要持续改进的系统，问一句——它的学习状态存在哪里？能否被检查、测试、回滚？

灵感二：有限证据永远留下多个一致假设，提交单一假设等于自我设限。 论文证据：论文一开篇的「墙在第 7 列」例子；种群 N=2 把 wa30 动作降到 0.66×。 推广场景：A/B 测试中单个显著结果即全量上线（同构于提交单一假设）；医学诊断过早锁定单一病因；科研中「首个能解释数据的模型」被过早锁定。解法：显式维护假设池，让后续证据去淘汰而非确认。

灵感三：验证门决定循环的命运——预测误差应立即变成证据，而不是被容忍成噪声。 论文证据：cell-exact replay 保证 planner 模型与全部历史一致；MASS 用裁判隔离保住评估效度；对照昨日赢者诅咒一文，「无验证的 argmax」会系统性虚高。 推广场景：CI/CD 的严格回归门（任何不一致立即阻断）；数据管线的逐行校验；自我评估报告一律配 held-out 审计。

灵感四：不可验证任务的监督可以从「重组自己的工作方式」中产生。 论文证据：同一模型的多副本分工+输出契约，把监督密度提升到单轨迹的数倍（等 token 偏好 80%+）；瓶颈消融定位在 optimizer。 推广场景：个人自省（换角色自我审稿：作者视角写、审稿人视角批、编辑视角取舍）；无金标场景的质量管理（多独立流程交叉验证）；小团队用「分工+契约」弥补缺少外部专家的短板。

灵感五：被拒绝的方案是最便宜的信息源。 论文证据：被拒候选的 rollout/残余/分析被沿链复用后，rollout 需求反降 65.5%；增益在最难的任务上最大（TB2.1 +14.6pp）。 推广场景：招聘中礼貌拒绝但记录「差在哪」的候选人池；科研中被毙掉的 grant 申请与审稿意见的结构化归档；编译器错误日志的沿链修复。原则：丢弃失败方案前，先留下「部分正确的、方向对但有 bug 的、已被排除的」三类标注。

灵感六：可靠性的本质是「从建议到强制」的升级。 论文证据：Mara Chain 案例中链上迭代自发从 prose 升级为脚本；Memento 3 把规则编译为代码才允许规划。 推广场景：管理规范从「指导原则」到「流程卡点」到「自动化校验」的三级演进；安全策略从文档到 linter 到 CI 硬门；法务合规从培训到系统强制。

灵感七：用「每资源单位的效果」替代「最终效果」作为优化口径。 论文证据：MASS 的每输出 token 分数（1.2-1.6×）比绝对分更能揭示本质改进；Mara Chain 的每 rollout 得分曲线直接暴露平台期；Memento 3 的动作比 0.44×。 推广场景：模型选型看每美元/每延迟的性能；团队看每人力周的交付；个人看每小时的有效产出——最终分数可以靠堆资源，效率口径才暴露机制。

结语：RSI 的瓶颈不在生成，而在验证与信息保持

把三篇放回同一个坐标系：自我改进系统的进步速率 = 生成质量 × 验证质量 × 信息保持率。Memento 3 证明了「世界知识只要被显式表示、严格验证、可证伪修订，冻结的 LLM 也能在人类效率基准上拿满分」；MASS 证明了「没有外部教师时，优化自己的组织方式本身就是一种监督来源，且能蒸馏回权重」；Mara Chain 证明了「进化过程中最大的浪费是把失败扔掉，把拒绝候选变成证据链就能同时赢得效果与效率」。对实践者的三条行动项：给每个自适应 agent 配一套外化的可检验世界模型；把「如何组织多个自我副本」当作可优化的对象而非固定脚手架；给每个优化循环建立失败候选的证据库。对研究者：随机/部分可观察环境下的 rulebook 验证（cell-exact replay 不再适用）、MASS 第三周期之后是否复合、链机制在噪声评估下的鲁棒性，都是现成的开放问题。

附录：三篇论文关键数字速查