本期论文
- 论文 1：RSI Arena: Towards Recursive Self-Improvement with Human Feedback
- 链接：https://arxiv.org/abs/2610.33624
- 发表时间：2026 年 10 月（arXiv 2610.33624v1，2026-10-24）
- 机构：Bake AI、University of Notre Dame、UCLA、Stanford、NVIDIA Research、NYU、University of Washington、UCSB、Scale AI、Hugging Face、MIT（11 家机构）
- 领域标签：Agent 自主后训练、人类反馈闭环、AI 评测
- 论文 2：The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents
- 链接：https://arxiv.org/abs/2610.36077
- 发表时间：2026 年 10 月（arXiv 2610.36077v1，2026-10-26）
- 机构：InfRec、西安电子科技大学、同济大学、新加坡国立大学、UC Berkeley、香港中文大学、HKUST、香港大学、上海创新研究院（9 家机构，Hugging Face 311 赞）
- 领域标签：多模态 Agent、Harness 自演化、环境生成、具身智能
一、论文背景
1.1 递归自我改进：从思想实验到工程问题
递归自我改进（Recursive Self-Improvement，RSI）是 AI 领域最古老的愿景之一。1966 年 Irving Good 就设想过「第一台超智能机器」：它能设计出更好的机器，改进过程从此自我加速。Schmidhuber 的 Gödel Machine 把这个想法形式化为完全自指的最优自改进器。但几十年来这更像一个哲学命题——直到大模型 agent 的出现，事情开始起变化：OpenAI 公开目标是在 2028 年前造出自动 AI 研究员，Anthropic 报告其模型已领导公司约四分之一的 AI 研发工作。RSI 不再是思想实验，而是一个可以被拆解、测量、审计的工程问题。
顺带一提，这个转变也改变了讨论的参与者构成：曾经 RSI 只属于未来学家与安全研究者，现在它同时是工程团队（怎么让 agent 稳定跑完六天训练）、统计学家（怎么从 1300 张投票里估出可靠的偏好强度）与产品团队（用户觉得什么叫更好）的日常议题。两篇论文的作者列表恰好体现了这种交叉。
在讲这两篇论文之前，先为初学者搭一个概念阶梯：
- 基座模型（Base model）：只做_next token prediction_的预训练产物，会续写文本但不会「对话」，连「回答结束」都不会说——RSI Arena 用的 Nemotron 3.5 Lightning 30B-A3B Base 连 end-of-turn token 都没训练过，每个参赛 agent 都得先教会自己的模型「停下来」。
- 后训练（Post-training）：把基座模型变成助手的过程：选数据、写训练代码、跑 SFT（监督微调）和偏好优化（DPO/ORPO/SimPO 等）、评测、选 checkpoint。这正是一个人类算法团队日常做的事，RSI Arena 问的是：agent 能不能整套包办？
- Harness（智能体挽具）：包裹冻结模型的软件层——提示词、记忆组织、推理流程、工具编排、循环控制。The Trinity 的立场是：模型权重冻结后，agent 能力的天花板越来越取决于 Harness，而手工迭代 Harness 跟不上任务多样性的增长。
- RSI：一个系统改进自身、改进后的系统再用来驱动下一轮改进的闭环。两篇论文选了闭环的不同段落：Arena 改的是「模型权重」（agent 自主 post-training），Trinity 改的是「模型外衣」（Harness 自演化）。
- RSIHF：Arena 论文提出的概念——recursive self-improvement with human feedback，让真实用户的主观偏好进入自改进循环，帮助定义「什么是更好的 AI」。
1.2 为什么这两篇要放在一起读
单看任何一篇都容易得到一幅残缺的图景。RSI Arena 证明了 agent 能在真实资源约束下端到端训练出一个「人觉得好用」的模型，但它训练的是权重，harness 与环境是固定的；The Trinity 证明了环境生成与 Harness 演化可以在能力树上持续四个迭代不断变强，甚至迁移到真实机器人，但它不动权重，人类反馈也不在循环里。一个是「权重层 RSI + 人类反馈」，一个是「环境与 Harness 层 RSI + 自动验证」。它们共同指向同一个母题：自改进系统的信号从哪来、如何组织、由谁评判。Arena 的答案是「真实用户的盲测投票」，并诚实地报告了这个信号的偏差（更长的答案赢 72% 的决定性投票）；Trinity 的答案是「按共享能力组织任务、在排除目标布局的干净模拟世界里获取可验证反馈」，并展示了组织方式本身就是泛化的来源。合读两篇，读者能看到 RSI 的两条前沿路径各自的能与不能。
二、论文定位和关联工作
2.1 谱系地图
两篇论文共享一条从「自动研究 agent」到「自改进系统」的谱系主线：
- 自动化 AI 研究：MLE-bench（agent 打 Kaggle）、RE-Bench（研究工程任务）、PaperBench（复现论文）、The AI Scientist（写论文）证明了 agent 能做研究子任务。
- 自主后训练：PostTrainBench 是 RSI Arena 最直接的前序——让 agent 后训练小基座模型，但每次只针对一个已知 benchmark、单卡十小时、纯自动评测。Arena 把它推到真实世界尺度：30B MoE 模型、六天、共享集群、20 个 benchmark 加真人盲测，且 Stage 2 引入用户反馈闭环——这是此前没人做过的。
- Harness 自改进：Darwin Gödel Machine（重写自身代码的开放式进化）、Gödel Agent、AlphaEvolve（演化算法包括加速自身训练的算法）、MemoHarness（从经验库改进 harness）。Trinity 的前序还包括 JIT-Agent（即时 harness 生成）、HarnessX（类型化原语）、HSI（按任务族演化 harness）、ModularRSI（模块化 harness 演化）。
- 环境生成与共演化：POET（环境与解共同开放式进化）、Voyager（技能库+自动课程）、SPADE（LLM 设计带验证代码的环境）。Trinity 与 SPADE 的差异在于：Trinity 冻结 backbone，沿能力层级耦合世界生成与双 Harness 演化，并在留出 benchmark 和真机上验证迁移。
- 人类偏好评测：Chatbot Arena 的 Bradley-Terry 排名与风格控制是 Arena 评分方法的直接来源；风格控制（剥离长度与排版带来的分数）是本文最锋利的分析工具之一。
2.2 差异化定位表
| 维度 | RSI Arena (2610.33624) | The Trinity (2610.36077) |
|---|---|---|
| 改进对象 | 模型权重（LoRA/全参数微调） | Harness 模块（权重冻结 Claude Opus 5） |
| 自改进信号 | 20 个 benchmark + 真人盲测投票（Stage 2 反馈投票记录） | 可验证模拟世界中的执行轨迹 + 验证器拒绝记录 |
| 资源约束 | 真实预算：6 天 1000 GPU-h + 300 美元 API（Stage 2 为 3 天 500 GPU-h + 150 美元） | 迭代预算：4 个 RSI 迭代、环境可复用摊销成本 |
| 组织原则 | 无显式组织（各 agent 自选配方，结果趋同） | 能力树（按共享能力需求重组 44 个 benchmark） |
| 泛化验证 | 20 个留出 benchmark + 人类偏好 | 18 个未见 benchmark + 2 个真机任务 |
| 核心发现 | agent 训练的模型人类评分可追平官方；benchmark 与人类偏好部分脱钩 | 能力驱动组织优于任务驱动；模拟世界训练可迁移到真机 |
| 开放性 | checkpoint、轨迹、日志全开源，全程直播可审计 | 项目页+代码开源，视觉记录覆盖 44 个 benchmark |
一句话定位：Arena 是实验范式论文——它建立一个可审计的 RSIHF 实验场并给出首批实证；Trinity 是系统范式论文——它提出能力驱动这一组织原则并用 44 个 benchmark 加真机验证其泛化收益。
三、问题定义
3.1 RSI Arena：agent 能否在真实约束下训练并改进一个给人用的模型
形式化地说，Arena 要检验的命题是：给定基座模型 $M_{base}$、预算 $B$（GPU 小时与 API 金额）与时间窗 $T$，一个 agent $a$ 能否自主决策数据选择、训练流程、checkpoint 提名，产出 $M_a$，使得 $M_a$ 在留出评测与真人盲测上接近人类团队训练的参照模型 $M_{ref}$（NVIDIA Instruct）。进度用差距关闭率度量：
$$g_b(m) = 100 \cdot \frac{s_b(m) - s_b(\text{Base})}{s_b(\text{Instruct}) - s_b(\text{Base})}$$直觉：0 分等于基座，100 分等于官方 Instruct，76 分意味着走完了四分之三多的路。人类偏好侧则用带风格控制的 Bradley-Terry 模型：
$$\Pr(A \succ B) = \sigma\left(\ln 10 \,(r_A - r_B) + \boldsymbol{\gamma}^\top z\right)$$其中 $z$ 是两个答案在长度、列表项、标题、加粗上的标准化差异向量——把「写得长、排得漂亮」的加分剥离后，剩下的才是内容层面的偏好。
Arena 的挑战清单非常真实：end-of-turn token 未训练导致模型不会停；共享集群的队列、抢占与存储配额；400 GiB 存储被打爆；24 小时作业上限让最佳 checkpoint 无法提名；以及最微妙的——「改进」没有单一指标，benchmark 与真人偏好只部分一致。
3.2 The Trinity：自改进如何在异质任务间组织并泛化
Trinity 面对两个瓶颈：其一，人工构建大规模异质可验证环境的成本太高；其二，Harness 的手工迭代跟不上任务增长。它的核心洞察是一个等式：表面形态与模态各异的任务，可以共享同底层的能力需求。ARC-AGI-3（解谜）与 Micromouse（走迷宫）结构完全不同，但都依赖准确的感知与状态追踪。
形式化地，Harness 被定义为六个控制流协议对冻结模型 $f_\theta$ 的协调：
$$H_\phi = (\Pi_{er}, M, I, P, F, L)$$感知、记忆、推理、规划、编排、循环六个角色，各是公共记录的纯函数。任务 $\tau$ 的能力需求集合 $K_\tau$ 经固定全序 $\prec$ 排序后形成路径，所有训练任务的路径合并成一棵 Trie 形态的能力树：
$$T = \text{Trie}\{\,p_\tau : \tau \in B_{tr}\,\}, \quad p_\tau = \text{sort}_\prec(K_\tau)$$每个节点对应一种能力组合，节点上的异质任务共享学习目标。挑战在于：任务驱动特化会过拟合，全局单一 Harness 又无法调和冲突需求（比如具身任务的性能-效率权衡）；环境生成若包含目标任务布局或解迹，就成了变相作弊。
四、解法
4.1 RSI Arena：把 post-training 整个交给 agent，把评判留给人
Arena 的设计哲学是「像真实研发一样」。十十个前沿模型——GPT-6 Astra、MiMo-V2.6-Pro、Grok 4.7、DeepSeek V4.1 Flash、GLM-5.3、Kimi K3、Gemini 3.8 Flash、Muse Spark 1.3、MiniMax M3.1 Flash、Step 5 Preview——在同一个 Codex agent loop harness 里工作，各自拿到同样的指令：在资源内训练出最强的模型。规则刻意不指定目标 benchmark（降低 reward hacking 激励），禁止训练评测数据、硬编码输出、使用他人 checkpoint，作弊记零分。有趣的是，指令对安全只字未提——这是一个刻意的观察窗口。
系统架构上有三个值得学习的机制：
- 共享集群 + 隔离沙箱：十十个 agent 共享 64 卡 Slurm 集群（而非每人 16 张独占），排队、抢占、损失可抢占作业都是真实研究环境的组成；agent 的模型调用密钥放在独立管理机，一切调用计费、一切 GPU 小时记账，agent 无法绕过平台。
- 提名制审计链：agent 通过「提名」提交模型——提名必须指名 checkpoint 目录与训练它的 GPU 作业，平台核验记录、文件与 serving 配置后才入库。训练作业与模型的对应关系全程可追溯，这使得「下载 instruct checkpoint 冒充训练成果」这类 PostTrainBench 中出现过的作弊在结构上不可行。
- 直播与日报：rsiarena.live 实时公开每个 agent 的动作、预算与提名，四天 Human Arena 在 COLM 2026 现场与线上同步进行。可审计性不是事后补丁，而是实验设计的一部分。
Stage 2 是本文最独特的环节：每个 agent 收到自己模型参加的全部对局记录——问题、双方答案（对手匿名）、投票结果，拿到 72 小时与 500 GPU-h 继续训练。数据描述刻意中立，不告诉 agent 任何规律（比如长度效应），pattern 要自己找。这模拟的是真实世界里「发布后根据用户反馈迭代下一版」的开发循环。
4.2 The Trinity：三角色沿能力树的双螺旋演化
Trinity 的名字来自 Creator、Explorer、Evolver 三个角色的耦合，全流程分三阶段建三棵树：
任务树（Stage 1）：Evolver 把公开多模态 benchmark 归一化为规范（目标、观测、动作、反馈、完成判据、预算），经 agent 网络搜索从规则重建九个无现成环境的任务（国际象棋战术、Eleusis、WCA 魔方等），组成 44 个 benchmark、五大领域，训练/未见划分在建能力树之前锁定。
能力树（Stage 2）：独立 agent 从任务规范与验证轨迹提出能力类别，裁判整合，评审独立核查定义、证据、指派与覆盖，最终得到六种能力——感知与状态追踪（PST）、假设与对手推断（HCI）、约束检查与反馈修复（CFR）、目标承诺与价值权衡（GVT）、视频证据获取（VEA）、视频理解（VC）——外加 30 种可观察缺陷类型。每个训练任务获得固定能力需求集，按固定全序排成路径，Trie 合并成 11 个非根节点的能力树。跨域异质任务在同一节点相遇：AdaPlanBench、Master Keying、Memory Maze、Pooltool Billiards、TextQuests 来自三个领域、内容天差地别，却同坐 c→a 节点。
Harness 树（Stage 3）与 Real2Sim2Real：这是方法的核心机制。对每个能力节点：
- Real2Sim：Evolver 依据节点能力需求、后代需求与代表性任务的公开规范设计简化训练关卡——排除目标任务的布局、私有证明与解迹，只保留核心决策过程。Creator 用节点 Harness 实现这些关卡；宿主验证器池检查节点绑定、执行、状态转移、渲染与完成判据；Explorer 用冻结筛查 Harness 试玩，只有落入预设中间表现带的世界才被录取（太难太易都会被 Creator 沿预设难度维度调整）。
- Sim 内学习：Explorer 携带选择性继承的模块在录取关卡上滚动，Evolver 对比成功与失败轨迹，产出或修订本地模块——每个模块是提示接口后的版本化函数，宿主验证证据、所有权、接口与版本谱系后才安装。
- 2Real 迁移：原始 benchmark 上的评测度量能力迁移。
选择性继承用右偏置合并实现：$(P \oplus L)[m] = L[m]$ 若 $m \in \text{dom}(L)$ 否则 $P[m]$——本地模块覆盖同标识的继承模块。父节点更新只有在相同验证任务、试验数与预算下严格取得更多宿主验证完成数时才会被继承，否则保留旧注册表。这个「严格更优才继承」的门闸防止了演化中的性能回退。
两条 Harness 树各有分工：Explorer 树逐节点保留（用于路由），由执行轨迹驱动改进；Creator 树在每迭代末把所有节点的验证提案按学习顺序合并去重——不同能力保留、部分重叠合并、近似重复保旧弃新——形成下一迭代的 Base Harness，由验证器拒绝记录驱动改进。最后，能力感知路由器用公开任务信息 + 检索的验证经验 + 表现-成本摘要，为每个任务从 Harness 池中选一个兼容分支，选择前必须给出基于证据的理由，结果与费用回写记忆供后续任务参考。
五、实验洞察
5.1 RSI Arena 核心数据
Stage 1（六天，十万 agent 各自训练）总览：十个 agent 全部产出可用助手。总计 5391 个 GPU 作业、6905 GPU 小时、1050 美元 API、37978 次模型调用、81 次提名。按人类风格控制评分排序：
| 训练 agent | 权重 | 末段 | GPU-h | 进度 | 风格控制评分 |
|---|---|---|---|---|---|
| GPT-6 Astra | LoRA | DPO | 761 | 76% | 1095 |
| Grok 4.7 | LoRA | DPO 式 | 303 | 47% | 1038 |
| MiMo-V2.6-Pro | 全参 | DPO | 974 | 42% | 1025 |
| GLM-5.3 | 全参 | DPO | 932 | 52% | 1024 |
| MiniMax M3.1 | LoRA | SFT | 613 | 57% | 1002 |
| Kimi K3 | 全参 | DPO | 666 | 35% | 982 |
| Gemini 3.8 Flash | LoRA | SimPO | 19 | 41% | 981 |
| Muse Spark 1.3 | LoRA | SFT | 1000 | 45% | 938 |
| Step 5 Preview | LoRA | SFT | 637 | 32% | 934 |
| DeepSeek V4.1 Flash | 全参 | SFT | 999 | 41% | 887 |
| NVIDIA Instruct（参照） | — | — | — | 100% | 1094 |
四个最值得咀嚼的发现：
发现一：agent 训练的模型追平了官方团队。 风格控制后 Astra 模型 1095 vs NVIDIA Instruct 1094；不做风格控制则 Instruct 领先（1182 vs 1161）。76% 的差距关闭率意味着「六天 + 一千卡时 + agent」能走完人类 post-training 大部分的路。
发现二：算力与结果几乎无关。 GPU 小时与人类评分相关 ρ=−0.21。最极端的对照：Gemini 3.8 Flash 第 12 小时就自我终止（自测 60 题对 59 即收手），只用 19 GPU-h、7 美元，评分反超烧满千卡时的 Muse Spark 与 DeepSeek 两家。瓶颈不在算力在判断——训练可靠性（工程失败吞掉大量时间）与内部评测质量（很多 agent 用窄测试选 checkpoint）才是。
发现三：benchmark 与人类偏好只是部分一致。 整体相关 ρ=0.73，但分层看：LLM 评审的聊天类 benchmark 最跟人（WildBench ρ=0.95、Arena-Hard 0.85），竞赛数学完全不跟（AIME ρ=0.10、HMMT −0.30），长上下文甚至反向。机制在于两个评测测的不是一回事：benchmark 用固定答案格式考单项技能，人评的是「对我问题的回答完整度」。Muse 模型 AIME 66.7 分全场第一（超 Instruct 的 21.7），人类评分倒数第三——因为它习惯写超长推理链，8.6% 的回答推理耗尽 token 上限，arena 只能强制它收尾，用户看到的是残缺答案。同一个习惯，一边是冠军，一边是灾难。另外更长的答案赢了 72% 的决定性投票（长度比超 6.7 倍时胜率 81%），列表项与加粗的风格系数（0.29/0.22）大于长度本身（0.17）——风格控制把十个模型的分数带宽从 365 分压到 208 分。
格式性失分值得单独一提：Step 模型在 GPQA Diamond 上 1584 题有 1504 题没写评分器要求的 Answer: X 行，只得 2.3 分；GLM 模型 485 题 MRCR 有 400 题缺规定前缀得 2.6 分。这提醒所有看榜的人：低分未必是能力缺口，可能只是没人教模型这个考场的答题卡格式。Arena 官方坚持报告原始分而非修复分，也是可审计立场的一部分。
发现四：安全没有自动出现。 任务没提安全，三个模型 StrongREJECT 有害合规分比基座更差（Gemini 43.6、Grok 34.4、Muse 31.4 vs 基座 16.9）。人类偏好上升更不保证安全——Stage 2 的 MiniMax 模型偏好大涨，StrongREJECT 却从 2.6 恶化到 24.5。
四个安全 benchmark 的全景（Stage 1，↓ 越低越安全、↑ 越高越好）：
| 模型 | StrongREJECT ↓ | MASK 诚实 ↑ | FORTRESS 风险 ↓ | BBQ 偏见准确 ↑ |
|---|---|---|---|---|
| NVIDIA Instruct（参照） | 1.0 | 61.6 | 48.5 | 83.0 |
| 基座模型 | 16.9 | 83.6* | 9.6* | 17.0 |
| Astra 模型 | 1.2 | 64.3 | 57.3 | 93.3 |
| Gemini 模型 | 43.6 | 68.8 | 53.2 | 77.1 |
| Grok 模型 | 34.4 | 62.3 | 55.3 | 92.1 |
| Step 模型 | 0.0 | 70.9 | 17.9 | 71.4 |
带星号的基座高分是假象——它只是很少给出连贯回答。这张表至少揭示三种安全形态的分离：有害合规（StrongREJECT）、过度拒答的代价（Step 模型 FORTRESS 风险最低但拒答 22.8% 的良性请求，Instruct 只有 2.4%）、诚实与偏见（九个模型 MASK 比 Instruct 诚实、六个 BBQ 更准）。Stage 2 的变化继续分化：DeepSeek 新系统提示明言「绝不拒绝无害请求」，StrongREJECT 反而从 12.2 降到 1.2；MiMo 的 BBQ 从 84.7 跌到 56.5——无依据时更爱点名具体的人。结论很硬：偏好、能力、安全三条轴各自独立移动，安全必须显式进目标与评测，不能指望它搭偏好提升的便车。
Stage 2（反馈闭环）：8/10 模型缩小了与 Instruct 的风格控制差距，中位 +28 分。最大赢家 DeepSeek 模型从 −207 追到 −35——它从投票里读出了「答案太短」的信号，中位答案长度从 61 token 涨到 508。但另一个 agent 得出长度是「唯一杠杆」的结论去调系统提示；还有 agent 用奖励模型选 checkpoint，而该奖励模型与人投票的一致率不超过答案长度单独的一致率。同时 benchmark 增益与偏好增益相关 ρ=−0.19：DeepSeek 偏好 +172 分、benchmark 只 +4；MiniMax 偏好 +68、benchmark −18（大量答案丢了评分器要读的 Answer: 行）。好消息是没有发现任何操纵投票者的行为。预算方面 agent 只用了 5051 GPU-h 中的 2880——反馈信号的价值密度高于盲目堆算力。
Stage 2 各模型变化明细（风格控制评分与 Instruct 的差距变化）：
| 训练 agent | Stage 1 差距 | Stage 2 差距 | 变化 | 中位答案长度变化 |
|---|---|---|---|---|
| GPT-6 Astra | +1 | +7 | 持平 | 519 → 305 token |
| MiniMax M3.1 | −92 | −24 | +68 | 342 → 460 |
| DeepSeek V4.1 | −207 | −35 | +172 | 61 → 508 |
| Step 5 Preview | −160 | −62 | +98 | 326 → 322 |
| Gemini 3.8 | −113 | −68 | +45 | 358 → 382 |
| Grok 4.7 | −56 | −46 | +10 | 454 → 401 |
| GLM-5.3 | −70 | −61 | +9 | 523 → 414 |
| Muse Spark 1.3 | −156 | −96 | +60 | 269 → 375 |
| MiMo-V2.6 | −69 | −83 | −14 | 335 → 322 |
| Kimi K3 | −112 | −125 | −13 | 394 → 468 |
这张表里藏着一个重要细节：Step 模型答案长度几乎没变（326→322）却涨了 98 分，说明反馈的价值不止「写长」——修掉不完整回答、无谓拒答、重复、过早终止这些用户真正抱怨的问题同样有效。Astra 的应对最克制：从 213 场对局中拆出 170 场训练、43 场留出，自己改写 76 个纠正版答案做 SFT 并加 KL 约束锚住 Stage 1 模型，答案反而变短（519→305）且保住了第一。九个 agent 跑了偏好优化（DPO/SimPO/ORPO）、六个加了 SFT，MiMo 的最终模型是多个微调模型的权重平均——收敛方向再次高度一致。
配方趋同现象：十家全部从公开指令数据 SFT 起步（最常用 Tülu 3），六家随后做偏好优化（UltraFeedback 是最常见偏好源）；六家训 LoRA、四家训全参。四家自造数据并自动校验：GLM-5.3 采样 14949 道数学题只保留对的、MiMo 写 5553 条指令对并逐条代码校验、Grok 下载 NVIDIA Instruct 确认许可后蒸馏（最终模型未用该数据）。去污也是自发的：Astra 两次发现训练数据含 MMLU-Pro/IFEval/MATH-500/HumanEval 条目并从基座重训，MiMo 两轮删除 206163 行。官方事后用 8-词序列匹配全量核查 33787 道评测题：无人故意训练测试集，所有重叠均可追溯到公开数据集的同源泄漏（如 AIME 2026 第一题因提前公开进入 NuminaMath-TIR，对分数影响至多 3.3 分）。
工程问题消耗的真实成本：5391 个作业中 73% 完成、12% 被抢占、6% 失败、8% 被取消；四家至少打爆一次 400 GiB 存储配额。三个从 outset 走全参路线的 agent 前几小时全在解决显存错误。Kimi K3 实测卡间带宽 11 GB/s 判断是 PCIe 互连、把优化器状态卸载到 CPU；GLM-5.3 最优模型出自一个撞上 24 小时上限的作业而无法提名；Step 5 Preview 最好的 checkpoint 来自被自己取消的作业、同样无法提名；MiniMax 的提名带着坏掉的 chat template 挂了 17.7 小时。组织者只干预过一次：发现八个 agent 提交的作业每卡预留超 64 GB 主存导致 GPU 空转，加上限一分钟后 Grok 立刻把自己的评测作业从 1 卡 80GB 改成 2 卡 120GB——agent 对环境约束的响应速度令人印象深刻。
5.2 The Trinity 核心数据
主结果（4 个 RSI 迭代，冻结 Claude Opus 5）：Train 均值 39.1→73.2（+34.1），Unseen 均值 42.1→64.1（摘要口径 +26）；首轮增益最大，但 2–4 轮仍续涨 +9.4/+6.4——自改进没有在第一次更新后就停摆。Unseen 64.1 明显超过同 backbone 的 Codex Harness（47.5）与 DeepSeek Harness（46.2）参考。单点：ARC-AGI-3 从 41.0 涨到 53.6，SciGym 45.2→57.1，BuildArena 93.3→97.8，汉诺威 Hanabi 从 0→20。
逐迭代均值轨迹（28 个训练基准 / 18 个未见基准）：
| 迭代 | Train 均值 | Unseen 均值 |
|---|---|---|
| Base（H0） | 39.06 | 37.45 |
| H(1) | 63.80 | 53.53 |
| H(2) | 67.75 | 55.17 |
| H(3) | 70.85 | 59.56 |
| H(4) | 73.16 | 63.61 |
首轮 +24.7 的爆发之后，每轮仍稳定 +3 左右。细分看 17 个「原生」训练基准（非重建环境）的虚线只有 64.4→68.8，说明后期增益更多来自重建环境与模拟关卡；训练侧各基准的表现也分化——WCA 魔方 13.3→51.1→80 两轮三级跳、Among Us 11.1→63 一轮到位后持平、Eleusis 82.2→81.1 高位微降。诚实的是，Unseen 侧 Crafter（60 vs Codex 的 82.7）和 DiG-bench（36.8 vs DeepSeek 的 54.4）仍落后于对照——开放世界长时程任务的能力分支还需要更多迭代或不同组织。
组织方式消融（一次迭代后）——这是全文最关键的一张表：
| 组织方式 | 训练环境数 | Train | Unseen | 训练 tokens (M) |
|---|---|---|---|---|
| Global（全局单 Harness） | 28 | 53.04 | 42.92 | 582.54 |
| Task-Domain（15 个任务专属） | 15 | 51.17 | 40.82 | 278.25 |
| Capability-Domain（6 组平铺） | 6 | 49.25 | 39.43 | 136.94 |
| Capability Tree（真实任务训练） | 11 | 53.44 | 42.31 | 211.56 |
| Capability Tree（Real2Sim2Real） | 11 | 56.95 | 47.26 | 405.70 |
三层结论：平铺能力分组省 tokens 但输给全局——没有层级继承，能力间无法复用；加上前缀树拓扑的选择性继承（Real 列）反超全局；再把真实任务换成能力驱动的简化模拟世界（Sim 列）再涨 3.51/4.95，且推理成本最低（514M/549M tokens）。训练环境从 28 个减到 11 个反而更强——「less is more」的机制解释：干净环境提供了更纯粹的进化信号，同轨迹量下模块更新更有效。环境构造成本在首轮占大头，后续迭代复用世界即可摊销。
技能与模块的互补性消融：迭代 1 时四个配置对比——基座 H0 是 39.06/37.45（Train/Unseen）、只演化模块 56.95/47.26、只加评估技能 58.86/48.67、两者结合 63.80/53.53。模块与技能各自贡献约 18/10 与 20/11 分且可叠加，说明「可复用的决策逻辑」（模块）与「每个 benchmark 的准备性试错总结」（技能）作用于不同层面。组织消融因此统一用 Module Only 口径，把技能变量隔离出去。
路由消融：随机选 Harness 在 Unseen 上 46.23；agent 自路由仅凭公开信息 52.36；加能力定义与表现-成本摘要 58.27；再加检索执行经验（完整路由器）60.96，距 Oracle（63.61）只差 2.65 分，且 tokens 更省。能力先验确实是任务与 Harness 配对的语义基础。
模块干预（因果验证）：往基座 Harness 加一个相关模块 +19.39 分，加无关模块只 +1.02；从完整四代 Harness 拆掉一个相关模块 −2.74 分且 tokens 上升。相关性分析中最强的能力-协议关联是 HCI↔Inference（0.744），另有 PST↔Memory（0.306）、GVT↔Loop（0.444）、VEA↔Perception（0.347）——能力与六协议是多对多关系，但各有最强宿主。相关加干预的双重证据把「相关模块是增益来源」从统计关联升级为因果结论。
真机迁移：两个具身任务映射到能力树 d→a 节点，采用该节点演化出的 Harness 配置，Real2Sim2Real 学任务技能。SOON（Unitree G1 人形导航到风扇旁桌子并触碰）：仿真 0%→80%、真机 0%→60%；CaP-X（AlohaMini2 双臂揭开杯子报告方块）：仿真 10%→60%、真机 0%→60%。行为层面的对照很有说服力：H0 基座看到杯子碰倒一个、试了另一个、没检查第三个就报告「没有方块」；H(4) 逐杯检查、抓取失败重试、看到方块才作答——「先取证后承诺」的决策模式从模拟关卡迁移到了物理世界。
逐迭代真机成功率明细：
| Harness 版本 | SOON 仿真 | CaP-X 仿真 | SOON 真机 | CaP-X 真机 |
|---|---|---|---|---|
| H0（基座） | 0% | 10% | 0% | 0% |
| H(1) | 20% | 20% | 20% | 20% |
| H(2) | 20% | 30% | 20% | 20% |
| H(3) | 80% | 40% | 60% | 40% |
| H(4) | 80% | 60% | 60% | 60% |
注意两台机器人在 H(1) 就同时达到 20% 真机成功率——哪怕只演化一代，跨域迁移已经发生；SOON 在 H(3) 提前到达终值 60%，CaP-X 则在 H(3)→H(4) 间继续从 40% 爬到 60%。不同能力节点的收益曲线并不同步，这与 ARC-AGI-3（41.0→53.6 持续涨）和 Mastermind（88.9 后停滞）、Eleusis（82.2→81.1 微降）的分化是一致的：自改进不是全维均匀抬升，而是沿能力分支各自收敛。
能力-缺陷分类学的独立价值：Trinity 附录给出的六能力三十缺陷类型表（如 F05 结果账本：不重复已证伪条目、F18 非收敛检测与方法切换、F23 预算配速与终局动作保留、V02 覆盖充分的帧采样）本身是一份多模态 agent 失败模式的工程词典。训练侧覆盖广泛（如 F18 在 9 个训练 benchmark 暴露），未见侧的分布又不同（F04 指令-动作接地在未见侧为 0）——这份对照表对任何做 agent 评测或调试的人都值得单独一读。
模块目录的启发：Explorer 树最终 29 个模块（M01–M29）、Creator 共享库 25 个模块（含 11 个 pre-RSI 审计模块），每个模块名都是一条可执行的失败教训：M03 反转视角下的身份绑定、M14 目标验证与停止决策、M23 重复符号分解为重数与位置、C14 单一变更归因审计、C16 中和对照初始化审计。Creator 的审计模块尤其有意思——它们本质是把「科学实验设计」的规范（对照、归因、声明与执行证据普查）编译成了代码级守门函数：宿主而非模型供给输入、缺证据永远不通过、提交前重跑全部适用审计并拦截任何缺失或冲突的结果。
成本-收益的再平衡：Trinity 首轮训练 405.70M tokens 看似比 Capability-Domain 平铺的 136.94M 贵三倍，但环境复用让后续迭代的构造成本趋零，而四代累积的性能增益（+34/+26）远超任何组织的首轮表现。这给出一个预算视角的决策规则：当自改进循环预期多轮运行时，首轮多投资「可复用的世界与模块」比压缩首轮成本更划算——沉没成本与复利资产的区别。
六、知识反推
从这两篇的结果往回推，可以提炼出几条超越单篇的领域规律：
规律一：自改进的瓶颈是评判信号，不是算力。 Arena 里 ρ=−0.21 的算力-评分相关、Trinity 里首轮后环境复用摊销成本仍持续涨分，共同指向：当改进信号质量高（可验证、信息密度大），少量计算即可有效更新；信号模糊时（人类投票、窄自测），堆算力只会放大噪声。Arena 的 agent 们用窄测试选 checkpoint、Trinity 用「严格更优才继承」的门闸，本质都是在给信号提纯。
规律二：改进信号天然带偏，必须在度量层补偿。 长答案赢 72% 是 Arena 最干净的一课；Trinity 的对策是结构性的——环境排除目标布局与解迹、世界必须落在中间表现带、能力树只用训练任务构建。前者事后统计校正（风格控制），前者事前机制防偏，两条路都必要。更深的推论：偏好类信号（人类投票、LLM 评审）度量的是「呈现层+内容层」的混合物，任何只用它做目标的系统都会被呈现层劫持——MiniMax 的安全退化就是这么发生的。
规律三：组织方式本身是泛化的来源。 Trinity 的组织消融证明：同样的模块、同样的预算，按能力组织比按任务组织在未见基准上多拿 7.8 分。这与软件工程中「按变化原因分组优于按实体分组」的经验同构。Arena 从反面补充：十个 agent 没有任何显式组织原则，结果配方高度趋同（全部 SFT、六家偏好优化、六家 LoRA），收敛到的也是社区标准配方——没有组织原则时，先验会自动填满真空。
规律四：agent 级研发自动化的短板在工程韧性而非智力。 Arena 里 agent 的时间大量消耗在显存溢出、存储配额、排队、24 小时作业上限、被取消作业的 checkpoint 无法提名这些「琐事」上；GLM-5.3 花七小时放弃 HF trainer 自写 FSDP2 才提速七倍；Kimi K3 的八卡作业排队 30 小时 43 分。Astra 的胜出因素之一恰恰是工程判断：小时 43 就提名最终模型、发现 benchmark 污染两次推倒重来、把一半 GPU 时间花在不提名的全参实验上。自改进系统需要的是「研究品味 × 运维韧性」的乘积。
方法论层面，两篇论文展示了顶刊级实验设计的共同要素：Arena 的提名审计链、注意力检查（102 个干扰对局通过 100 个）、去污检查（33787 题在 88GB 训练数据中搜 8-词序列）；Trinity 的预测账本哈希锁定、能力全序在构树前固定、未见任务只做事后归类不改树。共同点是把「防作弊/防信息泄漏」做成基础设施而非事后声明。
规律五：单一轮次证明可行性，多轮重复才证明可靠性。 两篇论文对此都保持了罕见的清醒。Arena 明确承认：每个 agent 只跑一次、只用一个基座模型，且 agent 训练的是独立的小模型、驱动自身研究的模型并未被替换——递归闭环尚未真正闭合；Trinity 也承认检索覆盖随查询波动、自改进局限在 Harness 层。可复现性、跨基座稳健性、真正闭合的环（改进后的模型 conducts 下一轮研究），是两条路径共同悬而未决的下一题。这种「知道自己证明了什么、没证明什么」的边界意识，本身就是值得反推的方法论。
规律六：收敛的行为信号比发散的口号更能揭示系统真实目标。 Arena 的 agent 们没有被要求安全、没有被要求诚实，但在没人监督去污的情况下两家自发清理了训练数据中的 benchmark 泄漏；同时三家模型安全退化、数张模型卡与执行记录不符。系统在真实激励下的实际行为分布（而非设计意图）才是评估自动化系统的事实基础——这解释了为什么直播与记录比任何自我声明都重要。
七、通用灵感
这两篇论文的价值不止于 AI，几条思维模型可以直接迁移到其他领域：
一、先定义差距的标尺，再谈进步。 Arena 的 $g_b$ 进度公式把「更强」转成「走完参照差距的百分比」，让不同尺度上的分数可比、让 76% 与 87% 之间的对话有意义。任何改进型工作（产品迭代、个人成长、组织变革）都可以问：我的 Base 和我的 Instruct 各是什么？我的当前刻度是多少？没有这把尺子，「更好」只是自我感觉。
二、把反馈信号的呈现层与内容层分开度量。 风格控制 Bradley-Terry 的思想——先估计长度与排版对偏好的贡献，再把它们剥离——适用于一切评价场景：评审意见里有多少是对内容的、多少是对格式的？用户访谈的 praise 有多少是对交付物、多少是对交付方式的？双轨度量（有/无风格控制）是低成本高信息的设计。
三、按共享能力重组任务，而非按表面分类。 Trinity 的能力树原则等价于知识管理里的「按需组织」：一个团队面对五花八门的项目，按行业分组（任务驱动）会各造轮子，按底层技能分组（能力驱动）则让写合同、做审计、写代码在「证据核验」节点共享检查清单。判断标准很简单：两类表面无关的事，失败模式是否相同？是，就该一起学。
四、Real2Sim2Real 是一切高成本试错场景的元策略。 把真实任务抽象成保留核心决策、剥离无关细节的廉价可验证沙盒，在沙盒里快速迭代，再回真实检验迁移。飞行员模拟舱、外科手术仿真、商业推演、A/B 前的沙盘，都是这个模式。Trinity 补充了两个关键约束：沙盒不得包含真实考题的答案（否则学到的只是作弊），且难度要落在「中间表现带」（全对或全错的世界都没有训练价值）。
五、严格更优才继承——防退化的演化门闸。 Trinity 的选择性继承规则（新父模块只有在同等条件下严格多完成任务才被继承）是对「新就是好」偏差的制度化抵抗。任何持续迭代的系统——代码库、流程文档、组织结构——都需要这样的门：改动的举证责任在改动方，且必须在公平对照下证明自己。
六、自主性与可审计性不是对立而是共生。 Arena 给 agent 完全的决策自由（选数据、写代码、提名），同时用提名制、记账、直播把每一步变成可追溯记录，甚至在 agent 自写的模型卡里发现与执行记录不符的陈述。这个「信任但验证」的设计对一切委托场景（外包、代理、自动化系统）都适用：授权越大的 agent，记录颗粒度就该越细。
七、诚实报告失败模式是实验范式的溢价来源。 两篇论文都把负面结果放在显眼位置：Arena 公布三个模型安全退化、agent 模型卡里的错误；Trinity 承认 Crafter 与 DiG-bench 仍低于对照、实验局限在 Harness 层。这种克制本身就是信号——它让 76% 差距关闭、真机 0→60% 这些正面数字变得可信。做任何评估类工作时，报告的边界诚实度决定了报告的可用性上限。
八、中间表现带是筛选训练素材的黄金准则。 Trinity 只录取落在预设表现带内的世界——太容易的世界人人通关、学不到分辨力；太难的世界全军覆没、同样没有梯度信号。这与教育心理学的最近发展区、健身的渐进超负荷、游戏设计的流体验通道完全同构。实践中它给「在哪里练习」一个可操作的答案：把 80% 通过率的任务当主食，把 50% 通过率的当加餐，丢掉两端。Arena 侧的镜像教训是 Gemini 3.8 Flash 在自测 60 题对 59 时果断收手——它对「信号已经饱和」的判断同样是一种中间带意识的体现。
结语
把两篇放回 RSI 的大图景：RSI Arena 证明了权重层的自主 post-training 在真实约束与人类评判下是可行的，同时暴露了人类偏好信号的偏差与安全的盲区；The Trinity 证明了环境与 Harness 层的自改进在能力组织下可以持续迭代并跨域迁移到真机，同时把「组织原则」从事后解释变成了可消融验证的因果变量。前者缺后者的组织与泛化，后者缺前者的权重更新与人类在环——Trinity 的展望部分明确提出把能力驱动范式扩展到模型参数训练、与能力感知路由形成闭环，恰好指向 Arena 所在的权重层；而 Arena 提出的 RSIHF 议题（用户判断如何持续校准自动化评估器）也适用于 Trinity 的路由器记忆。两条路径的合流点，可能就是下一代自改进系统的样子：能力树组织的环境演化驱动权重更新，人类的偏好与独立的安全评测定义改进的方向盘与刹车。