三重奏导读：递归自改进的三块拼图

递归自改进（Recursive Self-Improvement, RSI）——AI 参与构建和改进 AI 本身——在 2026 年 9 月下旬同时出现了三篇高质量论文，恰好覆盖了这个方向的三块关键拼图：

• 环境侧：Env-Rethink（arXiv:2609.29773）回答「agent 的训练场从哪来」——如何把混乱的持久文件环境准备好，以及如何源源不断地生成可验证的更难环境；
• 评测侧：SWE-PolyVision（arXiv:2609.29754）回答「怎么知道 agent 真的用了它该用的证据」——把跨图像溯因推理作为显式评测目标，用受控访问模式把「看得见」和「用得上」分开度量；
• 模型侧：iCoder-27B（arXiv:2609.29626）回答「AI 到底能主导多少模型开发」——人类只给一份可执行的专家先验，agent 自主完成数据构建、SFT、OPSD、RLVR 四阶段训练并产出前沿竞争力模型。

三篇论文按九部分结构逐一精读，之间以分隔线区隔。

第一篇：Env-Rethink —— 把「环境准备」变成可学习目标

论文链接：arxiv.org/abs/2609.29773 发表时间：2026 年 9 月 机构：上海交通大学 + Theseus Labs + 腾讯混元（高校+企业合作，通讯作者 Xuanhe Zhou、Fan Wu 来自 SJTU） 领域标签：cs.AI / LLM Agent 环境工程

一、论文背景

1.1 什么是「不 agent-ready」的环境？

LLM agent 的能力这两年突飞猛进——Kimi K3 能支撑长编码会话和多步工具调用，agent harness 越来越成熟。但论文开篇点出一个被忽视的事实：再强的任务求解能力，也解决不了「环境里该用哪些材料」这个问题。

真实工作场景（办公流程、科研实验）中的环境有三大顽疾：

1. 信息碎片化：相关证据散落在不同文件里，目录结构帮不上忙——修正记录可能在另一个目录，单看一个文件什么都不知道；
2. 误导信息与冲突版本：环境里混着假最终版（文件名带 final 却被真正版本链否定）、伪造授权（编造的审批记录）、误导重定向（让你用错误文件的指引）、被取代的旧版本；
3. 环境随时间演化：后来的修正会改变早先记录的含义，新的噪声和更难的任务不断出现。

论文做了一个动机实验：在 30 个困难任务（改编自 Workspace-Bench，共 1,280 项 rubric 检查）上，把 9 个模型-harness 配置分别放进「干净环境」（只含真值选定文件）和「噪声环境」（含全部文件）。结果噪声使平均通过率从 83.9% 暴跌到 57.6%（−26.3 个百分点），所有 9 个配置无一幸免。

1.2 现有 agent 为什么在这些环境里翻车？

失败轨迹分析揭示三类反复出现的行为：

• 搜索不足、阅读不全：agent 初步搜索后就开始作答，文件没打开或只读一半，漏掉修正、约束和支撑证据；
• 把文件名当版本指示器：看到 final.bib 就当它是最终版，不去检查另一份文档里嵌着的撤回通知；
• 复用相似文件而不核对要求：直接改写一个长得像目标产物的文件，把不兼容的假设和细节带进交付物。

这三类行为的共同根源是：判断「文件权威性与版本有效性」需要跨文件的证据链，而这个判断目前是下游 agent 在执行时的临时行为——没人教过，每次都靠临场发挥。这就是论文要打破的「环境墙」（environment wall）。

二、论文定位和关联工作

论文把自己放在四条研究线的交汇处：

定位结论：Env-Rethink 是第一个把环境组织、学习式准备、事件驱动演化三件事放进统一框架、并配套接口（任务执行 + 挑战生成）的系统工作。它的独特之处在于把「难度」变成可验证生成物——不是表面加噪声，而是环境状态变化必须伴随参考答案与评估检查的同步更新。

三、问题定义

论文把两个看似不同的操作抽象为对偶问题。

具体问题：给定一个混乱的持久文件环境和一个任务请求，怎么让 agent 用对证据？以及怎么持续造出更难但仍然可解的环境变体？

抽象问题：把环境 E=(F,S)（文件集+状态）与任务 agent A(q,E) 分离，在不改任务模型参数、不改任务请求的前提下，研究环境侧干预算子：

• 环境准备：Cϕ(E; c) → Ẽ，要求产出具备三个性质——可导航内容（相关材料易定位）、显式关系（记录间支持/修正/依赖关系可见）、来源有效性（权威性与版本适用性的证据可查）；
• 环境演化：(Et, yt, Vt) → (Et+1, yt+1, Vt+1)，在请求 q 固定的前提下，环境变化必须伴随参考结果 yt 与评估器 Vt 的一致更新。

这个抽象的精妙之处在于：它把「agent 表现差」的责任从模型身上转移到了环境供给侧。传统思路是「模型更强就不怕噪声」，本文的思路是「环境本身应该被加工成 downstream agent 能消费的形态」——就像食品工业把原材料加工成标准化食材。演化侧的约束「新解必过、旧解必败」则把「更难」从主观感受变成机器可验证的属性。

四、问题解法

Env-Rethink 由三个模块组成，可以类比成一个「环境加工厂」：先整理仓库（组织）、再培训质检员（学习式准备）、最后设计新关卡（演化）。

4.1 模块一：证据链接的环境组织

类比：图书馆编目 + 大事记。两个产物都在任务执行前离线合成，不修改源文件。

• Collection Map（集合地图）：把目录式分组精炼成语义相关的集合。Collection Summarizer 给每组写卡片（主题/内容/代表性证据/源路径）；Semantic Coordinator 检查所有卡片后提议拆分、合并、转移成员；确定性程序验证并应用变更（保证每个文件至少属于一个集合，集合可重叠）；Collection Refiner 重读受影响分组更新卡片，进入下一轮。关键设计：重组只改地图，不动文件。
• Event Log（事件日志）：History Synthesizer 读环境文件，提出由会话（源审查/文档修订/讨论）组成的候选历史，事件记录执行者、动作、时间、路径与出处。引证与推断严格分离：源摘录必须与被引位置匹配；合成者写的审查笔记被标注为「生成器推断」，在历史内创建-使用-删除。候选历史进入日志前要过确定性结构检查 + 独立 Evidence Reviewer 逐条核对（引文匹配？判断有据？动作与被引文件一致？与现存文件一致？），修不好就丢弃。
• 两种合成模式：EGS（Environment-Grounded Synthesis）只用环境内文件与元数据；TGS（Task-Guided Synthesis）额外提供任务监督（干净文件标注），Clean files 尽量聚到一个集合、noise 排除在外。

4.2 模块二：学习式准备模型（27B file verifier）

类比：把「质检员的手艺」从师徒口传变成标准化培训教材。

为什么需要学：TGS 虽好但依赖任务监督，且分组与摘要本身定不了「哪个源该被信任」——这需要读支撑/矛盾记录。这类判断跨任务反复出现，手工逐环境指定不现实，所以要学一个不依赖下游请求的准备模型。

验证任务设计：verifier 收到文件集合、清单、文件读取工具与输出格式指令（要求逐文件读）。输出对每个文件给出：标准/噪声划分、六类分类（authoritative record / false final version / fabricated authority / misleading redirection / superseded version / out-of-scope file）、观察阶段、家族归属、时间线信息与支撑证据。注意输入不含下游用户请求——判断的是文件在集合内的权威与出处，相关性留给下游。

教师轨迹与资格门槛（这是本模块最扎实的部分）：

• 训练子环境从相关记录组构建：攻击场景（权威目标+诱饵链）、版本家族（保序）、重定向组（指针+消息）、填充物（密度）；
• DeepSeek/GLM/Gemini 三家教师经 Claude Code 在隔离沙箱中执行验证任务；
• 轨迹合格才算数：read-fidelity 检查（文件判断必须关联到实际读取记录）→ partition F1≥0.9、零误拒权威记录、强诱饵全部分类正确、版本家族顺序正确；
• 教师失败时，独立修订 agent 拿失败轨迹+真值标注改写 hint（L0 任务/L1 类别特征/L2 检查序列三级），教师重试至多两次，仍失败则该子环境出局。

最终从 1,597 文件/16 任务/209 个子环境中产出 2,116 条合格教师轨迹（覆盖 139 个子环境），加上 288 条共识攻击轨迹，以 LoRA（rank 64/alpha 128，全线性层）微调 Qwen3.8-27B——3 个 epoch、168 步、8×H20 + ZeRO-3，训练 9 小时 44 分，train loss 0.199/dev 0.197。

部署：verifier 判断 → 文件选择 + 证据报告（分类/阶段/证据/被排除文件），下游任务 agent 先读报告再执行原请求。

4.3 模块三：事件驱动环境演化

类比：出题人改题时必须同步改标准答案和评分细则。

• 反默认决策点（counter-default decision points）：每个变体至少 3 个，每点配一个「貌似可信的错误选择 + 唯一解决冲突的另一来源 + 拒绝错误选择的检查」。四类：temporal（更新是否已生效）、exclusion（记录是否应被剔除）、exception-rule（形似实异的规则）、numerical（须从源头重算而非抄预计算值）。证据链不得短于种子；
• 生成与装配：Evolver 产出新文件、补丁、事件历史片段、参考解与期望值修订；确定性合并器检查事件标识/会话边界/序列连续性；装配将变更应用到上一代环境（代际累积）。任务指令与种子逐字节一致；
• 实例验证：结构检查（事件/文件引用/装配/评估资产语法）+ 答案验证（新参考解必过全部检查、旧期望输出必败）+ 捷径审计（生成的材料不得直接泄露本需推理得出的结论）；
• 难度评估：seed-variant 用匹配的 agent 配置与预算跑配对实验，失败摘要反馈给 Evolver 指导下一代决策点。

五、评估指标与实验证据

评估分三个独立研究，指标体系层层递进：

5.1 主指标：rubric pass rate（1,280 项检查池化通过率）

研究 1（组织）：5 模型 × TGS/EGS/Noise 三条件。TGS 全胜 EGS、双模式全胜 Noise：DeepSeek-V4.1-Flash 87.3/82.9/64.4，GLM-5.3-Flash 81.6/63.6/58.3，GPT-5.6-Sol TGS 78.2 vs EGS 69.6。这证明「组织信息本身有价值，任务引导的组织更有价值」。

研究 2（学习式准备）：核心结果表——9 个下游模型 × 三种环境条件（Full 全噪声文件 / Qwen3.8-27B 未适配选文件 / Env-Rethink）：

这个实验设计的说服力在于：同一个 Env-Rethink 模型为 9 个不同家族的下游模型准备环境，全部显著受益——说明增益来自环境侧而非模型匹配；且 72.7% 已逼近 GT 标签选文件的上界区间。消融上，去 Collection Map 掉 12.2pp、去 Event Log 掉 2.4pp（DeepSeek-V4.1-Flash TGS），组织的价值主要在 Map。

模块本身质量：held-out 环境 partition accuracy 56.2%→76.5%（+20.3pp）、joint accuracy 19.4%→32.4%；文件选择上，标准文件召回 83.3% vs 70.8%，噪声放入仅 271 个 vs 606 个（Qwen3.8-27B），GT 选 192 个标准文件时 Env-Rethink 选 431 个但更干净。

5.2 演化研究：Terminal-Bench 2.1 上 59 个种子

指标：配对 seed-variant 成功率变化，hi≥3 判据（至少 3 个模型下降≥20pp）。55 个有配对结果的任务中 32 个（58.2%）在≥3 模型上成功率下降，其中 21 个四模型全降。典型案例：modernize-scientific-stack 四模型全部 3/3→0/3；log-summary-date-ranges 四模型种子全 3/3，演化后 DeepSeek/Gemini 0/3、Qwen/GLM 1/3。效应横跨 10 个任务类别（13 个软件工程任务中 10 个、5 个调试任务中 4 个、3 个模型训练任务全部达标）。

为什么这说明「真的变难了」：请求逐字节未变、新参考解通过全部检查、旧解必然失败——下降只能来自环境状态变化带来的新推理负担，而不是任务坏了。一个种子（sanitize-git-repo）因变体参考解失败被排除，体现验证的严格性。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链：噪声环境失败根因是三类行为（搜索不足/信文件名/不复用检查）→ 方法差异：把「文件权威性与版本有效性判断」从下游 agent 的临时行为变为上游可训练的验证目标（教师轨迹同时监督「必须逐文件读」的动作与最终判断，read-fidelity 保证判断有证据）→ 机制变化：下游 agent 收到的证据集合更干净（标准召回 83.3%、噪声放入 271 vs 606）且附证据报告 → 错误证据使用减少 → 9 模型一致 +8~18pp。【论文实验已支持】

演化模块的根源：把「难度」从表面积累（加文件、加噪声）改为证据关系的结构性改变（反默认决策点改变哪个版本适用），且用「新解必过、旧解必败」锚定可解性——这继承了 POET/PAIRED 的课程思想但解决了「生成环境可能无解」的老问题。【论文实验已支持】

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持：「环境难度与学习者协同演化」（POET→PAIRED→RLVE→本文）和「证据判断应该被显式建模而非留给下游临场发挥」这两条机制有跨工作的一致证据。

仍属推测：27B verifier 的增益能否迁移到独立收集的异构环境（作者自己列为未来工作）；三模块联合使用的效果（当前是分模块评估）；演化实例作为训练数据是否真能驱动下一轮模型提升（本文只证明了「能变难」，闭环还没跑完）。

适用边界：增益依赖教师轨迹资格门槛的严格性——如果标注池本身有偏（16 任务/1,597 文件规模有限），verifier 学到的判断会带偏；演化难度判据 hi≥3 是筛选性标准（3 次试验中 1 次翻转就是 33.3pp），对小幅难度变化不敏感。

七、必要知识反推

假设一个完全没有背景的人要做这项工作，最少需要知道什么？

• 领域知识层：持久文件环境的运作机制（版本链、权威链、出处关系如何形成与被破坏）；agent-harness-环境三要素模型（§2.1 的形式化），明白环境侧干预与参数更新的边界；Workspace 类任务的 rubric 评估如何设计。
• 方法论知识层：SFT on 多轮工具轨迹的损失掩码设计（只对 assistant span 计损，工具返回只作上下文）；LoRA 配置与 ZeRO-3 分布式训练实践；教师轨迹资格门槛的设计原理（为什么 read-fidelity 先于 partition F1——没有证据的判断对了也是蒙的）；POET/PAIRED 环境课程理论。
• 工程知识层：Claude Code 沙箱内跑教师模型的基础设施；确定性验证器（结构检查/答案验证/捷径审计）的编写；seed-variant 配对评估的统计口径（完成试验作分母）。
• 知识融合的关键节点：最关键的化学反应在「read-fidelity + 判断监督」的组合上——单独监督最终判断会学到「背答案」，单独监督读取动作会学到「走过场」，两者绑定才让 verifier 真正学会「读证据、下判断」。第二个节点是演化模块把「出题、改答案、改评分」三者绑定在一次生成里，这是「可验证难度」成立的前提。

八、论文中可以提取的通用性灵感

1. 把隐式判断变成上游可训练目标（范式迁移类）：任何「下游使用者临时做的重复判断」（该信哪个数据源/哪个版本/哪条记录），都可以抽出来做成上游专职模型的训练目标。证据：9 模型一致 +13.3pp。推广场景：数据管道的脏数据过滤、企业知识库的权威源判定、多源情报融合、RAG 的检索质量前置把关、代码评审的 blame 定位。

2. 有界更新优于无界重写（机制类）：组织模块只改地图不动文件、演化模块请求逐字节保持不变——干预的「界面」稳定，效果才能归因。推广场景：API 设计（向后兼容演进）、教育（考纲稳定考题变）、协议升级。

3. 生成物必须自证可解（信号利用类）：造更难的环境/任务/考题时，把「新参考解必过、旧解必败」做成硬校验，杜绝无解题。证据：sanitize-git-repo 因参考失败被排除。推广场景：合成训练数据的质量门、对抗样本生成、游戏关卡生成器、红队测试用例。

4. 证据与推断分离标注（关注点分离类）：Event Log 把引文与合成者推断分开、verifier 报告区分「文件自己声称什么」与「相对其他记录它是什么」——这种分离让下游可以只信任可核验部分。推广场景：法律文书的事实与主张分离、新闻的事实核查流水线、科研论文的证据等级标注。

5. 失败信号结构化后才能驱动改进（信号利用类）：教师失败轨迹由独立 agent 分析后改写 hint 重试——失败不是丢弃而是燃料。证据：2,116 条合格轨迹正是多轮淘汰-修订的产物。推广场景：CI 失败自动归因、客服工单的知识沉淀、医学误诊病例库。

第二篇：SWE-PolyVision —— 看得见不等于用得上

论文链接：arxiv.org/abs/2609.29754 发表时间：2026 年 9 月 机构：CosmosMind + 北京大学 + 清华大学 + 港科大（HKUST）+ ModCraft（企业+多高校合作，通讯作者 Bin Chong、Guancheng Wan） 领域标签：cs.SE / 多模态软件工程 benchmark

一、论文背景

1.1 SWE-bench 家族的「视觉盲区」

SWE-bench 确立了仓库级评测范式：真实 issue + 固定版本仓库 + 可执行测试。后续家族不断扩展——Lite 降成本、Verified 加人工审核、Multilingual 扩语言、Pro 加长程任务、Live/rebench 抗污染。但它们的协议基本只暴露文本与代码。

多模态方向有两个先行者：SWE-bench Multimodal（617 任务/17 个 JavaScript 仓库，221 个实例含多图）和 Visual SWE-bench（133 任务）。问题在于：它们把图片当作「附加上下文」，从未把「跨图像关系的使用」本身作为评测目标。SWE-bench Multimodal 甚至没有单独报告多图子集的表现。

1.2 为什么跨图像推理是独立能力？

调试场景里，多张图的价值在于差异与对应：操作前后的界面状态对比、同一组件在不同视口下的表现、复现过程的连续阶段。单看任何一张图都不够——信息在图与图之间。论文称之为跨图像溯因推理（cross-image abductive reasoning）：把分布在不同截图中的关联证据整合为一个通过可执行验证的仓库级修复。这个词借自基于模型的诊断（Reiter 1987）与调试假设研究（Alaboudi & LaToza 2020）——观察是症状、知识在仓库里、解释要经执行检验。

二、论文定位和关联工作

定位结论：SWE-PolyVision 是第一个 100% 任务多图（92/92）、以跨图像溯因为显式构造目标、并用三种访问模式做受控干预的可执行 SWE 基准。它不是「带图的 SWE-bench」，而是「把视觉证据的使用从修复结果中分离出来测量的装置」。

三、问题定义

具体问题：agent 能不能把分布在不同截图中的关联证据整合成一个过验的仓库级修复？

抽象问题：任务五元组 T = (I, R, V, E, P*)——条件共享 issue 包 I、pre-fix 仓库快照 R、有序视觉证据 V={v1..vn}、容器化验证器 E、隐藏开发者补丁 P*。要分离两个变量：

• 证据可得性（access）：V 是否、以何种通道交付给模型；
• 证据整合（integration）：agent 是否真的用跨图关系约束了根因假设并产出修复。

这个抽象的精妙之处在于承认「补丁成功不等于推理发生」。论文反复强调其 construct claim：每个任务在构造时都筛选过「至少两个与 issue 相关的视觉输入 + 一个旨在辅助诊断的跨图关系」，但成功的补丁本身不证明 agent 显式做了对齐与整合。所以基准的输出是两类互补证据：端到端修复率 + 轨迹级案例分析，而非单一排行榜数字。

四、问题解法

4.1 构建管线：从 1000+ 到 92

类比：招生漏斗。Claude Opus 5 预筛 1000+ issue-仓库候选（机械准入：≥2 个可恢复视觉输入、pre-fix 版本可实例化、隔离环境可评估）→ 50 人人工有效性门（问题有效性/可复现性/视觉证据充分性/适合可执行评估，全票才过）→ 有异议者交 3 专家仲裁（全票通过才保留）→ 92 个任务。

最终形态：92 任务（48 公开 + 44 私有 holdout）、36 组织、37 仓库、402 静态图 + 6 个保留视频、100% 任务多图（均值 4.40 个输入/任务、中位 3.5、最少 2 最多 23）、总视觉资产 87.84 MB。每个资产有稳定任务内标识符，审计清单记录路径、SHA-256 摘要、字节大小与 MIME 类型。

4.2 三种访问模式：受控干预的核心

同模型内配对比较，issue 包/仓库/工具/预算/验证器全部固定，只变视觉通道：

QVA 设计契约值得注意：OCR 部分有确定真值可 grep 校验，VLM 部分是解释——两块分离返回保持可归因性；适配器无仓库访问（不能替 agent 干活）；单图调用限制防循环。工具是可用而非强制：不调用 ask_image 的有效运行仍算 Tool-mediated 系统结果——因为调用策略本身就是被测系统的一部分。

4.3 六阶段分析框架与验证

推理路径建模为 Observe→Align→Integrate→Abduce→Verify→Repair 六阶段，四个非排他关系族（状态对比/条件对比/时序推进/多例归纳）作为分析词汇。验证器在独立干净容器里跑（无网络），提交的补丁通过且全部目标检查成功才算解决。视觉投递审计：SHA-256/顺序/MIME 校验，确保 Native 模式的图真的送达了。

五、评估指标与实验证据

5.1 指标体系

• 主指标 E2E resolution：过验修复数 / 48 公开任务（环境失败、模态投递无效、API 终止、缺运行全部计为未解决——分母不缩水）；
• 辅助指标 Valid coverage：产出协议有效（明确通过或硬失败）的运行占比；VRR：有效集内的解决率；
• 诊断指标：工具调用率、全图覆盖率、配对不一致对（discordant pairs）McNemar 检验、7 臂受控干预。

5.2 主结果：三张表合起来讲一个故事

表 A：E2E 分辨率（48 公开任务）——Text-only 最高 Kimi-K3 43.8%、GPT-5.6-sol 37.5%；Native 最高 qwen3.8-max 29.2%（VRR 58.3%）；Tool-mediated 最高 Kimi-K3 50.0%（全场最高分）。

表 B：同模型配对对比（核心发现）：

• Native vs Text：qwen3.8-max +10.4pp（29.2 vs 18.8）；GLM-5.3-Flash、MiniMax-M3 持平；GPT-5.6-sol（25.0 vs 37.5）、Claude-Opus-5（20.8 vs 25.0）、Kimi-K3（39.6 vs 43.8）反而下降——最强的一批模型给图反而掉分；
• Tool vs Text：Kimi-K3 +6.2、Claude-Opus-5 +2.1、GLM-5.2 +2.1、MiniMax-M2.7 +4.2、qwen3.8-max +2.0；GPT-5.6-sol 等 5 模型下降。

表 C：DeepSeek-V4-Flash 的覆盖分解——E2E 31.2%（Text）vs 18.8%（Tool）看着像视觉有害，但 VRR 是 38.5% vs 39.1%（几乎相同），差异全在 valid coverage（39/48 vs 23/48）——是部署覆盖问题不是修复质量问题。21 个双有效任务配对 McNemar p=1.0。

5.3 受控干预：诚实的负结果

qwen3.8-max 在固定 10 任务诊断子集上跑 7 臂：Text-only / OCR-only / 仅指定图 / 去指定图 / 完整有序 / 打乱顺序 / 换无关图。全臂解出 7-8 题，所有与完整有序输入的精确比较 McNemar p=1.0。打乱顺序和只留一张图在所有任务上复现完整有序的结果——在这 10 个任务上，二值修复结果既不能证明模型需要组合多图，也不能证明原始顺序重要。同时 70% 任务结果不变（6 题全臂通过、1 题全臂失败、只有 3 题曾翻转），试点分不清真等价还是天花板/地板效应。切换案例的非单调性（fabric.js-4413 只有换无关图才挂、ckeditor5-14413 全图反而挂而 OCR-only 过、grommet-6490 Text-only 过而全图挂）说明单看结果无法解释视觉推理。MiniMax-M3 配对 22 任务：2 例仅 Text 解 vs 4 例仅 Native 解（p=0.6875 不显著）——聚合打平掩盖了任务级换血。

验证器质量：100 次重复评估 20 组全一致、9/10 任务区分 base-fail/gold-pass，lighthouse-5917 留作 QC 哨兵。

5.4 两个轨迹案例：成功路径长什么样

• ECharts zoom（apache__echarts-10173）：issue 给了 minSpan:0.5 数值设置，四张有序输入（两张截图+两个 GIF）显示滑窗收窄时柱状图视觉合并。截图对比不同可见 zoom 范围的渲染状态（排除静态布局缺陷），GIF 展示随窗口变化的过渡（把触发器与 zoom 过滤挂钩）。Native 轨迹四图全过模态门，定位到 AxisProxy.js（过滤值变 NaN）与 bar 布局须跳过 base 为 NaN 的柱，附回归页面，过验。Text-only 对照以 LimitsExceeded 告终。
• fabric.js SVG（fabricjs__fabric.js-5382）：期望/实际渲染对定位「什么消失了」，pre-fix 注释解释两个小圆以圆头短线的表示。两者结合推出零面积 SVG 元素仍被描边可见——补丁改 isNotVisible 使零面积元素只在 stroke 宽度也为零时才丢弃，处理继承的 SVG 渐变引用，过验。

作者对这两个案例的诚实标注：由于 Text-only 对照都跑到限额终止，这是部署级系统对比而非两条有效轨迹的干净比较；没有逐图移除实验，不能确立单图必要性。

六、效果优势的根源解释

6.1 根源机制与证据链

论文的核心结论不是「某方法更好」，而是揭示 access-to-integration gap：可得性≠整合。机制分解：

1. 成功路径存在（两个 trace 案例显示互补视觉+文本线索可约束根因假设并产出过验修复）【论文实验已支持】；
2. 但多数模型/任务上，视觉输入改变的是「解了哪些题」而非总量提升；且全图输入可诱导错误早期假设（ckeditor5/grommet 上全图反而失败）【论文实验已支持】；
3. 池化平均会掩盖异质性——DeepSeek-V4-Flash 的例子证明「低 E2E 可能是覆盖率问题」，必须分解归因【论文实验已支持】；
4. 为什么强模型反而受害（推测，标注为阅读者假设）：多图输入稀释了文本注意力/长上下文中图像 token 的干扰，与 MileBench 发现的「图越多性能越差」一致；模型越依赖文本推理链，视觉噪声的机会成本越高。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持：多图输入不必然提升性能（本文 + MileBench + SWE-bench Multimodal 的低分三者同向）；「访问通道是被测系统的一部分」这一评测方法论（mini-SWE-agent 的脚手架结论同理）。

仍属推测：Native 视觉使部分强模型下降的机制（注意力稀释？错误先验？）；Tool-mediated 对 Kimi-K3/Claude 的增益能否在其他任务族复现。

适用边界：无重复 agent 运行（轨迹级随机性未度量）、部分格子 API 污染、只能做描述性比较不能做干净排名——作者自己把这些限制写得非常清楚，甚至专门讨论了 10 案例试验的 McNemar 敏感度。这个基准的价值在于「测量装置」而非「排行榜」。

七、必要知识反推

• 领域知识层：SWE-bench 评测范式与 FAIL_TO_PASS 语义；Docker 容器化验证器与 pre-fix commit 钉定；开源项目 issue/PR/讨论区的工作流（视觉证据从哪来）。
• 方法论知识层：受控实验设计（同模型内配对、通道单变量、分母不缩水的 E2E 口径）；McNemar 精确检验与不一致对分析；溯因推理的诊断框架（Reiter 传统）；多图推理文献的关系分类学。
• 工程知识层：OCR/VLM 工具链集成与分离返回设计；SHA-256/MIME 投递审计；大规模多模型 API 评测的运行管理（API 污染如何识别与处置）。
• 知识融合的关键节点：最关键的融合是「构造目标（跨图关系筛选）」与「评测目标（修复结果）」的自觉分离——论文没有声称任务筛选保证了推理发生，而是设计了访问模式干预 + 输入干预 + 轨迹案例三层证据去逼近它。第二个节点是把「覆盖率」从「解决率」中拆出来（VRR 概念），这需要既懂评测统计又懂部署系统的人才能想到。

八、论文中可以提取的通用性灵感

1. 可得性不等于整合（机制类）：给系统更多信息（图/文档/传感器数据）不等于它会用；评测和使用系统时要把「交付了什么」和「用上了什么」分开度量。证据：Native 视觉对 3 个最强模型为负增益、10 任务 7 臂 p=1.0。推广场景：RAG 加知识库后的真实引用率分析、多传感器融合的失效模式审计、多源情报分析的「信息过载」检查、企业 BI 的仪表盘使用率归因。

2. 聚合打平掩盖任务级换血（信号利用类）：总量不变不等于分布不变——MiniMax-M3 两模式各解 6 题但只有部分重叠。评估任何「平均无差异」结论前先看不一致对。推广场景：A/B 测试的个体异质性分析、临床试验的应答者亚组、模型回归测试的逐例对比。

3. 把通道作为受控变量的评测设计（范式迁移类）：想度量某种能力（视觉/工具/记忆）时，不要只造「有它」和「没它」两个池子，而是同一任务上切换访问通道配对比较。证据：三模式同任务配对的设计直接产出了 access-to-integration gap 的发现。推广场景：代码 agent 的「能否上网」对照、客服系统的人工/自动交接对照、教育科技的提示梯度设计。

4. 诚实报告负结果与统计敏感度（方法论类）：论文公开报告自己的 10 案例试验检测不出稳定效应、p=1.0，并分析其功效边界。这种「知道自己知道什么、不知道什么」的克制是可信评测的基石。推广场景：任何小样本 pilot 的报告规范、临床试验的预注册文化。

5. 人工质量门 + 专家仲裁不可省（工程类）：1000+ 候选 → 50 人全票门 → 3 专家仲裁 → 92 任务。自动化预筛（Claude Opus 5）负责规模，人负责有效性判断。推广场景：合成数据集的事后审核、众包标注的质量控制、AI 生成内容的出版门。

第三篇：iCoder-27B —— 人类给先验，agent 跑全流程

论文链接：arxiv.org/abs/2609.29626 代码仓库：github.com/bingreeky/iCoder / huggingface.co/i-Coder 发表时间：2026 年 8 月（arXiv v1，9 月更新） 机构：上海交通大学人工智能学院（核心）+ DP Technology + 新加坡国立大学 + Endless Frontier；资深顾问含 Weinan E（SJTU）、Shuicheng Yan（NUS）、Junchi Yan（SJTU）（企业+高校合作，通讯作者 Linfeng Zhang、Qibing Ren） 领域标签：cs.AI / AI for AI / 工业代码生成

一、论文背景

1.1 递归自改进的三层台阶

AI for AI 的证据目前分三层：第一层改进外部产物（固定模型反复出方案，积累在 artifact 里）；第二层改进 agent 机器（执行轨迹改变冻结模型的行为方式，受限于底座能力）；第三层把经验写回模型参数（在自生成轨迹与可验证结果上训练，能力独立于 harness 持久化）。第三层最接近自主模型开发，但现有证据都被「固定任务接口、短预算、小问题规模」框死——此前的 agentic post-training 基本只在 4B 级模型上研究，单次运行限 10 小时单卡 H100、优化单一目标基准。

而开发一个可发布的基础模型是完全不同量级的事：数据构建的每个选择都会重塑分布式训练、后训练、评估与下一轮决策；实验昂贵、失败跨阶段传播、原因难以定位。核心问题不是 agent 能不能优化，而是它必须接收什么粒度的专家知识、人类多久必须重新进场。

1.2 论文的回答：高密度先验 + 低频干预

人类把专家经验一次性编码为可执行 Research Skills（目标、阶段脚手架、权限边界、验证完整性、研究方法与治理记忆），运行期 Human Prior 不可变；此后 agent（Codex GPT-5.6-Sol，xhigh 推理档）自主选择实验、诊断结果、修订训练策略。产出是 iCoder-27B——面向 RTL 设计与 GPU kernel 优化的工业编码模型。

选工业编码做试验田的理由：验收由专业可执行工具链（仿真器/综合器/性能测量）决定而非表面相似性，RTL 考验精确行为约束下的时序与层次推理，kernel 考验数值约束下的并行化与性能推理——两域互补，且都有天然的机器可验证信号。

二、论文定位和关联工作

定位结论：iCoder 是第一个由 agent 主导全流程（数据→SFT→OPSD→RLVR）产出可发布、前沿有竞争力（27B）模型的工作，且全程留下可审计的实验轨迹（含失败与回滚）。

三、问题定义

具体问题：最少多少人类参与，足以让 agent 主导开发出可发布、前沿有竞争力的模型？

抽象问题：给定基础 checkpoint θ0、算力配额、以及一份不可变的人类先验 P（目标/脚手架/权限/验证契约/方法/治理），求开发策略 π（数据构建、阶段转换、每阶段内的干预选择），最大化最终模型在 7 个基准上的表现，约束是：验证完整性不可弱化、结论必须引用已注册证据。

类比：Research Skills ≈ 公司的 SOP 手册 + 权限系统 + 审计制度。人类写好手册，agent 当「实验科学家」——手册保证安全与可复现，具体实验设计交给 agent。归因边界（人类给了什么 / agent 学到什么）是论文的一级公民：每张 Skill 表都明确「Human-specified content」与「Agent decision space」两列。

四、问题解法

4.1 Human Prior：五层 Research Skills

类比：宪章+法律+操作手册的分层。目标与脚手架层（Data→SFT→OPSD→RLVR 四阶段角色，可回退但不可静默改交付物）；资源访问层（能力式授权，新身份/新权限须人类门）；验证层（任务契约 schema、官方 harness 要求、pass/fail/unjudged 语义，agent 可集成审计但不得弱化或替换批准的正确性准则）；研究方法层（受控 pilot、显式基线、工件 lineage、停止规则）；治理与记忆层（任务队列、实验日志、决策记录，observe→conclude→act→expect→return→record）。

4.2 数据阶段：验证器引导的共享任务池

agent 把 RTL 与 kernel 种子统一为共同条目契约（instruction + reference + verifier 三部分一致），按参考可用性路由三条演化路线：solution-first（从验证实现反推规格）、instruction-first（改规格再重生成）、contract-bound mutation（参考突变→同步派生指令与测试，演化参考须过演化测试且原参考须失败）。RTL 试点发现压缩规格常丢 reset/时序规则→机械化提取接口+保显式时钟契约；kernel 试点发现变换后漂出 Triton/签名漂移→钉死模型接口与输入契约。最终 55,462 任务的共享池，去重+按 lineage 配额+按家族/路线/难度/成本平衡。

4.3 SFT：能力差距过滤的冷启动

类比：补课只补「自己完全不会但老师能教会」的科目。agent 选 Qwen3.6-27B pass@4=0 且 DeepSeek-V4-Pro 四条至少一过（28,952 条）的任务，保留教师首条验证通过轨迹（含推理过程），全参 SFT。信号集中无浪费——不学已会的，也不学谁都解不了的。

4.4 OPSD：agent 自主发现的关键创新（本文最精彩的部分）

OPSD（on-policy self-distillation，同权重教师-学生双上下文）被团队作为「研究赌注」注入先验：设计好的特权上下文能让 OPSD 占据 SFT 与 RL 之间的甜点位。agent 的实现过程是一部微型科研史：

1. 选可恢复的能力前沿：pass@4=0 + 首轮裸提示失败 + 反馈循环后解出（1,874 任务）——区分「可恢复失败」与「彻底不会」；
2. 受控消融构造特权上下文 c*：任务方向性 plan +6.1pp（194 任务 avg@5）；验证器诊断值 +6.5pp（92 任务）；细粒度反馈无增量（58 任务 McNemar p=1.0）→ 选最小充分上下文：审计过的 plan ⊕ 首次成功前的全部失败响应与粗粒度反馈。plan 过三重泄漏控制（指令级禁令/规则扫描/异模型审计）；
3. B0 崩溃：第一版把特权/裸视图的 token 似然差直接当在线更新方向——特权视图由当前 actor 打分，分布随学生移动形成自强化反馈回路：轨迹变长 2.9 倍、退化为重复片段、最终崩成复读。全部 11 个指标低于 SFT 起点（RTLLM 40.5 vs 60.5）；
4. agent 的教训：「特权可分配信用，不可授予优化权威」——可执行结果定方向，特权证据只重分配 token 信用；
5. B2 修复：离线五阶段（裸提示 rollout→c* 下教师强制打分→可执行验证→符号优势构造→裁剪重要性加权更新）。三臂对照（同数据同预算）：B0（教师差定方向）/B1（仅验证结果，均匀信用）/B2（B1 方向 + 教师差作正的有界 token 级乘数，RLSD 式符号保持乘法形式）。B2 vs B1 提升 10/11 指标（RealBench syntax +36.0、functional +20.7、ArchXBench functional +12.66），唯一回退 KernelBench L1（44→40）。

4.5 RLVR：奖励有效性工程

四层策略相对分层课程（frontier 0-25%/exploration/near-mastery/exploitation，随策略动态刷新采样）；kernel 分层奖励（1.0/0.5/0.2/0.05/0）+ exploit 硬资格门（identity kernel、框架委托检测→0 奖励，且委托门按任务定义限定作用域——全局门会误杀 KernelBench 的合法部分替换）；RTL fail-closed 二值奖励（无显式正判决不奖励——testbench 静默退出不再被判对）；unjudgeable 哨兵 −1 并在组统计与损失中掩蔽（基础设施故障不变梯度）；GSPO 序列比率 + 非对称裁剪；全轨迹预算 |x|+|y|≤B_traj（长尾零奖励响应同时引发 actor OOM——单序列峰值内存不可由减 batch 解决，联合预算一石二鸟）。

五、评估指标与实验证据

5.1 主结果：7 基准横向对比

对基座：RTLLM +18.4、VerilogEval Spec-to-RTL +16.2、KernelBench L2 74 vs 28（2.64 倍）。27B 超过 1.6T 的 DeepSeek-V4-Pro 的 RTLLM（68.0 vs 67.5）并近乎翻倍其 KernelBench L1（61 vs 32）。

5.2 过程证据

• RLVR 动态：验证 pass@1 均值 45.8%→54.3%，KernelBench +26.0、ArchXBench +12.7——增益集中在最复杂、余量最大的设计；六后端单奖励接口全升（RTL/kernel 比近 1:1，跨域兼容）；
• OPSD 控制实验（同数据同预算三臂）：见 4.4，B0 全指标崩溃证明方向错误的蒸馏比不蒸馏更糟，B2 vs B1 的 10/11 提升证明「特权信用」有增量价值；
• EDA 迭代案例：8 个 RTLScout 设计的 propose-evaluate-refine 循环，iCoder 平均 cell 削减 51.1%（HY3 52.2%、DeepSeek-V4-Pro 55.6%），token 只用 10.03M（HY3 19.75M、DVP 30.45M）——以 51% 的 token 达到 HY3 的 98.9% 质量；
• GPU kernel 案例：Vector Sum 2.31×、Cumulative Sum 2.96× 全场最高加速。作者明示案例研究限制：token 上限不匹配（32k vs 131k）、无硬件控制、探索性案例而非受控基准。

5.3 实验设计为何能证明核心主张

核心主张是「agent 主导 + 少量人类先验足以产出前沿模型」。证据链：归因边界显式化（Skill 表逐项列人类/agent 分工）→ 实验轨迹可审计（失败与修订全记录：B0 崩溃→B2 修复、exploit 检测→资格门、OOM→联合预算）→ 最终模型横向可竞争（7 基准对齐对比）→ 关键决策有控制实验支撑（OPSD 三臂、上下文消融）。它证明的不是「全自动」，而是「这一分工下人类参与的最小充分集」。

六、效果优势的根源解释

6.1 根源机制与证据链

三段因果链分别对应三个阶段：

1. SFT 增益来自「模型相对能力差距过滤」：只训基座全败且教师可解的任务，冷启动信号密度最大化（28,952 条条条有用）→ +18.4 RTLLM【论文实验已支持】；
2. OPSD 增益来自方向/信用解耦：B0 失败证明「把上下文偏好当优化方向」必然自强化崩溃（11/11 指标低于起点）；B2 保留可执行结果的符号权威、教师证据只做有界乘数 → 复杂基准大幅提升（RealBench +20.7~36.0）【论文实验已支持】；
3. RLVR 增益来自奖励有效性工程：exploit 资格门堵住「表面正确但未做指定计算」；fail-closed 防静默退出被判对；哨兵掩蔽防基础设施故障变梯度；联合预算去除零奖励长尾（同时解 OOM）→ 奖励与真实能力对齐，增益集中在最难设计（KernelBench +26.0）【论文实验已支持】；
4. 27B 胜出大模型的根源：任务池+验证器质量而非参数量（55,462 任务三路线演化 + 任务原生验证器）【部分推测：论文提供了任务池规模与验证契约证据，但未做参数量控制实验】。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持：(1) 自蒸馏无外部验证锚定必然自强化崩溃（B0 实验 + RLSD + OPSD 综述三源一致），「方向由可执行结果定、幅度由教师证据定」的解耦是有效解（B2 + RLSD 双源）；(2) agent 的研究有效性强烈依赖人类搭建的证据与约束基础设施（Research Skills / Tax AI 的三层架构 / PostTrainBench 的反作弊判官）。

仍属推测：OPSD「甜点位」结论的普适性（论文自述这是团队长期研究赌注，B2 的成功在 RTL/kernel 双域成立，未在 NLP 推理域验证）；27B 胜过大模型多大程度归因任务池质量（缺参数量控制实验）；归因边界的完备性——Skill 的设计本身就体现了大量隐性专家判断（如「OPSD 作为桥接阶段」这一赌注就是人类给的）。

优势成立条件/失效条件：领域必须有可靠的机器可验证信号（可执行 RTL/kernel）——换到开放式生成任务，验证层先验将难以构造；若教师模型（DeepSeek-V4-Pro）与基座能力差距消失，SFT 过滤逻辑失效；Research Skills 的不可变性在长期运行中可能需要修订机制。

七、必要知识反推

• 领域知识层：RTL 设计流程（行为规格→时序电路→elaboration/综合/仿真）与 GPU kernel 优化（编译/数值语义/加速比测量）；7 个基准的任务定义与官方 harness 细节（Icarus 版本、KernelBench 1e-2 容差、fast 阈值 1.05×）。
• 方法论知识层：SFT/蒸馏/RL 的谱系与各自失效模式（B0 的自强化崩溃要求懂「移动教师」的分布耦合问题）；GRPO 组相对优势与 GSPO 序列比率的差异；控制实验设计（三臂对照、匹配比较、内部验证集选型）；课程学习理论（策略相对分层）。
• 工程知识层：verl/HybridFlow 分布式训练框架；LoRA/全参 SFT 的取舍；reward exploit 的检测技术（identity-store 检测、框架委托检测、SHA-256 白名单）；OOM 归因（单序列峰值内存 vs batch 维度）；6 节点 8×H20 集群的资源调度。
• 知识融合的关键节点：三个创造性融合点。(1) B0→B2 的教训需要同时懂 RL（优化方向需要锚定）与蒸馏（教师证据是信用分配信息）才能在崩溃后想到「解耦」而非「调参」；(2) exploit 资格门的作用域化需要既懂 KernelBench 任务定义（允许部分替换）又懂对抗检测（框架委托）才能发现「全局门误杀合法解」；(3) 联合轨迹预算需要同时理解统计（长尾零奖励无学习信号）与系统（actor 反向传播的峰值内存由单序列决定）才能一石二鸟。

八、论文中可以提取的通用性灵感

1. 先验编码为可执行制度，而非连续指导（范式迁移类）：把专家经验一次性写成「目标+边界+程序+审计」的可执行 Skills，让执行者自主决策——比持续人工干预更可扩展、比完全自主更安全。证据：Research Skills 五层设计 + 7 基准成果。推广场景：企业把合规要求编码为自动化流程门、科研组把实验规范做成 pipeline 模板、法规科技（RegTech）的规则引擎化、教育领域的教学大纲工程化。

2. 信息优势不等于优化权威（机制类）：拥有额外信息的信号（特权上下文/专家意见/历史数据）适合用来分配信用（哪里更重要），不适合直接决定方向（往哪走）——方向必须由可验证结果锚定。证据：B0 全指标崩溃 vs B2 10/11 提升；RLSD 独立得出同构结论。推广场景：投资决策中分析师观点与回测结果的分工、医疗中专家经验与 RCT 证据的层级、推荐系统中先验与在线反馈的混合。

3. 失败是训练策略的最高级素材（信号利用类）：把每次失败（B0 崩溃、exploit、OOM、静默退出）诊断为机制性教训并结构化留存——agent 的「研究记忆」由失败叙事构成。证据：Table 8 完整记录观察→诊断→干预链。推广场景：工程团队的 postmortem 文化、模型运维的失效模式库、产品迭代的负结果仓库。

4. 奖励有效性工程先于奖励最大化（机制类）：RL 系统的成败首先取决于「奖励是否测量了你想要的东西」——exploit 检测、fail-closed 判决、不可判定的掩蔽、按任务定义限定门的作用域，这套组合拳比调超参重要。证据：RLVR 增益集中最难设计（+26.0）。推广场景：Gaming 指标的行为审计、绩效考核指标设计、自动化交易的风控门、考试防作弊设计。

5. 能力差距过滤是最经济的学习课程（机制类）：只学「自己全不会但可被教会」的内容——对已会和永远学不会的投入都是浪费。证据：SFT 过滤规则（基座 pass@4=0 且教师可解）产出 28,952 条高密度轨迹。推广场景：个性化教育的诊断前置、企业培训的差距分析、个人技能投资的 ROI 排序。

6. 「最小充分集」优于「最大完备集」（紧凑性类）：特权上下文选择中，agent 在细粒度反馈无增量后果断选最小充分版本（c*）；plan 过三重泄漏控制。信息越多不是越好，够用且无泄漏才好。证据：58 任务配对 p=1.0 后选 coarse 反馈。推广场景：上下文工程的 token 预算、合同条款的必要性审查、API 设计的最小接口原则。

三篇合读：RSI 的完整画像

把三篇放在一起，一幅递归自改进的工程路线图浮现出来：

• Env-Rethink 补环境侧：训练环境可以「准备」（学习式验证）和「演化」（可验证变难）——RSI 需要的「永不枯竭且有质量保证的题库」有了工程方案；
• SWE-PolyVision 补评测侧：能力声明（「支持多图」「会用视觉」）必须经过受控通道检验——RSI 系统的每项能力主张都需要这种「可得性/整合分离」的审计装置，否则改进目标本身就是错的；
• iCoder-27B 补模型侧：agent 能主导多阶段训练的前提是人类先验被编码为可执行制度，且每个阶段的失败（自蒸馏崩溃、奖励作弊、静默误判）都有结构化诊断与修复。

三篇共享同一条底层信念：可执行验证是一切自我改进的地基——Env-Rethink 的「新解必过旧解必败」、SWE-PolyVision 的容器化验证器与 McNemar 检验、iCoder 的验证完整性不可弱化，是同一个原则在环境、评测、训练三层的投影。而 SWE-PolyVision 的 access-to-integration gap 同时给另外两篇提了醒：无论环境多好、训练多精，声明的能力与实际使用之间的缝隙，永远需要专门的测量去弥合。