HarnessSQL、Harness 进化天花板与 Harness 编译：训练与脚手架关系三重奏 精读

论文一：HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments（开源代码） 发表时间：2026年10月8日（arXiv v1，24 页） 机构：香港科技大学（一作与两位通讯作者，主导）、Microsoft Research（二作）、清华大学、澳门大学——高校主导、企业研究院深度参与的合作模式 领域标签：cs.CL / cs.AI / cs.LG

论文二：Harness Evolution Hits a Ceiling: When Weight Training Should Begin 发表时间：2026年10月8日（arXiv v1，21 页） 机构：两位独立研究者（共同一作兼共同通讯）+ UC Berkeley + Purdue + Stanford——独立研究者主导、多所高校参与，无企业 领域标签：cs.AI / cs.LG

论文三：Harness Compilation: Which Decisions Should a Small Vision-Language Model Keep? 发表时间：2026年10月8日（arXiv v1，58 页） 机构：南洋理工大学（主导，一作与多位作者）+ 中国科学技术大学（合作者兼职）——纯高校合作，无企业 领域标签：cs.CV / cs.AI / cs.LG

一、论文背景：脚手架是什么，为什么它突然和训练有关

什么是 harness（执行脚手架）？ 一个大模型智能体从来不是裸模型在干活。模型外面裹着一层代码与文本：系统提示词、能调用哪些工具、每一步的观察如何截断、上下文快满了怎么压缩、什么时候允许终止提交。这层包裹物就是 harness。类比一下：裸模型像一名刚入职的聪明员工，harness 则是他的工位配置——电脑上装了哪些软件、审批流程怎么走、报表模板长什么样。同一名员工换一套工位配置，产出可能天差地别。

这个直觉已被评测工作定量证实。论文一引用的 Harness-Bench 显示，在任务与验证器严格受控的前提下，不同「模型-harness」组合的性能差异仍然巨大。这推动了一个观点：智能体的行为不是模型的属性，而是「模型 + harness」这个系统的联合属性。

但这个观点立刻引出三个没人系统回答过的问题，恰好对应本三重奏的三篇论文：

1. 训练在哪里发生？ 现有 Text-to-SQL 后训练几乎都学「问题 → 静态 SQL」的映射，可部署时智能体要在真实数据库里多轮探索、执行、看报错、修正、再提交。训练场景和部署场景根本不是同一个世界——这就是论文一所说的「训练-部署失配」。类比：驾校只考笔试，上路却要处理爆胎。
2. 两根杠杆何时切换？ 改进一个长程智能体有两根杠杆：改 harness（模型冻结，改外围代码文本）或改权重（拿轨迹做微调）。每根杠杆各自都有成熟文献（自进化 harness 一支、轨迹微调一支），但什么时候该用哪根、harness 挖出来的增益能不能「训练进权重」，此前只有按时间表交替的并行尝试（Co-Harness、WHALE），没有按失败原因切换的判据——这是论文二的问题。
3. 哪些决策必须留给模型？ 给小模型配 harness 的人常有一个隐含假设：模型少做决策、代码多做决策总是更好。但一个 4B 视觉模型可能「读得懂证据却拿不到证据」——让它先自己生成检索词再查百科，它可能在读到证据之前就失败了。harness 的收益不只取决于它提供什么，更取决于它把哪些决策留给模型——这是论文三提出的「决策所有权」问题。

三篇论文合起来，恰好覆盖了 harness 与权重关系的完整生命周期：在 harness 里训练（论文一）→ harness 增益何时搬进权重（论文二）→ 哪些决策永远留在 harness（论文三）。

二、论文定位和关联工作

三篇论文共享同一条研究谱系，但站位不同。

谱系一：从工具增强推理到 harness 中介交互。 ReAct 确立了「推理-行动交错」范式，后续工作扩展了 API 调用、可执行代码、软件环境等更丰富的接口。交互式基准（AgentBench、τ-bench、BIRD-Interact）进一步把执行环境本身变成考题的一部分。论文一（HarnessSQL）站在这条线的末端：不是再造一个 SQL 推理策略，而是把 SQL 当作研究域，研究「训练数据如何被合成出来、教模型在 harness 里有效操作」。

谱系二：自进化 harness 与自动智能体设计。 ADAS 让元智能体用代码写新智能体并存档进化；AFlow 用蒙特卡洛树搜索工作流代码；AHE 提出了论文二直接继承的 propose-verify 自进化循环（LLM 读自己运行的证据、改自己的 harness、裁判验证）。后续工作做了正则化防过拟合。论文二的增量不在循环本身，而在用失败分类学回答「循环修得好哪类失败、修不好哪类」，以及把循环产出的轨迹拿去训练权重的交叉实验。

谱系三：把外围增益搬进权重。 Yu 等人 2024 年的 Distilling System 2 into System 1（arXiv 2407.06023）把提示脚手架的增益蒸馏进单轮任务的权重，是论文二直接的先例；同期 Harness-Zero（arXiv 2609.24974）证明移除专用 harness 后蒸馏模型宏观成功率 23.3%→44.3%，甚至超过还挂着 harness 的 41.7%。论文二与这些「按训练信号或按时间表切换」的同期工作的区别：它按失败构成切换，并用 placebo 对照分离出增益来源。

谱系四：提示与上下文优化。 DSPy/MIPROv2 优化指令与示范，GEPA（arXiv 2507.19457，ICLR 2026 Oral）用自然语言反思进化提示，在六任务上平均超 GRPO 6% 且 rollout 少至 35 倍。论文三与这条线的关系最有意思：它做了一个「同一可执行工件换搜索引擎」的对照——让 GEPA 去优化与 Harness Compilation 完全相同的 harness JSON，两者得分差异只有 −0.2 点（匹配种子），说明真正承载结果的是「可编辑的决策结构 + 学生执行痕迹 + 验证门」，而不是某个特定搜索算法。

三、问题定义

三篇论文把各自的具体场景抽象成了三个层层递进的形式化问题。

论文一：交互式 Text-to-SQL = harness 中介的 POMDP。 任务实例 x=(q, D, h, v)：自然语言问题 q、数据库 D、执行 harness h、隐藏可执行 oracle v。每一轮模型收到 harness 发出的观察 oₜ（注意：模型永远看不到数据库完整真值状态，看到的只是受协议约束的投影——行数截断、超时、报错格式都由 h 决定），生成动作 aₜ（自然语言推理 + 工具调用或终止提交）。轨迹 τ=(q, a₁,o₁,…,a_T,o_T, y)。奖励是乘积形式：R = R_result(y,v)·R_protocol(τ,h)，前者判提交 SQL 的执行结果等价性，后者判是否遵守只读协议、无冗余重复查询、在步数预算内终止。要优化的不是「给定问题输出 SQL」的静态似然，而是 π_θ(aₜ|sₜ) 在部署 harness 内收集的完整轨迹分布——这个抽象的精妙之处在于把「训练-部署失配」翻译成了数学：静态训练把轨迹边际化掉了（对中间状态求和），等价于扔掉了探索、执行、纠错、终止的全部程序性策略。

论文二：按失败构成选择改进杠杆。 每条失败轨迹用确定性检查器打上第一个触发的失败信号：F1 证据缺失（一半以上事实主张无检索支撑）、F2 harness 摩擦（harness 自身干预阻碍了智能体）、F3 执行控制（同一工具调用重复三次以上、步数预算耗尽 90%、被 harness 强制终止）、F4 计划能力不足（交付了计划但质量低于 0.5 分，且无任何过程信号可区分它与健康轨迹）。核心假设构成一个可检验的命题：F2/F3 是 harness 能直接作用的过程失败，harness 进化能修复它们且修复后的行为可以训进权重；F4 是内容失败，是权重训练的靶子。形式化工具还有分数恒等式 S = r·q̄（组合分 = 交付率 × 交付计划平均质量），以及选择乐观度命题：从 K 个候选里挑读数最高的，期望虚高不超过 s√(2ln K)——这决定了为什么必须四轮 rollout 取均值且差异低于 0.035 视为噪声。

论文三：决策所有权分配。 harness 组件描述系统含有什么（提示、工具、路由、检索内容、有界候选），决策类型描述学生被要求做什么，共五类自由度（DoF）：Decide（是否调用工具/记忆）、Select（选哪个工具或候选条目）、Generate（生成开放参数，如检索词、实体名、程序）、Integrate（如何使用供给的证据作答）、Persist（何时停止或弃权）。配套两个判据：通道优势 Δ_c(D_R) = acc_c(D_R) − acc_S(D_R) 要求某条部署路径在被路由到的事项上优于裸学生；决策保留判据 π_S(D_R) − π_0(D_R) − a_S(D_R) > 0 要求学生做这个决策的精度高于机械规则，扣除契约诱发的弃权损失。这个抽象把「harness 好不好」改写成了「资源有没有用 × 学生能不能可靠地做出使用它所需的决策」。

四、问题解法

论文一 HarnessSQL：三组件的 harness-native 后训练流水线

组件一：可执行 SQL 环境构建。 类比「驾校要先有带刹车的训练场」。对每个目标数据库从活引擎提取执行接地目录（运行时 schema、采样列值、合法 join 路径）；任务合成走 SQL-first 蓝图路线——先采样一条满足难度控制的可执行 SQL，再从其真值关系反推自然语言问题与执行 oracle，而非先写问题再配查询。每个任务打包公共指令 (q,h) 与隐藏 oracle v，装进隔离容器：严格只读、单语句方言约束、子进程 60 秒死线。确定性门控修剪语法错误、空关系、退化 join；突变测试扰动查询确保语义可区分性（防止「换写法结果不变」的假难度）。

组件二：SQL 特化 harness。 不是暴露无限编码环境，而是把 DSH 底座特化成最小四工具契约：sql_list_tables（表与行数枚举）、sql_schema（DDL 与采样值）、sql_exec（有界只读查询试验）、sql_submit（终止提交）；shell、文件系统、代码运行时等无关能力全部禁用。协议中间件逐轮注入运行时守卫：确定性行截断约束观察长度、重复调用提醒缓解循环死锁、压力触发的上下文压缩。类比：给学徒的工具墙只挂四把必用工具，而不是整个仓库。

组件三：两阶段 harness-native 后训练。

• SFT 冷启动：教师模型直接在目标 harness 里与活数据库交互（不能偷看 oracle），只保留通过指称验证与协议检查的轨迹——2,512 条验证 episode、79 个数据库。全轨迹 SFT：整条 episode 作为一个序列联合监督，harness 观察的 token 从损失中掩码（类比：学开车学的是「你打方向」而不是「背下路面长什么样」——路面是环境给的）。
• 执行奖励 RL：在同一 harness 环境继续用 DAPO 优化，隐藏 oracle 评估提交物，给稀疏 0/1 终端奖励；token 级策略梯度落在全部生成的助手段上。SFT 与 RL 共享完全相同的工具语义、观察边界与终止协议——这是「harness-native」三个字的全部含义。

论文二：诊断-干预-内化的闭环协议

测量协议先行。 单轮 rollout 标准差 σ=0.023（26 个同夜单元格的中位数），故每格取四轮均值、差异低于 0.035 判为噪声、全部比较同机同夜进行（跨夜漂移可达 0.05）。每次接受编辑后重新测一个 fresh anchor，切断「棘轮滑移」。

自进化循环（AHE 式）。 一轮 = 当前 harness 跑 48 个开发任务（4 rollout）→ 汇总证据包（分数、健康率、F1–F4 计数、过程指标、最坏案例）交给提案模型（Kimi K3）返回两个候选编辑（各带清单与回滚条件）→ 各以 4 rollout 评估、按固定门规（均值掉超 0.02 拒绝、健康率掉超 0.05 拒绝等）加提案者自设回滚条件裁决→ 更好的那个保留、重测 anchor。可编辑面仅限 harness 定义（提示文件、策略参数、中间件、工具）。种子 harness 统一为：状态账本 + 出口门 + 中途检查点 + 四个硬阻断。

权重训练（内化实验）。 训练数据是进化 harness 下在 48 个开发任务上收集的轨迹（4B 每任务 8 轮、9B 12 轮，每任务保留评分阈值以上的最好 3 条，得 82 条/33 任务与 98 条/40 任务），LoRA rank 32 只训注意力投影或加 MLP；placebo 对照用完全相同配方训练，但把助手输出跨样本随机置换——如果增益真在轨迹内容里，打乱内容应该毁掉增益。

论文三 Harness Compilation：离线编译决策分工

编译运行时规范。 编译器提示是一份「任务专属运行时手册」：任务描述、裸学生探针分、资源示例、允许的观察、可编辑 JSON 字段与 Python hook 契约。教师（GPT-5.5）往这个开发者划定的接口里填内容与控制，返回一个完整 harness JSON（含 router 与 parser 源码）。关键约束：控制代码必须泛化——不得硬编码实体名（字符串字面量等于库存实体名会被拒绝）；不足十条探针支撑的规则视为无支撑；推理时零大模型调用。

典型产物长什么样？以 InfoSeek 为例，被选中的 harness 把工作分成：代码做检索路由、按问题类型压缩卡片文本（在 850 字符预算内做关键词行打分）、对分类学问题从学名推导 Genus 行；学生只做「≤3 个候选名里的有界选择（带『都不是』逃生口）+ 读卡片后作答」。router 的 select(item) 函数读问题文本与 CLIP top-3 相似度，按置信度阈值决定走直供卡片、有界挑选还是无卡裸答——置信度判据（如 s1≥0.38 或首二名差 ≥0.045）全部来自对探针痕迹的分析。

从执行痕迹修订。 教师先写 H₀，运行时在 probe 子集（150 项）上执行；主构建用三轮反思，每轮编辑最新提案（包括被拒的）。执行报告把失败连接到可编辑决策：链接错实体 → 查路由/选择；实体对了答案错 → 查证据充分性与阅读指令。InfoSeek 的报告含 30 条分层失败轨迹、挑选精度、弃权率，外加每轮一次的痕迹查询权。

验证选择与部署。 不相交验证子集（300 项）选出部署 harness H*：未取整均值严格改进才替换在位者，低于裸学生验证分的候选一律不保留。测试项永不进入编译器。部署时本地工具 + 冻结学生执行 H*，同一冻结模型加载不同 harness 即服务不同任务。

决策该留给学生吗？ 两步判据（见第三部分）；编译不直接优化这两个表达式，而是通过验证选出完整 harness，用接口干预做事后因果检验。

五、评估指标与实验证据

论文一：执行准确率 × 三个基准 × 泄漏审计

主指标是执行准确率（EX）：提交 SQL 在数据库上执行的结果表与金标结果表比对，缺失、语法错、超时一律计错。三基准：Spider2.0-SQLite（域内，135 复杂任务，真实企业级 schema）、BIRD-Interact Mini（OOD，GPT-4o 用户模拟器的多轮交互）、LiveSQLBench Base-Lite SQLite（OOD，持续更新的防污染基准）。

8B 版本近乎三倍于所有 32B baseline。为什么这套实验设计能证明论点？关键在四组消融：

• 训练阶段消融（Spider2.0-SQLite 执行准确率）：

SFT 单独 +14.9/+15.6pt；SFT 后 RL 再 +14.8/+17.0pt；而 Direct RL 仅 +4.5pt——RL 后置增量是 Direct RL 的三倍以上，证明全轨迹监督为稀疏奖励 RL 提供了必要的结构基础，而非两阶段简单叠加。

• harness 对齐消融（同在 DSH-SQL 推理下）：非 harness 后训练 9.6% vs harness-native 后训练 30.4%；非 harness 后训练在自己原生协议下反而 14.1%——训练必须对齐部署接口，否则互相拖累。
• 跨 harness 反向验证：把 OmniSQL-32B 强行塞进 DSH-SQL，从原生 14.8% 跌到 1.5%；Arctic-7B 从 15.6% 跌到 0%。这说明主表的公平性（baseline 用原生协议评测）与「会用 harness 是训练出来的能力」这一定性论断。
• 交互行为分析（540 条轨迹/模型）：无效调用从基座 67.4% 降到 SFT+RL 的 0.56%，恰好一次有效提交从 18.7% 升到 93.5%——执行准确率提升的背后是整个交互策略的重塑。
• 净化消融：把训练轨迹里「注释开头被只读守卫拒绝」这类良性失败回合剪掉再训同配置模型，30.4% 掉到 28.2%——保留失败-恢复循环本身就是有价值的监督信号。

另有上下文长度消融（8K→32K 从 27.4%→45.2%）、RL 算法消融（DAPO 45.2% > GSPO 43.7% > GRPO 40.7%，增益不绑定单一算法）、教师能力消融（弱教师 Qwen3.5-9B 产出轨迹训出的学生 7.4%，低于不训）。最有说服力的是四层泄漏审计：30 个共享数据库与 135 个测试任务在任务 ID、精确/规范化问题串、语义嵌入（cosine≥0.75 计数为零）、执行结果指纹（14,266 个同库候选对）四个维度零重叠——性能增益不能归因于记忆题目。

论文二：DeepPlanning 组合分 + 交叉实验矩阵

主基准 DeepPlanning（旅行规划，程序化硬约束评分），120 任务预先一次性切分为 48 开发/72 held-out。组合分 = 交付率 × 交付计划平均质量（未交付计零分，故恒等式精确成立）。

harness 进化有效且迁移：4B 组合分 dev 0.156→0.301（+0.143）、held-out 0.164→0.297（+0.133）；9B dev 0.348→0.404（+0.056）、held-out 0.323→0.442（+0.119）。增益落点与分类学预测吻合：4B 交付率 52%→90%、循环失败 F3 从 64% 降到 37%；9B 交付已饱和（97%→99%），增益体现为交付计划质量 0.309→0.392。两条线里 F4 都没被修复——4B 的 F4 从 10% 涨到 28%（循环被转化释放后显形），9B 稳定 25%。失败构成的完整变化（48 开发任务，轨迹占比）：

值得注意的细节：9B 线的经验文件抬高了无依据主张的比例（F1 从 5.2% 升到 17.7%）——这是「能力授予组件有副作用」的直接观察；4B 线 13 轮里只有 10 轮接受了编辑（26 个候选中 18 个过裁判），最大单步增益来自第 8 轮发明的「计划完整性检查工具」（fresh anchor +0.039）。

权重内化实验（核心交叉矩阵：种子/进化 harness × 基座/训练权重，全部同夜）：

四个发现：(i) 适配器可迁移——种子 harness 下 4B +0.126、9B +0.131，追平或超过五轮进化线；(ii) 4B 叠加、9B 替代——9B 上适配器单独已达进化 harness 水平，两杠杆可互换；(iii) placebo 适配器（助手输出置换）比基座低 0.158/0.227——证明增益在轨迹内容而非训练仪式；(iv) 每个适配器搬动的是自己那类失败：4B 适配器复刻 harness 的行为效果（交付 55%→78%），9B 适配器把 F4 从 28% 砍到 5%（held-out）——训练够到了循环够不到的类。

组件归因：9B 线去掉状态账本 −0.088/−0.145（dev/held-out）、去掉经验文件 −0.049/−0.076；去检查点/出口门/硬阻断全在噪声内。能力授予组件承载增益，强制组件基本不承载——这正是增益可训练性的机制铺垫。

可训练性判据（WebArena-Lite 对照）：同一循环在 117 个未见测试任务上 +0.088（0.256→0.344），但增益几乎全部来自一个接口编辑——上下文从保留一页历史改为两页。在这条线上训出的适配器不再有增益（0.344 vs 0.327/0.331）。对照 DeepPlanning 线上每个被接受的编辑都改了「模型所写」（工具、提示、经验、阻断器）且适配器能带走增益，得到规则：改模型所写的增益训得进权重；改模型所见的增益留在 harness——而且被接受编辑触碰的面在训练之前就是已知的。

九线泛化：种子交付计划质量 ≥0.27 的五条线（4B 到 hy3）harness 杠杆 +0.063~+0.136；质量 0.13–0.17 的三条线（MiniCPM5-2B、Spark-X2.5-4B、Ministral-3-8B）增益为零——被释放的轨迹全部落进 F4，只有写得出行得通计划的模型才能兑现「交付率」这一步。Gemma 4 12B（交付饱和、F4 最大类）按规则应走权重支路，harness 只买到了噪声内的 +0.019。

论文三：宏平均 × 接口干预 × 跨学生迁移

七设置（六个用同一冻结 Qwen3-VL-4B，DocVQA 用 Gemma-4-E4B；三独立构建取均值）：InfoSeek（6,000 测试项，宽松精确匹配）、DocVQA（3,568 项，ANLS）、SlideVQA（2,215 项，精确匹配）、LiveVQA（2,000 项，Claude Sonnet 5 裁判）、BLINK 三任务（准确率）。

21/21 构建全部胜过裸学生（+9.9~+23.9pt）。为什么能证明「决策所有权」论点？靠接口干预（在固定诊断 harness 上只改一个接口）：

• Decide：要求显式请求才给证据，InfoSeek −9.0pt——障碍出现在读证据之前。
• Generate：要求学生自己生成实体名做检索 −13.3pt；而移除有界选择只 −0.5pt（不显著）——开放参数生成对小模型是障碍，有界选择几乎免费。
• Select：移除 SlideVQA 证据页选择器 −12.1pt。
• Integrate：BLINK 上用原始测量信号替代代码裁决，反射率 −14.2pt、深度 −22.6pt——数值证据经代码处理才对小模型可用。
• 读取供给文本（DocVQA/InfoSeek 的阅读任务）几乎零损失——这是可保留的学生工作。

完整干预矩阵（负值 = 伤害该参考 harness；ns = p>0.05）：

配套证据链：学生档案表（4B 记忆激活率 82.3% 但生成实体名精度仅 30.4%）从能力侧解释干预结果——「愿意调用工具」与「能生成正确参数」是两种独立的能力，4B 前者优秀后者薄弱；跨学生迁移（九接收者整体移植 vs 重编译，fresh 平均只 −0.4，但 Qwen3.5-0.8B 重编译 +11.3——它执行不了移植来的「先选后读」程序）证明分配随执行者变化；权重适配后重编译（20k 标签 LoRA 80.6 分，移植旧 harness 反压到 66.4，重编译回到 82.1）证明分配需随模型进步重估。低数据场景：100 个练习项下 HC 在三任务全部超过 answer-only LoRA（InfoSeek 33.6 vs 23.3、DocVQA 84.7 vs 81.1、SlideVQA 54.7 vs 47.3）；而 1,300 标签 LoRA 与固定 harness 叠加（SlideVQA 63.7）又超过任一单独路线（53.2 / 58.1）——两条适配路线互补。效率：分数高于 CoT+vote 同时学生生成 token 少 69–189 倍（InfoSeek 每条 5.9 vs 1,120；DocVQA 8.5 vs 580；SlideVQA 5.8 vs 970）。

六、效果优势的根源解释

6.1 根源机制与证据链

HarnessSQL 的因果链（每步标注证据状态）：

1. 静态训练把轨迹边际化 → 模型从未见过执行错误与空结果等运行时反馈，产生曝光偏差【论文形式化推导 + 交互行为分析支持：基座 67.4% 轨迹含无效调用】。
2. harness-native 训练让 SFT/RL 与部署共享同一状态-动作-观察协议 → 模型学到的不是「SQL 长什么样」而是「何时查 schema、如何解读报错、如何恢复并终止」的闭环策略【论文实验支持：恰好一次有效提交 18.7%→93.5%；协议违规 83.2%→11.5%】。
3. full-trajectory SFT 保持完整交互结构 → 为稀疏 0/1 奖励下的 RL 提供结构基础【论文实验支持：Direct RL 仅 +4.5pt vs SFT 后 RL 再 +14.8pt；净化良性失败掉 2.2pt 反证失败-恢复循环是必要信号】。
4. 以上机制变化落到指标：执行准确率 15.5%→45.2%，且迁移到未见过的交互协议（BI-mini 9.0% vs baseline 区间 1.7–3.0%）——不是背域内 schema 模式【泄漏审计四层零重叠支持】。

【阅读者推测】8K→32K 上下文 27.4%→45.2% 的增益中，除论文给出的「截断会丢失后续决策所需的执行证据」解释外，可能还有长轨迹下 loss 掩码比例变化的工程因素，论文未单独分解。

Harness Ceiling 的因果链：

1. 失败分类学按「哪根杠杆能移除该错误」组织、由确定性检查器计算（区别于 MAST/TRAIL 按错误类型组织、需 LLM 标注）→ 分类直接对应干预手段【论文设计支持】。
2. 组件消融显示能力授予组件（账本、经验文件、发明工具）承载增益、强制组件（门、检查点、硬阻断）多在噪声内 → harness 增益的实质是「教模型一种行为」而非「挡住模型」→ 行为原则上可被模仿学习捕获【论文实验支持：去 tools −0.071/−0.090、去 lessons −0.067/−0.120 vs 去门噪声内】。
3. 循环停在 F4 的原因追溯到证据包只给流程指标、从不聚合评分器失败构成（「循环只优化它能看见的」）→ 解释了天花板是本循环证据包的属性而非 harness 进化的固有属性【论文分析支持；Gemma 线首次把失败构成喂给提案者仍未产生可分辨增益，说明仅可见性不够——推测：还需要提案者能把内容失败转成可执行编辑的能力】。
4. WebArena 增益来自「模型所见」（上下文两页而非一页）→ 改变观察分布的增益无法通过模仿「模型所写」进入权重【论文实验支持：该线适配器 0.344 vs 0.327/0.331 噪声内；对照 DeepPlanning 线全部增益可内化】。

Harness Compilation 的因果链：

1. 核心假设：harness 收益不只取决于提供什么，更取决于把哪些决策留给模型【接口干预直接支持：显式请求证据 −9.0、开放命名 −13.3、移除选择器 −12.1、原始信号替代裁决 −14.2/−22.6；有界选择与读文近零损失】。
2. 教师基于学生执行痕迹（而非教师自身能力假设）分配决策所有权 → 验证集拒收低于裸学生的候选（严格改进门 + 裸地板）→ 学生实际会用，而非被 harness 强加需求【设计机制 + 21/21 全胜支持】。
3. 同一冻结模型加载不同 harness 服务不同任务（InfoSeek 37.7 / DocVQA 85.0 / BLINK depth 95.4）→ 增益在接口层而非权重层【部署架构直接支持】。

6.2 相关工作检索与对照

在本次检索范围内未发现与「改所见 vs 改所写」可训练性判据直接冲突的相反结论；需注意论文二的 WebArena 反例条件（增益源自上下文保留量）与 Harness-Zero 的正例条件（行为模式）任务设定不同，两者不构成矛盾，而是同一判据的两个分支。论文一「harness-native 训练优越」目前主要由其自身消融支撑，MTSQL-r1、MTIR-SQL 等多轮 Text-to-SQL 训练工作被引为同期参照但未做同预算头对头——这是证据缺口，如实标注。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) 行为/过程类 harness 增益可通过轨迹微调进入权重（论文二 DeepPlanning 线 + 论文二引用的 Yu 2024 + Harness-Zero 三方一致）；(2) 执行观察 token 必须掩码、完整轨迹结构优于切分（论文一实验 + 信用分配综述公认的机制分析）；(3) 接口先行的小模型瓶颈在获取证据与开放生成，而非读取证据（论文三干预实验 + 其学生档案表）。

仍属推测的机制：(1) 「循环只优化它能看见的」的完整因果修复（把失败构成喂给提案者的首次尝试未产生可分辨增益）；(2) 9B 上两杠杆完全替代而 4B 上叠加的规模依赖，论文二只观察到现象，机制解释（教科书内容决定适配器能学到什么）是合理推断但未被独立操纵验证；(3) HarnessSQL 增益中 SFT 数据分布（77.83% 轨迹含失败-恢复）与协议对齐各自的贡献份额未完全分解。

适用条件与失效条件：论文二的规则在交付质量低于约 0.18 的模型上失效（三条线增益为零——「只有写得出值得评分的计划的模型才能兑现交付率」）；论文三的分配随执行者与权重状态变化（OCR 对 Gemma 是 +12.2、对 Qwen3.5-2B 是 −20.5，权重更新后旧接口可从有益翻转为有害）；论文一限于 SQLite 方言（作者自陈），非 SQLite 方言是小模型瓶颈。

七、必要知识反推

假设让一个没有任何背景的人重做这三项工作，最少必须掌握什么？

领域知识层。必须理解 harness 是什么、由什么构成（提示、工具面、观察中间件、终止协议）——否则论文一的「训练-部署失配」、论文二的「可编辑面」、论文三的「决策自由度」都没有落脚点。必须理解数据库执行语义（只读约束、行截断、方言差异）与执行等价性判定——论文一的 oracle、奖励与泄漏审计全部建立在此。必须理解 VLM 的能力剖面测量法（激活率、生成精度、菜单选择正确率随菜单宽度的衰减）——论文三的全部分配决策以此为输入。

方法论知识层。POMDP 形式化与曝光偏差概念（论文一）；sub-Gaussian 集中不等式与选择乐观度（论文二的测量协议——不理解就无法解释为什么必须四轮均值与 fresh anchor）；SFT 损失掩码、DAPO/GSPO/GRPO 的差异（论文一 RL 组件）；LoRA 放置（qkvo vs qkvo+MLP）与「MLP 层持有事实关联」（Geva 2021）的联结（论文二解释 9B 适配器为何要训 MLP）；placebo 对照设计（论文二）；paired McNemar 检验与自助区间（论文三的统计报告规范）。

工程知识层。容器化隔离与子进程死线（论文一沙箱）；教师 rollout 的 pass@1/pass@3 质量门控（弱教师产出低于基座的学生——71.20% pass@1 才够用）；交叉评测矩阵的同夜执行纪律（论文二的跨夜漂移 0.05 会淹没全部信号）；「可编辑 JSON 字段 + Python hook 契约」这样的受控接口设计（论文三——既要给教师自由度又要防硬编码作弊，如字符串字面量等于实体名即拒绝）。

知识融合的关键节点。三篇论文各自有一个「化学反应」时刻：论文一是把 POMDP 的「观察由 harness 投影」这一形式化洞察转化为工程决策——SFT 掩码的对象恰好就是 harness 生成的观察 token，形式化与实现在此严丝合缝；论文二是把失败分类学从「描述性」翻转为「干预性」（按杠杆组织而非按错误类型组织），再与测量理论（选择乐观度）结合，才得出可信的杠杆切换规则；论文三是把「harness 组件」与「决策类型」两个正交描述分离，再用通道优势与决策保留两个判据把后者变成可优化的对象——没有这个分离，接口干预就只是消融实验而非因果证据。

八、论文中可以提取的通用性灵感

灵感一：训练环境与部署环境必须是同一个世界的同一层抽象。

• 核心思想：任何「训练时学 A、部署时做 B」的系统都存在结构性失配，修复方式不是更聪明的 A，而是让训练直接发生在 B 里。
• 论文证据：同在 DSH-SQL 推理下，非 harness 训练 9.6% vs harness-native 训练 30.4%；把非 harness 训练模型放回原生协议也只有 14.1%。
• 推广场景：机器人仿真到实机（把域随机化换成「在目标机体上训练」）；客服机器人（在真实工单系统里做后训练而非静态 QA 对）；代码补全（在目标 IDE 的真实上下文截断行为下训练）；教育对话系统（在真实课程平台协议内收集轨迹）。

灵感二：按「哪个杠杆能移除该错误」组织诊断，而不是按错误长什么样。

• 核心思想：分类学的价值取决于它是否直接映射到干预手段；描述性分类再精细也不能指导行动。
• 论文证据：F2/F3（过程失败）与 F4（内容失败）的分裂被双向验证——施加 harness 杠杆后 F3 64%→37% 而 F4 不动；施加权重杠杆后 F4 28%→5% 而交付率不动。
• 推广场景：运维告警分级（按「重启能修 / 需要改代码」而非按症状分类）；医学检验（按「支持疗法治愈 vs 需根治手术」组织检查项）；生产线质检（按返工工序归属组织缺陷目录）；学生错题归因（按「粗心可自纠 vs 概念需重讲」分堆）。

灵感三：增益的可迁移性取决于它改变了对象的输入还是输出——「改所写可教，改所见难教」。

• 核心思想：想判断一项改进能否被学习者内化，看它作用在学习者的观察侧还是行为侧。
• 论文证据：DeepPlanning 线全部编辑改行为侧，适配器 +0.13 内化；WebArena 线增益来自观察侧（上下文两页），适配器噪声内零增益。
• 推广场景：员工培训（改工作方法的培训可内化，换更好显示器的效率提升随设备走）；推荐系统（改排序特征的增益留在服务端，改生成策略的增益可蒸馏进小模型）；辅助驾驶（HUD 信息量增强不可内化，驾驶习惯 coaching 可内化）；教学法（提供更好教材 vs 训练更好解题习惯的长期差异）。

灵感四：给弱执行者配系统时，先量它卡在哪一类决策上，再决定系统替它做多少。

• 核心思想：自动化不是越多越好；每类决策的归属应由「弱执行者做它的实际精度 vs 机械规则精度」的实测差值决定。
• 论文证据：开放命名实体 −13.3pt vs 有界选择 −0.5pt（不显著）——同为「Select/Generate」类决策，命运相反；OCR 对 Gemma +12.2、对 Qwen3.5-2B −20.5——同一资源在不同执行者上符号翻转。
• 推广场景：低代码平台设计（新手保留有界选择、代码生成交给模板）；临床决策支持（医嘱模板 vs 开放处方权）；GUI 无障碍设计（层级菜单 vs 命令行）；梯队人才培养（核心决策留在新人手里、事务性决策先自动化）。

灵感五：保留真实的失败-恢复循环作为训练信号，别把数据洗得太干净。

• 核心思想：数据清洗的洁癖会删掉最有教学价值的片段——如何从错误中恢复。
• 论文证据：剪掉「注释开头被只读守卫拒绝」这类良性失败的训练集，训出的模型从 30.4% 掉到 28.2%；保留的 2,512 条轨迹中 77.83% 含至少一次失败中间查询。
• 推广场景：驾驶模拟器课程设计（保留爆胎、打滑场景）；手术培训录像（保留并发症处置片段）；对话系统语料（保留人工接管与纠错回合）；工业故障知识库（保留误操作与恢复记录）。

灵感六：测量协议先于结论——先算噪声线，再谈效应量。

• 核心思想：在噪声中做序列决策（如自进化循环的接受/拒绝）会系统性产生虚假进步；fresh anchor 与同夜对照不是洁癖，是结论成立的前提。
• 论文证据：选择乐观度界 s√(2ln K) 说明单轮读数挑最优必然虚高 0.05–0.06（高于 0.035 噪声线）；论文二自己的早期 9B 线曾因一次幸运锚定连续拒绝八个候选。
• 推广场景：A/B 测试平台（先测周期内方差再定样本量）；科研实验管理（预注册与批次对照）；投资组合再平衡（区分运气与技能的统计纪律）；体育训练负荷评估（同条件重测而非跨日比较）。

三篇论文读罢，一个清晰的图景浮现出来：harness 不再只是推理时的包装纸，而是训练的场地（论文一）、改进的杠杆之一与切换判据的输入（论文二）、以及决策所有权的分配对象（论文三）。「模型 + 脚手架」作为联合系统的观点，正在从评测口号变成一门可形式化、可测量、可工程化的学问——而它交给实践者的第一课朴素得出人意料：先看清楚失败属于哪一类，再决定是修工具，还是教人。