SimVerity: When Does Simulated Agent Success Survive Physical Deployment? 精读

论文链接：SimVerity: When Does Simulated Agent Success Survive Physical Deployment? 发表时间：2026年8月 机构：Imperial College London（帝国理工学院）+ Independent Researcher（高校主导的合作；Hamed Haddadi 教授系帝国理工 IoT/边缘智能方向学者） 领域标签：cs.AI / Agent 保证（Assurance）/ 智能家居 / 评测有效性

一、论文背景

模拟评测 是当下 AI Agent 研究的默认起点：智能家居 benchmark（HomeBench、SMH-Bench 等）提供可执行设备与状态检查，工具 Agent 领域用沙盒判定（τ-bench 等），世界模型直接给 rollout 打分。原因很实际——不能拿真房子、真炉子给 Agent 练手。于是一个行业的默认流程形成了：模拟器给绿勾 → 允许部署。

但论文开篇就戳破了这个流程的隐患：绿勾是一张「关于物理世界的期票」，兑现率从未被系统量化。作者举了一个日常场景：摄像头看到汽车离家，房子自动关灯、关掉取暖器的智能插座。智能锁这类高风险设备厂商会硬编码防御（验证锁舌、30 秒重锁、30 秒轮询），但插在插座上的取暖器只有「上报状态」和碰巧看着房间的某个东西。模拟器判定它关了，软件状态也通常同意，可真实灯泡在 100 毫秒边界处还亮着——失败窗口是亚秒级的，settled-state 检查（等稳定后再查）永远看不见。

论文把这种事故命名为假清关（false clearance）：一个获批通过的属性随后在部署中失败。它不是 benchmark 噪声，而是监督失效。根源是一种抽象错配：模拟把成功当作静态属性，物理部署把成功展开为一个过程——完成、上报状态、可观察效果、沉淀结果在真实执行中会彼此分叉，却被坍缩成一个词「成功」。SimuHome 论文自己的附录也显示：把评测延迟从 0 秒改到 3 秒，某 Agent 的灯光切换成功率从 44% 变 62%——成功取决于何时、何地观察它。

已有验证范式都接不住这个问题：仿真方法论（Sargent）只谈「模型对声明的目的有效」；CPS 一致性理论能证明哪些属性从模型携带到系统，但依赖语义化随机 Agent 轨迹不满足的动力学假设；机器人 sim-to-real 研究问的是「模拟排名能否预测现实排名」，不是「某一次具体的 pass 能否存活」；最接近的 admissibility 阶梯把「verdict-transfer-validated」列为最高级却因缺少现实锚点而未实现。

二、论文定位和关联工作

论文处于「评测有效性 / Agent 保证」研究脉络，与四条线对话：

仿真有效性谱系。Sargent 的 fit-for-purpose 有效性、CPS 一致性检验、数字孪生轨迹对齐（Muñoz et al. 2024）形式化了「模型信任」；Oefinger et al. 2026 的 L0–L4 admissibility 阶梯把「判定迁移验证」命名为最高级但未实现。SimVerity 正是这一级的实例化：逐属性一致性、FCR、弃权、held-out 预测。

Sim-real 预测性谱系。Kadian et al. 的 sim2real predictivity 检验模拟排名是否预测现实排名；自动驾驶研究（Fremont et al.）比较虚拟与物理失败。这些工作关心排名层面，SimVerity 关心单次判定层面（per-scenario test-track 比较是最接近的判定级先例）。

Agent benchmark 与沙盒有效性谱系。智能家居/工具 Agent benchmark 给出存档态或沙盒判定，但离线评测可能误导部署（Kapoor et al.「AI agents that matter」）。最关键的分界在 ToolEmu：它验证的是 sim-fail → real-fail（模拟失败在现实中是否合理），而 SimVerity 问的是危险得多的方向——sim-pass → real-fail（模拟通过是否在现实失败）。前者防误伤，后者防误放。

对齐式评测审计谱系。BenchGuard 审计 benchmark 制品、DFAH 度量重放确定性，都不检验模拟器判定能否在有证人的部署中存活；部署模拟从历史流量预测流行度、可组合保证在 MLOps 中传播形式断言，而 SimVerity 校准模拟器判定是否「部署可采信」。

定位结论：论文不发明新的 Agent，也不发明新的模拟器，而是插入一个引擎无关的判定迁移保证层——在 agent harness 之外回答「这个绿勾值多少钱」。

三、问题定义

具体问题：模拟器（或软件梯级）判定某场景通过，这个判定在目标物理部署中还成立吗？

核心洞察：「成功」不是一个属性而是一组在过程不同时刻、通过不同观察通道判定的属性族。完成（上报说做了）、上报状态（读寄存器）、可观察效果（物理证人看到）、沉淀后置条件（稳定后检查）——它们在真实执行中会给出不同答案。判定迁移必须在这个坐标系下逐格测量，而不是问笼统的「任务成功了吗」。

形式化：设 x 为声明评测分布下的合法场景、φ 为声明的轨迹属性，源梯级 Q 给出待审计的清关、目标梯级 T 上测量其存活。语义对齐后 V^φ_Q(x), V^φ_T(x) ∈ {pass, fail, abstain}。定义两个估计量：

• 判定保真度 VF^φ = Pr[V^φ_Q(x) = V^φ_T(x)]
• 假清关风险 FCR^φ = Pr[V^φ_T(x) = fail | V^φ_Q(x) = pass]

弃权是一等结果：证人资格不足、轨迹阶段缺失、能力不支持时判 abstain，弃权对不计入二元估计但在审计账目中留痕——缺失的证据不能默默变成同意。两个精妙之处：(1) 估计量是条件的而非普适的——一个报告值只回答「在产出它的确切坐标下」（场景分布、读边界、梯级、证人）的问题，改任何坐标都必须重新挣得；(2) 这是「判定粒度上的操作有效性」，是先验一致性保证（对语义随机轨迹不可用）的测量式补充。类比：先验保证像_type system（编译期检查），SimVerity 像带证人的单元测试（运行期测量），后者才能处理随机语义系统。

四、问题解法

SimVerity 流水线由五个组件构成，外加严格的冻结协议。

4.1 版本化 manifest 与语义对齐

类比：实验前的「预注册协议」。版本化 manifest 冻结场景与全部执行坐标（属性×读取边界×路径×部署梯级×Agent 模式×数据划分），改任何一项都要新开实验。轨迹适配器在不修改引擎的前提下收集轨迹，语义对齐把原始轨迹映射到六个语义阶段：请求、源/摄入上报、Agent 读、派发、软件反馈、可观察效果。配对是试验身份上的双射——多出或缺失的试验必须报错；摄入时间永远不许被重新标注为传感器事件的物理源时间。这一层防的是「时间戳洗白」。

4.2 独立资格化证人

类比：法庭上的专家证人必须先证明专业能力，否则证词不被采信。光学证人（相机）先在参考状态上各取五帧稳态帧的中位亮度 L̃_on、L̃_off，只有 |L̃_on − L̃_off| ≥ max(10, 20·MAD_pooled) 才算合格——亮度差要显著超过噪声；中点与方向随之冻结。多目标会话还要求随机驱动下每个目标的交叉响应低于自身响应一半（证明能区分目标）。会话有效性还要求轨迹完整度 ≥95%、稳态控制一致；不合格的初始状态与缺失证人一律 abstain。原始帧在采集时即降为标量区域统计并丢弃。关键纪律：阈值只用于资格化仪器，绝不在结果出来后回头调边界。论文诚实记录了第一个 pilot 会话因相机曝光漂移被自己的预注册检查判无效——体系连自己都不放过。

4.3 属性监视器

六个冻结监视器：完成、上报读后写、写后可观察效果、沉淀后置条件、效果顺序、扇出完成。每个监视器是「对齐轨迹对 → {pass, fail, abstain}」的全映射，声明自己的观察通道（上报状态或合格证人）；证据缺失一律 abstain 而非记同意——缺完成或边界读、证人无效或缺失、效果时间并列或缺失、任何未目击的扇出目标，全部弃权。

4.4 校准-only 风险画像

对每个条件类 c（属性×阶段或方向×路径），用源清关的校准行估计部署失败风险：Jeffreys 平滑率 r̂_c = (k_c + ½)/(n_c + 1)，n_c 为清关对数、k_c 为其中部署失败数。无支持的 held-out 单元沿冻结的条件阶梯回退。全部画像在评测前用 SHA-256 哈希冻结。刻意保持简单（平滑频率估计而非复杂学习器）——要检验的是「声明的结构能否跨单元格迁移」，不是「学习器能否拟合测试床」。

4.5 判定卡与三态处置

每个被审计单元格输出一张版本化判定迁移卡：VF/FCR、精确 Clopper–Pearson 区间、全部清关/拦截/弃权计数，以及三种处置之一——clear（证据支持源清关）、abstain（证据未过资格线）、escalate（观察到清关的 pass 实际失败）。账目设计堵住两种作弊：一个几乎不清关的裁判、一个悄悄丢弃难目击试验的审计，都会表现为完美一致率，但携带计数会暴露它们是坍缩的清关或弃权。「谁来保证保证者？」——答案是契约的每个元素都可能可见地失败，没有合格证据时审计就弃权。

部署梯级：模拟器 S（SimuHome，未修改、仅外部适配器驱动）→ 软件梯级 R_soft（同一 Home Assistant 栈、虚拟设备边）→ 物理梯级 R_phys（真实商品设备 + 资格化相机证人）。四条冻结路径承载证据：单灯效果 P1、多灯顺序/扇出 P2、接触传感器→灯 P3、跨设备观察 P5c。

五、评估指标与实验证据

主战役规模：9 个有效校准会话、586 试验、1,070 个合格「模拟通过」对。主指标是 Brier 分数（预测概率的均方误差——输出是概率且校准性重要），辅助 log loss、AUROC、覆盖率。统计规范同样严格：会话感知的配对 bootstrap、精确区间、Wilcoxon/sign 检验。

发现一：部署成功是过程，不是属性。这是全文的奠基性证据——同一批执行裂解出四个判决：

SimuHome 通过全部 240 个灯光试验（完成维度），相机却捕获 42 个亚秒级失败（可观察 42/240），沉淀检查 0/240、上报仅 20/240——同一执行，四份判决。标量「任务成功率」会同时抹掉属性失败与覆盖边界。

发现二：假清关可预测。冻结的六预测器阶梯（模拟器判定 0.01 恒定 / 全局 FCR / 标量时延 / 强查表 / path-only / SimVerity 画像）在 held-out 路径–梯级配对（R_soft→R_phys 传感路径）上对决：

SimVerity vs path-only：11/11 会话全胜（队列 2 为 8/8，Wilcoxon p=0.0039，ΔBrier 95% CI [−0.1251, −0.0936]）。耐人寻味的反转：对强查表，队列 2 反输 7/8——记忆化在静止受控条件（窗帘控制的稳定光环境）下占优，声明的结构在条件漂移（自然环境光变化）下占优。且模拟器自己的判定是最差预测器（队列 2 Brier 0.3166）——绿勾本身对物理存活几乎无信息量。

发现三：可审计性是可测量、随配置变化的。生产级 harness Hermes 的轨迹 100% 匹配声明场景；两个自研 Agent 循环（ReAct 式、规划器式）跌到 52–88%；整体更换模型–客户端/服务栈配置后 ReAct 循环恢复 100%——预注册的干预证伪了「ReAct 架构」本身是原因，问题出在可执行配置整体。规划器 Agent 的完成失败（32/32）源于其收尾读取发生在状态更新之前，而 ReAct 的收尾回合落在更新之后——架构差异直接映射到属性差异。

发现四：第二台合格模拟器没有独立意见。S5-HES 与 SimuHome 在 160 个冻结物理锚上零分歧——两台模拟器共享盲点，只有物理测量能暴露。共识政策的「收益」是彻头彻尾的幻象：严格共识让条件 FCR 降 1.25 个百分点，代价是覆盖损失 25 个百分点——全部来自更粗时钟下的强制弃权，不是第二裁判检测到了任何东西。

跨站点复现：Site B（独立运营办公室、可变光照）与 Site C（另一家庭、另一厂商栈 Apple TV）重复继电器–灯审计：完成/上报/沉淀全零假清关——零是机制不是运气：两站的继电器集成都是确认门控的（上报状态只在设备确认后提交），不存在假清关窗口。而亚秒级光学单元两站相机都无法认证、依契约弃权。语义决定上报状态在哪里说谎，而不是站点。

为什么实验设计能证明论点：核心主张是「假清关可预测」。证明链条：预测器在看到 held-out 数据前 SHA-256 冻结（防事后拟合）→ held-out 路径从未被物理测量（防泄漏）→ 与六档结构粒度递增的基线对比（排除「随便什么统计都行」）→ 两个独立队列 + sign/Wilcoxon 检验（排除单次运气）→ 预注册门槛先于结果声明（防 p-hacking）。每个环节都在封堵一条「结果不可信」的逃生通道。

六、效果优势的根源解释

现有范式的根本局限：把「完成/上报状态/可观察效果/沉淀结果」坍缩成一个「成功」——这不是简化，是信息毁灭。模拟器只能看到上报通道，物理失败恰恰发生在它看不见的通道上；settled 检查在时间维度上做了平均，恰好抹掉了亚秒级瞬态。所以问题不是「模拟器不够好」，而是判定的坐标系就选错了。

因果链：SimVerity 把判决按属性×边界×路径展开成矩阵 → 四个维度的失败率差异变得可见（完成 240/240 假清关 vs 沉淀 0/240——前者说明上报通道完全不可信于 100ms 边界，后者说明稳态后物理世界确实收敛）→ 证人资格化 + 弃权一等公民 → 「缺失证据=同意」这条隐性作弊通道被关闭 → 校准数据学到的「哪类模拟通过会物理失败」结构（如 off 方向在 50–250ms 边界的失败聚集、上报通道在亚 50ms 的自身边界）可以跨单元格迁移 → 在从未物理测量的路径上预测成功（胜 path-only 的机制：path-only 在 held-out 路径上只能靠冻结回退，而 SimVerity 的属性×阶段结构带着从其他路径学到的通道可靠性知识迁移过去）。

为什么强查表在队列 2 反赢：查表按「动作/方向/设备」记忆每个格子的分位数，在窗帘控制的静止光照下，物理失败模式稳定可记忆；而结构化画像为跨条件泛化付出了平滑代价。这条边界本身是论文的诚实贡献：记忆化在平稳分布下占优，结构在条件漂移下占优——部署环境越接近受控实验，越该用查表；自然环境漂移越大，越需要结构迁移。

反事实推理：若去掉弃权机制，相机无法认证的亚秒单元会全部被记为「同意」，FCR 被系统性低估；若不冻结预测器，held-out 上的「胜利」可能是过拟合；若不资格化证人，曝光漂移的相机会把噪声当证据（第一个 pilot 会话的下场）。每个机制的必要性都有对应的数据或记录支撑。

局限（论文自陈）：预测证据只有一条 held-out 物理路径、11 个会话、132 试验——估的是风险不是认证；物理证据只覆盖一个有效规划器配置；模型–客户端/服务干预无法分离权重与 serving 行为；只测了白名单灯与隔离代理。

七、必要知识反推

领域知识层：(1) 智能家居系统的真实状态语义——上报状态 vs 物理效果的分离（确认门控 vs 乐观上报的 50–500ms 提前量）、设备集成的状态提交机制——不知道「上报可以在哪儿说谎」，就设计不出有区分力的属性族；(2) 智能家居 benchmark 与模拟器的判定机制（SimuHome、HomeBench 等的状态检查方式）；(3) 亚秒级物理时序现象（灯的渐暗、继电器延迟、传感器事件倍增——85 条记录来自 20 个物理门磁循环）。

方法论知识层：(1) 仿真有效性理论（Sargent 的 fit-for-purpose）与 CPS 一致性检验——知道先验保证为什么对语义随机轨迹失效，才会转向操作测量；(2) 概率预测评估（Brier 分数为什么是主指标——输出是概率，校准性即生命）；(3) 预注册与冻结协议的科学规范（SHA-256 哈希锁、append-only 扩展、held-out 数据隔离）；(4) 统计工具箱：Jeffreys 平滑、Clopper–Pearson 精确区间、会话感知配对 bootstrap、Wilcoxon/sign 检验；(5) 计量学的仪器资格化思想（MAD 噪声门限、交叉响应区分度）。

工程知识层：(1) Home Assistant 栈与商品设备（智能灯、电池接触传感器）的部署与插桩能力；(2) 相机证人系统：稳态帧采样、区域亮度标量化、曝光漂移检测；(3) 版本化 manifest/不可变账本/哈希链的工程实现；(4) 多梯级测试床架构（同一栈上虚拟边与物理边的路由）。

知识融合的关键节点：第一个化学反应在「计量学仪器资格化 × 软件 Agent 评测」——把实验室仪器校准的纪律移植给「相机证人」，让物理证据的可信度本身成为可检验的量。第二个节点是「预测科学 × 部署审计」：把假清关当作可预测的气象式概率事件，用 Brier 分数与冻结预测器竞赛来检验结构迁移——审计从「检查清单」升级为「预测科学」。

八、论文中可以提取的通用性灵感

1. 成功是过程，不是属性——按观察时刻与通道拆分判定。核心思想：任何「成功」判定都隐含着观察时刻与观察通道的选择；把不同时刻/通道的判定坍缩成一个，等于亲手抹掉失败窗口。论文证据：同一执行四份判决（完成 240/240 假清关 vs 沉淀 0/240），相机在亚秒窗口抓到 42 个 settled 检查永远看不见的失败。推广场景：RPA/自动化流程的「执行成功」审计（回执 vs 实效）、微服务的最终一致性验证（写入可见 vs 业务生效）、LLM 工具调用评测（API 返回 200 vs 副作用真实发生）、机器人操作的力/视觉双通道验证。

2. 缺失证据的默认值决定体系诚信。核心思想：把「查不到」默认记为同意还是弃权，是所有审计体系的分水岭；弃权必须是一等结果并全程留痕。论文证据：相机无法认证的亚秒单元依契约弃权；账目设计专门拦截「坍缩清关」与「悄悄丢弃难目击试验」两种作弊。推广场景：安全合规审计（未取证项不得默认合规）、医疗诊断 AI 的不确定性上报、数据质量监控（缺测数据 vs 正常数据）、自动驾驶仿真验收的未覆盖场景清单。

3. 证人先自证，再作证。核心思想：任何传感器/评判者（包括 LLM judge）在参与评判前，必须先通过独立的能力资格化测试，且资格标准先于结果冻结。论文证据：相机亮度区分 |L̃_on−L̃_off| ≥ max(10, 20·MAD) 的资格线，两个会话被自己的预注册检查判无效。推广场景：LLM-as-a-judge 的 judge 校准（裁判先做区分度测试）、众包标注者的资格门控、多模态模型评测的传感器标定、自动化测试框架的 flaky test 检测。

4. 结构迁移 vs 记忆化的适用边界。核心思想：记忆化（查表）在平稳受控分布下最优，结构化模型在条件漂移下占优——部署环境的漂移程度决定该用哪个。论文证据：窗帘控制静止条件下强查表 7/8 胜 SimVerity（Brier 0.0341 vs 0.0878），自然环境光变化下 SimVerity 11/11 全胜。推广场景：推荐系统冷启动 vs 稳态、金融风控模型的市场状态切换、供应链预测的季节性 regime、LLM 评测集的分布漂移应对。

5. 多裁判共识可能只是伪装的弃权。核心思想：两个高相关评判者的「共识」不提供独立信息；看似降低风险的共识政策可能只是通过弃权缩小了覆盖面。论文证据：两台合格模拟器 160 锚零分歧；严格共识以 25pp 覆盖损失换 1.25pp 条件 FCR 改善，全部来自强制弃权。推广场景：多模型投票系统的独立性审查（ensemble 成员相关性诊断）、红队测试的多工具冗余评估、学术同行评审的多裁判相关性、企业多签名审批流程的实际独立性。

6. 答案是部署局部的，可迁移的是审计本身。核心思想：任何评测结论都绑定在产出它的坐标上（分布、边界、栈、证人）；换环境要重新挣得结论，能复用的只有测量方法。论文证据：论文结尾明言「Ship the audit, not the answer」；跨站点复现测的是审计协议可移植（Site B/C 零假清关源于确认门控机制，而非任何预测器迁移）。推广场景：多环境的 A/B 测试结论外推纪律、跨数据中心的 SLO 验证、模型卡/数据卡的场景绑定声明、监管科技中的方法论认证而非结果认证。

一句话总结：SimVerity 给「模拟器绿勾」标了价——同一执行能裂解成四份判决，假清关可以被冻结的风险画像预测，而第二台模拟器的共识只是用覆盖换来的心理安慰；能安全带进下一个部署的从来不是答案，而是这套「证人先自证、缺证即弃权」的审计本身。