论文链接：SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs | AgentVQA: A Unified Benchmark for Agentic Visual Understanding 代码仓库：SCOPE 数据集（HuggingFace） | AgentVQA 项目页（Princeton Z-Lab） 发表时间：2026年10月 机构：SCOPE——Plurai 公司（Arnon Mazza 与 Elad Levi 共同一作，纯企业研究）；AgentVQA——马里兰大学帕克分校（一作）+ 普林斯顿大学（通讯作者 Sarch/Liu，获 Princeton Research Computing 与 PLI 支持） 领域标签：cs.AI（策略执行 / LLM Agent 安全）、cs.CV（多模态 Agent 评测）

一、论文背景

当 LLM Agent 从"聊天助手"走向"替人办事的系统"，信任问题就从一个修辞变成了一组具体的工程难题。这次合并精读的两篇论文，恰好击中 Agent 信任链条的两端：一端是执行策略时的确定性与可解释性（SCOPE），另一端是感知基础的可测量性（AgentVQA）。

1.1 SCOPE：谁来当 Agent 的裁判

先看 SCOPE 面向的场景。随着 LLM 被部署来执行组织自身的政策——从内容规则、监管义务到应用级的系统行为约束——策略执行的形态发生了根本变化：

• 判断单元变长了。单轮内容审核时代，判断对象是一条消息；而现在判断对象变成了一整个多轮对话记录、一份结构化计划、或是一条 agent 工具调用轨迹。
• 策略本身变复合了。现代策略很少是一个单一类别，而是把条件、例外、计数、相互作用捆绑在一起，必须整体评估。漏看任何一个子句，就会产生一次误判违规或漏判义务。

现有的两类主流做法各有硬伤。第一类是微调小型 guardrail 模型（如 Llama Guard、WildGuard、ShieldGemma 一类）：它们快且便宜，在单一、边界清晰的规则上能媲美大模型，但模型容量就是天花板——当策略把多个相互作用的条件捆绑到一次前向传播里时，准确率随之下降（论文引用的 Dziri et al. 工作显示 Transformer 在组合性任务上有根本局限）。第二类是 LLM-as-a-judge：运行时把策略塞给前沿模型读裁决。它表达力最强，但预测不稳定（方差随子句数上升），而且每次被门控的交互都要付一次前沿模型调用成本，在生产规模的高吞吐分类场景下不可行。

神经符号方法是天然的第三条路：神经组件负责语义判断，符号层用显式逻辑组合它们。每个子决策范围窄、组合是显式的，天然比单体判断更稳定，而且窄问题小模型也答得动，系统更便宜。但现有方法的符号层有两个缺陷：表达力不足（清单、加权规则集、布尔/概率规则无法表达真实策略中常见的条件调用、跨片段计数、运行时选择区域再检查）；有偏（学出来的符号层是对某个代理目标的拟合——规则集拟合训练样本、程序对静态基准搜索、函数对自生成测试验证——而不是对策略本身的拟合）。

1.2 AgentVQA：Agent 的眼睛到底行不行

再看 AgentVQA 面向的场景。VLM 正在成为机器人、网页导航、游戏等 agentic 系统的决策核心，但我们对其在 agentic 场景下的感知能力了解很少。这里存在一个评测真空：

• 在线评测是金标准但难以扩展。在真实或仿真环境中跑 agent 交互是衡量交互性能的金标准，但计算成本高、可复现性差，难以支撑快速的、大规模的模型横评。
• 通用 VQA 基准不测 agentic 能力。MMMU、MMBench、GPQA 这类基准测的是广义视觉理解或知识密集推理，其题目和视觉输入不反映 agentic 决策场景。已有工作（如 Yao et al. 的 τ-bench）发现 GPT-4o 尽管在传统基准上表现优异，在需要多轮交互的真实客服任务上成功率不足 50%。
• 领域专用基准碎片化。各个领域各自为政的基准要么覆盖面窄，要么输入与动作空间不反映真实 agentic 场景，要么已经饱和或标注噪声大，答案格式、选项难度、样本分布互不相同，无法聚合成跨域分析。

于是产生了一个尖锐的问题：如果我关心的是「这个 VLM 当 Agent 的感知底座行不行」，有没有一个统一的、便宜的、可信的离线测量方式？AgentVQA 给出的回答是——把 23 个源数据集里真正考验「感知作为行动前提」的题目人工筛出来，统一成带难负例的选择题格式，并验证它能复现在线评测的模型排名。

1.3 为什么把两篇放在一起读

Agent 系统的信任链条可以粗略写成：感知环境 → 构建状态 → 执行策略 → 产出动作。SCOPE 管的是后半段——策略执行必须确定、可溯源、可审计，不能因为裁判模型今天心情不同就翻供；AgentVQA 管的是前半段——感知与状态构建必须先被测准，否则再好的策略执行也是对错误世界模型的精确裁决。一个是「信任的执行机制」，一个是「信任的测量基线」，合起来正好构成 Agent 可靠性的两块基石。

二、论文定位和关联工作

2.1 SCOPE 的研究谱系

SCOPE 处在三条研究线的交汇处。

谱系一：策略执行（Policy Enforcement）。从最早的黑名单/正则（确定性、可重复、几乎免费，但只认识字面模式），到微调小模型（懂语义但容量见顶），到运行时条件化的 guardrail（表达力强但仍是小模型容量），再到前沿 LLM-as-a-judge（最表达力、最不一致、最贵）。SCOPE 的定位是打破这个权衡三角：用前沿裁判的表达力，以弱分类器的成本和可重复性运行——推理时不调用任何强模型，组合是确定性的。

谱系二：神经符号程序。经典可微程序（DeepProbLog、Scallop）固定结构训练谓词；结构搜索方法（typed functional language、神经松弛引导、节点调用 LLM 的程序搜索如 AFlow）连结构一起搜。现有工作在两条轴上各占一边：要么从策略导出符号结构但形式受限（CheckEval 的 yes/no 清单计数、RLIE 的自然语言规则+逻辑回归、ShieldAgent 的概率电路、SMT 编码），可导出恰恰因为受限，也因此表达不了「下一个问题依赖上一个答案」这类结构；要么把组合写成代码赢得了表达力但程序固定（NeMo Guardrails 手写 rails、VeriGuard 对自生成测试验证的合成函数），谓词是冻结的 prompt，漂移了就一直漂移。SCOPE 的定位是把两条线合并：组合层是普通 Python，且结构与谓词一起对策略本身优化。

谱系三：课程学习与对抗合成。固定训练池会在优化开始前锁死分布；自动课程让训练质量跟随模型当前弱点走。SCOPE 把对抗式课程折叠进分解搜索：训练数据与程序共同构建。与其前作 BARRED（用非对称辩论合成 guardrail 训练数据，优化的是单一规则）相比，SCOPE 的优化单元是复合策略整体，反例能指认程序中具体出错的部件。

2.2 AgentVQA 的研究谱系

AgentVQA 处在「通用 VQA 基准」与「领域专用 agentic 基准」的裂缝之间。

通用 VQA 基准（SEED-Bench、MMBench、MMMU/MMMU-Pro、GPQA）：测核心能力与通识推理，但题目不涉及 agentic 场景要求的情景记忆、迭代模态、交互推理。AgentVQA 的排名与 MMMU-Pro（ρ=0.67）、GPQA-Diamond（ρ=0.59）、ChartQA-Pro（ρ=0.44）仅中弱相关，实证了通用基准不能代理 agentic 能力。

Agentic 基准的在线/离线之分。在线基准（WebArena、AndroidWorld、CALVIN、BEHAVIOR-1K、BALROG 等）通过环境交互评测，捕捉非确定性动态，但昂贵且基础设施重；离线基准（AitW、ScreenSpot 系列、各空间基准等）大多领域专用、格式各异。AgentVQA 的定位是把 23 个离线源数据集筛选改造成统一格式，并用与在线基准 SpatialWorld 的强排名相关（域匹配对 ρ=0.895）证明自己可以当在线评测的低成本替身。论文附录 Table 4 完整列出了五域内在线/离线基准版图以及哪些被吸收进了 AgentVQA（带 + / ++ 后缀者）。

2.3 定位对比总结

三、问题定义

3.1 SCOPE：把「解释策略」抽象为「编译策略」

SCOPE 面对的具体场景是：给一条自然语言书写的复合策略（含条件、例外、计数、跨轮交互）和一份长输入（多轮对话或 agent 轨迹），输出裁决标签。它的核心洞察是一个视角转换——策略不是运行时被解释的 prompt，而是编译期被编译的规约（specification）。

形式化定义：给定自然语言策略 P、种子样本池 D₀（少量人工标注）、弱执行器 M_weak（关闭推理的次前沿模型），搜索一个程序 π，使其在「每个谓词都由 M_weak 回答」的条件下复现策略 P 的裁决。程序 π 由三类部件组成：

• 谓词（predicates）：自然语言分类问题，固定标签集（通常二元）；
• 提取器（extractors）：确定性函数，从输入返回值、片段或片段列表；
• 组合代码（composition code）：Python 函数，调用提取器选片段、对片段施加谓词、把标签映射为裁决。

目标是最大化 π 在策略上的得分 s(π, D)（单标签任务用准确率，多标签任务用 Jaccard），约束是推理时只用弱模型。类比关系很清晰：策略 ≈ 源代码，优化器 ≈ 编译器，谓词程序 ≈ 目标代码，弱模型 ≈ 廉价硬件。这个抽象的精妙之处在于把「策略服从性」从运行时的黑盒判断变成了编译期的可搜索对象——于是才能对它做反例引导的联合优化。

3.2 AgentVQA：把「Agent 能力」抽象为「行动前提的感知」

AgentVQA 面对的具体场景是：想知道一个 VLM 当 Agent 感知底座行不行，但在线评测太贵。它的核心洞察是：agentic 能力可以在离线意义上被定义为「行动选择、或目标导向交互所需的感知与推理能力」（论文引用 Bengio et al. 2025 的 agentic 任务定义），而这类能力中恰好有一部分可以转化为有唯一正确答案、可程序化判分的选择题——比如定位 UI 元素、判断动作后果、读懂游戏状态、推断 3D 空间关系。

形式化定义：构建一个五域平衡的选择题集合 B = {(v_i, q_i, o_i, a_i)}，每题有视觉输入 v、问题 q、含难负例的选项集 o、唯一正确答案 a；要求（1）题目保留源数据集的真实 agentic 场景语义；（2）模型排名与在线评测的排名秩相关；（3）错误分析可归因到具体感知子能力。这个抽象的精妙之处在于把「感知作为行动前提」与「感知作为描述目的」区分开——传统 VQA 里看懂是为了回答，agentic VQA 里看懂是为了行动，因此 UI 定位、跨帧状态追踪、3D 关系推断这些「行动前置技能」才成为测量的靶心。

四、问题解法

4.1 SCOPE：程序与数据共同进化的编译闭环

SCOPE 的解法是一个交替迭代的搜索循环（图 1），从「策略本身就是一个谓词」的单谓词程序出发：

（1）优化器（analyzer + decomposer）。analyzer 接收策略、当前程序、每个样本的预测/金标/理由/执行 trace。由于监督只存在于最终裁决，analyzer 通过反向回放归因失败：在记录的谓词标签上重放组合代码，找出「哪些标签本应不同才能产出金标裁决」，再检查那些调用实际收到的文本。每次失败被归因到谓词措辞未编码其子句、或组合代码误编码策略。修订建议必须锚定在策略的某个子句、定义或例外上——只靠样本里出现的某个短语来辩护的修订被排除，防止拟合样本池而非策略。decomposer 把建议当作提案，对照搜索历史（历史程序与得分、上轮修订、已试过无改进的方向）权衡决策；连续几轮不改进就回溯到最优程序并强制换方向，防止在相似程序间打转。搜索至 τ=0.98 或 K=8 轮终止，返回种子池 D₀ 上得分最高的候选。

（2）两级对抗生成器。优化对抗固定池会奖励拟合池子——池子里极少触发的策略条件可以被省掉而几乎不损失精度，且池子没有任何信号帮你找回来。SCOPE 因此让池子对抗性生长：

• systemic adversary（攻全局漂移）：读完整程序，生成让组合层整体遗漏或错路由某子句/例外/子句交互的输入；
• local adversary（攻局部漂移）：逐个检查单个谓词及其收到的 trace 输入，生成探测谓词措辞偏离子句的输入。

每条生成样本带一个预期标签和理由，教师（Claude Opus 4.8，盲标、不看预期）用完整策略独立打标，双标一致才入池——每条入库样本都体现了对策略的两次独立阅读。量上克制：每轮 systemic 最多 3 条、每谓词 local 最多 1 条，对抗样本丰富人工标注池而不淹没它。

（3）弱执行器闭环。搜索期间每次谓词调用都由弱执行器（如 gpt-5.4-nano，关闭推理、只返回标签）回答——程序只有在弱模型能执行时才能得高分，天然匹配部署设定。执行器答不动的谓词会被改写或拆分，因此程序结构自适应执行器能力：执行器越弱，谓词越多、越窄（论文图 3b）。每个裁决留下一条 trace（谓词调用序列、每次收到的确切文本、返回的标签），裁决因此可归因到具体谓词输出，而不是事后的解释。

附录 A/E 给了完整实例：Coaching 任务（审计一个自动 critic 对健身消息的评判）的程序先用 2 个确定性函数查字数/句数 rubric、5 个谓词查语义维度，第二阶段再用 2 个谓词审计 critic 引用的证据，组合代码是一棵终结于 Pass/Fail/Bug 的决策树。一个 systemic 反例暴露的缝隙很有代表性：组合代码对 sentence_count 维度只确认「违规存在」，从不验证引用的证据是否与消息相符——评估器伪造证据（说消息含三个分号连接的句子，实际是两个句号分隔），程序判 Fail，策略判 Bug。

4.2 AgentVQA：五段式人机协同流水线

AgentVQA 的解法核心是把「便宜但不可靠的自动化」与「可靠但昂贵的人工」按正确比例拼接：

Stage 1 候选收集：从 23 个源数据集（Web Agents 4 个、机器人 5 个、自我中心视频 5 个、游戏 4 个、空间规划 5 个）采样，覆盖截图、多帧轨迹、自我中心视频、游戏画面等模态。入选数据集要过五关：高 agentic 信号（选动作/预测下一步/评估动作序列后果/因果理解/策略规划，而非「车是什么颜色」式的被动 VQA）、域覆盖互补、可离线转换为唯一正确答案的 MCQ、公开可得且许可允许改写再分发、规模足够供人工筛选。

Stage 2 MCQ 化：非选择题的题目统一转为选择题。Gemini 2.5 Pro（在预备实验中与 GPT-4o、Qwen2.5-VL-7B 比较后胜出）基于视觉输入、任务提示、正确答案、动作历史和元数据（图像尺寸、坐标格式，grounding 任务还把正确位置用绿点渲染到图上）生成 3 个难负例，混合两类：near-miss（与正确答案空间上极近，考精度，如离正确按钮几像素的坐标）与semantically similar（概念相关，考区分，如正确答案是「平板」时给「手机」）。

Stage 3 VLM 辅助筛查：Gemini 与 Claude 多轮验证，标出歧义指令、标注不一致、多个可信答案、畸形状态、不可信干扰项，高召回地砍掉约 45% 候选。

Stage 4 人工修订：标注员逐条检查正确性、难度、多样性、agentic 相关性，再砍约 60%——歧义、标注错误、无效干扰项、不够难的都被拒；有希望的样本就地修复（改问题、改金标、改视觉输入、改选项）。附录图 4 展示了两类机器查不出的歧义：包围盒套住背景导致「点框内但没点中剪刀」也被判对；删账号的下一步操作既可以直接点 Lyft 图标也可以先开抽屉再点 Lyft，题目没要求最短路径就有两个可信答案。

Stage 5 二次人工验证：每道成题再过一遍人检，确保恰有一个正确答案、干扰项可信且明确错误，最终装配 1000 题（每域 200、每源 40-50）。全程只有约 22% 的初始候选存活。

两个关键的评测设计细节：其一，MCQ 格式消除了开放式 grounding 度量的 IoU 歧义——附录 H 论证了宽松阈值/大框会放过假阳性、严格阈值会惩罚对大元素的合法点击，而把连续坐标空间转成离散决策问题、用程序保证干扰项在真值框之外，就绕开了这个坑；其二，稳健性验证——选项顺序 5 次随机置换下 5 个代表模型平均准确率标准差仅约 1.9%，恒选某字母的策略得分 22%-28%（均值 25.0%），与四选一的理论随机基线吻合，说明排名反映的是能力而非位置偏置。

五、评估指标与实验证据

5.1 SCOPE 的指标体系与主结果

基准：四个来自真实 agentic 系统的任务——Coaching（174 样本，审计健身系统的自动 critic，嵌套审计挑战）、Escalation（371，客服对话中「同一未解决意图被重提≥3 次须转人工」的跨轮计数，基于 DynaGuard 改造扩展）、Plan（163，GAIA 研究代理全轨迹上判断研究计划有效性，45k 字符轨迹中证据只占几百字符的稀疏证据挑战）、Tile-match（163，金融仪表盘对话+屏幕瓦片列表的多标签匹配，每样本自定义标签空间，55 个「不指向任何瓦片」的难负样本）。

主指标：测试集准确率（Tile-match 用 Jaccard），3 次独立优化 × 3 次重复评测 = 9 次测量取均值。成本指标：每千样本推理美元数。稳定性指标：5 次重复中预测翻转的样本占比。

核心数据一（最弱执行器下的全面优势，表 2，gpt-5.4-nano 执行）：

12 个「任务×执行器」格中 SCOPE 拿下 10 格最高或并列最高；AFlow 仅在 Escalation 的 nano（0.86）与 mini（0.92）两格领先——且 AFlow 是唯一允许中间步骤要求推理的方法，本就占着能力优势。SCOPE 跨运行稳定性也更好：nano 上每任务标准差至多 0.03，Plan 与 Tile-match 上仅为 AFlow 的四分之一到三分之一。

核心数据二（能力层级压缩）：执行器从 nano 换到 flash，prompt 优化平均 +0.26，SCOPE 仅 +0.09。分解把策略表达成小模型可答的谓词后，准确率对执行器选择的敏感度大幅下降——这直接解释了为什么弱执行器下 SCOPE 优势最大（强模型本来就会，分解没有提升空间）。

核心数据三（跨执行器零成本迁移，表 3）：nano 上编译的程序不重优化直接跑在 5 个开源模型上（全部关闭推理），各模型平均提升 0.13~0.22；DeepSeek-V4.1-Flash 与 Qwen3-235B-A22B 达到与 gpt-5.5（高推理）、gemini-3.1-pro（动态思考）可比的准确率——DeepSeek 在两个任务上是所有模型最高、第三个任务第二。成本上（附录 C，表 5）：分解程序每千样本 $0.23-$1.49，gemini-3.1-pro 为 $6.88-$50.79，便宜 9-47 倍。

核心数据四（稳定性与可解释性）：Tile-match 上 5 次重复，DeepSeek-V4.1-Flash / Qwen3-235B 仅 5-7% 样本预测翻转，gpt-55 与 gemini-3.1-pro 分别翻转 37% 与 26%。每个预测可追溯到一组显式谓词输出。

消融（表 4，5 次独立优化运行）：去掉对抗生成，Coaching 0.839→0.783（p=0.033）、Plan 0.865→0.813（p=0.005）、Tile-match 0.782→0.744（p=0.045），Escalation 无显著变化——对抗反例对含复合结构与难负样本的任务贡献显著。

5.2 AgentVQA 的指标体系与主结果

主指标：1000 题上的 MCQ 准确率（各域 200 题）；排名指标：与外部基准的 Spearman 秩相关；诊断指标：五域错误模式分布。

核心数据一（天花板很低）：22 个模型中最佳 Gemini 3.7 Flash 仅 58.5%，第二 Gemini 3.1 Pro 55.7%。分层明显：最大闭源模型（GPT-5.6、Gemini 3.7/3.1）居首，Qwen3.7 Flash（55.0）与开源最强 Qwen3.8 27B（50.9）随后，小模型与上代模型垫底（最低 28.0，Llama-4-Maverick）。

核心数据二（域间差异巨大）：域均值上自我中心视频最好（59%）、游戏次之（51.5%）、空间规划 46%、机器人 38%、Web Agents 最差（29%，仅 3 个模型超过 40%）——当前 VLM 擅长时间上下文化的视觉理解与游戏状态推理，弱在精确 GUI grounding 与空间推理。游戏域极差最大（23%-70%），说明策略性推理只在最强模型中出现。无一模型全域称霸：Gemini 3.7 Flash 领跑游戏（70%）与空间规划（62.5）和机器人（52.5），但 Web Agents 输给 GPT-5.6-sol think-high（40.5 vs 47.0），自我中心视频输给 Qwen3.7 Flash（67.0 vs 72.5）。

核心数据三（开源追赶）：闭源第一（58.5）领先开源第一 Qwen3.8 27B（50.9）7.6 分；Kimi K3（48.3）、Qwen3.5 35B（47.9）等多个开源模型反超 Claude Opus 4.8（44.0）与 Sonnet 5（43.4）。

核心数据四（推理与动作历史的效果不均）：GPT-5.6-sol 开 thinking-high 比 none 高 16.8 分（55.0 vs 38.2），但 GLM 4.1V 开 thinking 反而更差——分析发现其陷入「思维循环」（附录 J 给了实例：模型反复输出 The person then places another triangle next to the circle and the triangle 而无进展）。动作历史消融：5 个模型在 AitW / MONDAY 上去掉历史分别平均降 9.5% / 10%，多步任务确实需要历史上下文，但历史也补不平整体差距。

核心数据五（排名相关性——基准有效性的关键证据）：与在线基准 SpatialWorld 的 12 个共享模型比较，AgentVQA 空间规划域对 SpatialWorld Physical 轨道 ρ=0.895（p=8×10⁻⁵）——离线排名复现在线排名；而与 MMMU-Pro 仅 ρ=0.67、GPQA-Diamond ρ=0.59（对比中无一模型保住排名）、ChartQA-Pro ρ=0.44——通用基准排名不能预测 agentic 能力。其他域与 SpatialWorld 相关较低，作者如实指出这说明单一数据集不能代理整体 agentic 性能，跨域能力要分域看。

核心数据六（错误模式定位瓶颈）：对 Gemini 3.1 Pro 错误的半自动归因（人工验证 100 例）显示五域共享同一弱点在不同域的不同表现——Web Agents 78% 是 grounding 错误（懂目标但定位不到 UI 元素）；机器人 65% 空间混淆；空间规划 62% 视角缺口（识别了物体但构不出 3D 关系图）；游戏 71% 视觉误读（读错状态而非用错规则）；自我中心视频中运动误感知 39%、感知缺口 29%、空间混淆 15%。误解目标、答案与推理不一致之类的失败极少——失败发生在高层规划之前的感知、grounding 与状态构建阶段。

实验设计如何支撑主张：作者的论点是「agentic 感知是可离线测量的独立能力维度」。支撑链是三段式的：排名与通用基准弱相关（证明测的是别的东西）→ 排名与在线基准强相关（证明测的东西是真的）→ 错误归因集中于状态构建（证明测的东西有诊断价值）。这三环缺一不可，而论文把三环都补齐了。

六、效果优势的根源解释

6.1 SCOPE：为什么「编译而非解释」结构性更优

因果链一：表达力来自「组合即代码」→ 真实策略结构可被完整编码 → 复合任务准确率优势。规则/布尔/清单形式无法表达「下一个问题依赖上一个答案」「对提取的片段计数」「运行时选择区域再检查」，这些恰恰是真实策略的常见结构。Escalation 需要「每轮与之前各轮语义比较后计数」——SCOPE 的组合代码可以用提取器切轮、用同一谓词循环施加于各轮、用代码精确数数（论文明确指出计数和阈值由确定性提取器精确计算而非模型估计）；受限形式只能让单模型一次性消化。这解释了 Coaching（嵌套审计）、Plan（稀疏证据需先定位）、Tile-match（动态标签空间需枚举候选）上的大幅领先，也解释了为什么 CheckEval/RLIE 只在两个二元任务上可用。（论文实验已支持）

因果链二：抗偏来自「对策略而非固定数据优化」→ 程序偏离策略处持续被打击 → 消融显著差。固定池优化下，池中罕见的策略条件可被省略而无精度损失；对抗反例专门生成「程序与策略可能不一致」的输入，把监督质量集中到程序错误处——这是反例引导程序合成思想在 LLM 策略上的翻版，验证器是读策略的强教师而非可靠的求解器（牺牲形式保证换取适用于任何自然语言策略）。消融数据（去对抗后三个任务显著掉点）直接验证了这条链。（论文实验已支持）

因果链三：弱执行器闭环 → 谓词自然适配小模型能力边界 → 能力层级被压缩 + 程序可跨模型迁移。搜索期间谓词一直由目标部署能力的弱模型回答，答不动就拆得更细（图 3b：执行器越弱谓词越多）。最终程序由「小模型答得动的窄问题 + 确定性代码」组成，所以换执行器带来的提升从 +0.26 压到 +0.09，且 nano 编译的程序在 5 个开源模型上平均 +0.13~+0.22 零成本迁移。这里有一个值得强调的机制细节：谓词必须自包含（执行器看不到策略，谓词要自带定义、范围、例外），这迫使每个子问题被写成窄而清晰的分类题——恰好是小模型的舒适区。（论文实验已支持；「窄问题天然适配小模型」的机制解释部分属于阅读者推断，论文用现象佐证但未单独做机制实验）

因果链四：确定性组合 + 窄分类 → 预测稳定性。5-7% vs 37%/26% 的翻转率差异，源于裁决由「多个窄分类 + 确定性代码」产生，而非单次长上下文生成——采样随机性被限制在窄问题的标签选择上，组合层无随机性。（论文实验已支持；稳定性来源的机制归因属合理推断）

反事实检查：SCOPE 可退化为 prompt 优化——搜索以单谓词初始化且保留最高分候选，分解无益时单谓词就是可达结果；实测 gemini-3.5-flash 上的 Coaching 收敛到单谓词（0.87→0.93）。这说明增益确实来自「分解有帮助时才分解」，而非搜索偏置。

外部检索对照（SCOPE）

在本次检索范围内未发现与 SCOPE「程序+对抗数据共同进化」闭环直接同类的工作（AFlow 等程序搜索方法是论文自己的 baseline 且对静态数据优化）；也未发现指出「神经符号分解有害」的相反结论——但注意 SCOPE 基准为自建、样本 163-371 偏小，且作者自认正确性依赖教师模型对策略的解读而非形式验证，教师读错则程序跟着错，这是整个方法无法自证的上界。

6.2 AgentVQA：为什么「感知状态构建」是瓶颈而非巧合

因果链一：通用 VQA 训练不含「行动前提」的感知结构 → agentic 感知成为独立能力维度 → 排名与通用基准弱相关。MMMU-Pro/GPQA/ChartQA 的题目把视觉理解当目的，agentic 感知要求把视觉理解当行动的前提——UI 定位精度、跨帧状态追踪、3D 关系推断在通用基准中几乎不被测量。ρ=0.44-0.67 的弱中相关、GPQA 对比中无一模型保住排名，是这条链的直接证据。（论文实验已支持）

因果链二：MCQ+程序化保证的难负例 → 测量的是精细感知而非选项猜测 → 低天花板有诊断意义。near-miss 负例（几像素外的坐标）与语义近似负例（平板 vs 手机）迫使模型展示细粒度理解；恒选字母 25% 的随机基线与全部 22 个模型高于 28% 的事实，排除了「分数只是位置偏置」的解释；5 次置换 σ≈1.9% 排除了排序不稳健。因此 58.5% 的天花板反映真实能力缺口而非测量噪声。（论文实验已支持）

因果链三：五域统一 → 同一模型跨域能力分化可见 → 「单一 agentic 能力」假设被拒。游戏域极差 23%-70%、无一模型全域称霸、开源模型在部分域反超闭源——如果 agentic 能力是单一通用能力，应该看到一个近似一致的排序；实际看到的是能力组合，这支持论文「域特定课程学习」的建议。（论文实验已支持）

因果链四：错误归因集中于感知/grounding/状态构建 → 瓶颈在「构建并维持演进的视觉状态」→ 指向明确的改进靶点。78% 的 Web Agents 错误是 grounding、71% 的游戏错误是视觉误读、65% 的机器人错误是空间混淆、62% 的空间规划错误是视角缺口——误解任务（如 Goal Misunderstanding 1%-2%）与逻辑崩坏极少。模型「知道要做什么、也能对感知到的东西推理」，缺的是把当前画面/帧序列变成正确世界表示的能力。（论文实验已支持；需注意归因对象是 Gemini 3.1 Pro 单模型的错误样本，向全体模型外推属于阅读者推断，论文附录也建议对更多模型做同类分析）

外部检索对照（AgentVQA）

在本次检索范围内未发现质疑「感知状态构建是 agentic VLM 主要瓶颈」这一结论的相反证据；GUI-Primitives、GUI-Perturbed、ScreenHaystack 三项独立工作从不同方法论出发收敛到同一诊断，构成较强的多源交叉验证。需标注的推测：错误模式分析仅覆盖 Gemini 3.1 Pro，且五域各 200 题的规模下单域结论的置信区间有限（论文用平衡设计与置换检验部分缓解）。

6.3 综合判断与未决问题

得到多项研究共同支持的机制：(1) LLM 单体裁判的不稳定性是跨研究共识（SCOPE 引用的多项工作 + Policy Invariance + 工业界审计实践），因此「确定性组合 + 窄分类」带来的稳定性增益有坚实前提；(2) GUI/agentic 场景中 grounding 与状态构建是主要失败模式，已有四项独立研究（AgentVQA、GUI-Primitives、GUI-Perturbed、ScreenHaystack）从评测、诊断、扰动、探针四个角度收敛。

仍属合理猜测或单源支持的机制：(1) SCOPE「弱执行器闭环导致程序天然适配小模型」的机制解释——现象（执行器越弱谓词越多、能力层级压缩）可靠，但中间的因果细节是推断；(2) AgentVQA 错误模式向 22 个模型全体外推——仅基于单模型错误分析。

优势成立的前提与失效条件：SCOPE 在策略可被教师模型可靠解读时成立——策略本身极度依赖隐性上下文、或教师与策略撰写方理解分歧时，编译会把错误固化并批量放大；其基准自建且规模小（163-371），跨到更大规模真实策略的方差未知。AgentVQA 在「离线可转 MCQ 且有唯一正确答案」的能力子集上成立——动作执行、反馈恢复、长程信用分配不在其测量范围；与 SpatialWorld 的强相关也仅在域匹配对上验证（ρ=0.895 是空间规划 vs Physical），其他域相关较低，单一总分不可当整体 agentic 能力的代理。

七、必要知识反推

假设让一个完全没有相关知识的人重做这两项工作，最少需要掌握什么？

7.1 领域知识层

SCOPE 侧：

• 策略执行的现实形态——必须知道现代策略是「条件+例外+计数+交互」的复合体、判断对象是多轮转录/agent 轨迹、且证据只占上下文一小部分。不理解这一点就无法设计 Coaching/Escalation/Plan/Tile-match 这样的任务组合（每个任务恰好踩一个不同的复合结构痛点）。
• 各类裁判方案的真实失效模式——微调 guardrail 的容量天花板、LLM-as-a-judge 的方差随子句数上升、推理模型过了复杂度阈值会崩塌而非穿过去。不知道这些就找不到「表达力 × 成本 × 一致性」三角的破局点。
• 神经符号程序的能力边界——哪些结构受限形式表达不了（条件调用、跨片段计数、运行时选区域），否则无法论证「组合必须是代码」。

AgentVQA 侧：

• agentic 任务的形式化定义（观察环境、在环境中行动以达到目标）与「感知作为行动前提 vs 感知作为描述目的」的区分——这是整个基准构造的观念地基。
• 五个域各自的感知挑战清单（GUI 导航、第一人称时间扩展理解、具身感知与动作、策略决策、3D 空间规划），以及 23 个源数据集的版图与各自的噪声模式（包围盒歧义、多可信下一步动作等）。

7.2 方法论知识层

• 反例引导的程序合成（counterexample-guided synthesis）传统——SCOPE 的对抗循环直接承袭此谱系，差异在于验证器是强模型读策略而非可靠求解器。不知道这个传统就想不出「程序与数据共同进化」的闭环。
• 自动课程学习与红队——监督质量应集中在模型当前弱点上的思想；人工写对抗样本（Adversarial NLI、Dynabench）与自动红队的方法谱系。
• prompt 优化与工作流搜索基线（DSPy/GEPA/MIPROv2、AFlow）——必须知道现有优化器优化什么、不优化什么，才能定位「对策略本身优化」的空白。
• 基准构造方法论——MCQ 化与难负例设计（near-miss vs 语义近似）、人机协同筛选的漏斗设计、位置偏置与随机猜测的排除、秩相关作为基准有效性证据的用法（AgentVQA 用 SpatialWorld 外部锚定）。
• 评测稳健性统计——选项置换的方差检验、恒选基线、Spearman ρ 的使用与解读。

7.3 工程知识层

• Agent SDK 的文件访问模式——SCOPE 让核心模型从磁盘按需读长记录、通过编辑种子生成超长样本，这是实现 45k 字符轨迹任务优化的工程前提。
• 多标签/动态标签空间的评测实现——Jaccard 计算、按样本枚举候选的组合代码写法。
• 跨模型 API 评测的格式适配——AgentVQA 要为坐标类选项适配各模型原生坐标约定（Gemini 归一化 [0,1000] (y,x)、Qwen 绝对像素），否则 grounding 类题目会因格式错位产生系统性假错误。
• 答案抽取的防御性解析——正则回退链 + 无法唯一识别时标记未评而非猜测。

7.4 知识融合的关键节点

两篇论文各自的「化学反应点」：

• SCOPE 的融合节点是把编译器思想接到策略执行上：反例引导合成（PL 社区）+ 课程学习（ML 社区）+ LLM 程序搜索（Agent 社区）三股知识在「策略是规约、程序是编译产物、对抗数据是编译反馈」这一个洞察上合流。单独任何一股知识都做不出这个闭环。
• AgentVQA 的融合节点是把「基准有效性」本身当作被验证的对象：基准构造知识（漏斗筛选、难负例）与心理测量学式的效度验证（外部锚定秩相关、内部一致性检验）在「离线基准必须证明自己与在线评测等价」这一点上合流。多数基准论文只做前者不做后者，这正是 AgentVQA 的 ρ=0.895 如此有说服力的原因。

八、论文中可以提取的通用性灵感

灵感一：规约编译范式——把「运行时解释」变成「编译期固化」。 核心思想：凡是每次执行都要重新理解同一份自然语言规约（策略、rubric、合同、评审标准）的系统，都可以把理解成本一次性支付在编译期，产出可反复确定性执行的程序。论文证据：SCOPE 编译后的程序在弱模型上达到前沿推理模型可比准确率、成本低 9-47 倍、翻转率 5-7% vs 26-37%。推广场景：代码评审规范自动编译为检查流水线；法律合同条款编译为合规判断谓词程序；客服 SOP 编译为工单路由决策树；数据质量规则编译为数据管道断言；论文评审 rubric 编译为可执行的逐项打分程序。

灵感二：能力闭环原则——优化时的执行环境必须匹配部署时的执行环境。 核心思想：在搜索/训练时就用目标部署能力的弱组件执行，结构会自动适应能力边界（弱执行器 → 更多更窄的子问题），产物因此天然可迁移。论文证据：弱执行器下程序谓词更多；换最强执行器 SCOPE 只 +0.09 而 prompt 优化 +0.26；nano 编译程序零成本迁移 5 个开源模型 +0.13~+0.22。推广场景：模型蒸馏时用学生模型的能力信号决定教师知识的切分粒度；边缘设备部署前用目标硬件精度的量化感知训练；小模型 agent 的工具封装设计按小模型的失败模式迭代；多 agent 系统中让下游 agent 的消化能力约束上游的输出粒度。

灵感三：双层对抗——全局漂移与局部漂移要分开打击。 核心思想：复杂系统的错误有两个层级（部件措辞漂移 / 组合结构遗漏或错路由），单一对抗者难以兼顾，两级专门化的反例生成 + 双盲标注（生成者带预期标签、教师盲标、一致才入库）能把监督质量压到真正的偏离处。论文证据：消融中去掉对抗生成三个任务显著掉点（p<0.05）；附录 E 的 fabricated evidence 反例精确暴露组合分支缝隙、refined intent 反例暴露谓词边界理解偏差。推广场景：安全审计同时攻击单条规则语义与规则组合逻辑；red-teaming 多 agent 系统时区分单体提示注入与协作协议漏洞；编译器测试区分词法 bug 与优化 pass 组合 bug；教学系统分别针对概念误解与方法组合错误出题。

灵感四：测量前先验证测量仪器——基准也要有效度证明。 核心思想：一个新测量工具（基准/指标/评审系统）在投入使用前，应先证明它与外部金标准一致（效度）、对无关扰动不敏感（信度）、且能产出可行动的诊断（效用）。论文证据：AgentVQA 用 SpatialWorld ρ=0.895 锚定效度、用选项置换 σ≈1.9% 与 25% 随机基线锚定信度、用五域错误归因锚定效用。推广场景：企业自建 LLM 评测集先与人工评审对比秩相关再上线；A/B 测试指标先验证对样本顺序不敏感；自动代码评审工具先对照资深工程师标注校准；奖励模型先用留出验证集确认与人类偏好对齐。

灵感五：瓶颈诊断要看「失败发生在哪一层」，而不是总分。 核心思想：性能差距的归因价值远高于总分——先建立失败模式分类学，再统计分布，让「分数低」变成「某一层能力缺失」。论文证据：五域错误集中于感知/grounding/状态构建（78%/71%/65%/62%），任务误解仅 1%-2%，因此结论是「改进靶点是感知与状态构建，而非更强的规划器」；外部四项独立研究收敛到同一诊断。推广场景：学生错题按「概念缺失/方法错用/计算失误」分层归因；模型部署前按「检索失败/排序失败/生成失败」分解 RAG 错误；机器人系统按「感知/规划/控制」分层统计失败；SRE 把服务故障按层归因而非只看可用性总分。

灵感六：确定性组件吃确定性任务——不要让神经网络数数。 核心思想：任务分解时把「语义判断」留给模型、把「精确计算」（计数、阈值、格式检查、集合运算）交给确定性代码，各得其所。论文证据：SCOPE 的 word_count/sentence_count 由提取器精确计算，Escalation 的重提次数由代码计数；AgentVQA 的 grounding 干扰项由脚本验证坐标在真值框外。推广场景：审批流中金额阈值判断用规则引擎而非 LLM；视频分析中「出现次数」用检测器+计数器而非端到端生成；文档抽取后用 schema 校验器做格式检查；多轮对话状态机用代码管理轮次而让模型只判断语义等价。

结语（附：两篇论文一句话核心结论）

• SCOPE：把自然语言策略当作规约来编译而非当作 prompt 来解释——弱模型答谓词 + 确定性代码做组合 + 对策略本身的对抗式联合优化，让策略执行同时拿到表达力、低成本、稳定性与可溯源性（12 格中 10 格最高、成本低 9-47 倍、翻转率 5-7%）。
• AgentVQA：agentic 视觉理解是可离线测量、且必须分域测量的独立能力维度——22 个模型最高仅 58.5%、与在线评测域匹配秩相关 0.895、错误六到八成集中在 grounding 与视觉状态构建，证明当前 Agent 的短板不在「想」而在「看」。

一个系统要被信任，它的裁判必须可复现（SCOPE 的贡献），它的眼睛必须先被证明可靠（AgentVQA 的贡献）。两篇论文放在同一天读，会看到同一个判断的两面：Agent 的可靠性问题，一半在策略执行的确定性，一半在感知基座的可测量性——而这两半都不能靠更大的模型自然解决。