论文一：LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets 代码：github.com/RaymondVoldemortFu/LiveMACE 论文二：AgentTime: Can Agents Estimate and Control Their Own Runtime? 代码：github.com/michaelofengenden/agenttimebench（运行数据：agenttimebench.com） 论文三：Agent in a Bottle: Can LLM Agents Turn Their Capabilities into Cheap, Scalable Artifacts? 代码：github.com/aktsonthalia/bottled（MIT License） 发表时间：2026 年 10 月（三篇均于 10 月 6–8 日提交 arXiv） 机构：LiveMACE——新加坡国立大学（通讯）+ 复旦大学（主力 12 人）+ 悉尼大学；AgentTime——MATS + ELLIS 图宾根研究所 / 马普智能系统研究所；BOTTLED——图宾根大学 + ELLIS 图宾根 / 马普智能系统研究所 + 巴黎综合理工学院（CNRS）+ KAIST AI 领域标签：cs.AI / cs.CL / cs.MA（LLM 智能体评测基准）

三篇论文是同一周出现在 arXiv 上的"Agent 评测基准"新作，各自瞄准一个此前几乎没有基准测量过的维度：LiveMACE 测"过程"而非"结果"，AgentTime 测"时间"而非"任务"，BOTTLED 测"把能力固化成廉价工件"而非"单次解题"。把它们放在一起读，能看到 Agent 评测正在从"分数排行榜"转向"能力诊断学"的整体转向。

一、论文背景

1.1 三个概念：Agent 评测在测什么

Agent 评测基准（benchmark） 是给 LLM 智能体出的标准化考卷：固定的任务集、统一的脚手架（harness，即运行 Agent 的基础设施——CLI 工具、沙箱、评分器）、量化的分数。SWE-bench 测修代码，OSWorld 测操作电脑，GPQA 测答难题。但这类考卷有一个共同盲区：它们只看最终答案对不对，不看过程、不看资源、不看时间。

为什么会成为问题？因为 Agent 正在从"一次性答题"走向"持续运行"：7×24 小时盯盘的交易智能体、一次跑几天的自动科研流水线、要处理数百万条重复请求的批处理系统。在这些场景里，决定成败的不再只是"会不会做"，还有"过程是否可控"、“时间是否可控”、“成本是否可控”。三篇论文分别补上了这三块空白：

• LiveMACE 的动机：金融 Agent 评测（如 InvestorBench、Alpha Arena）普遍以收益排名论英雄，但市场是持续演化的开放环境，收益是 Agent 行为与市场状态闭环交互的产物——牛市里躺平也能赚钱，能力高低被市场涨跌掩盖。
• AgentTime 的动机：真实部署中用户会说"花一个小时仔细查"。如果 Agent 十分钟就提前交卷，或者三天才交，都是违约。但没有任何基准测量过"Agent 能否按要求工作指定时长"。
• BOTTLED 的动机：用 GPT 处理一个 477 万条的商品属性抽取任务，逐条调用要花 1.7 万美元。正确做法是把通用能力"装瓶"——自己标注一批数据、蒸馏一个小模型或写一个可复用程序。这种"前期投资换批量摊销"的元决策能力，零样本分数完全测不出来。

1.2 一句话预览三篇的核心发现

二、论文定位和关联工作

三篇论文在谱系上分别接续三条线，但共享同一个批评对象——结果中心主义（outcome-centrism）的评测观。

2.1 LiveMACE：金融 Agent 基准的"过程转向”

前序工作分两支。回测型基准：InvestorBench（arXiv:2412.18174）在历史数据上评估 13 个 LLM 的交易决策，用累计收益与夏普比率排名；实盘型竞技场：Alpha Arena、Agent Market Arena、AI-Trader 让 Agent 在实时市场中竞争，同样以收益为主要指标。LiveMACE 指出两者的共同局限：以交易表现为主要评测对象时，市场条件成为不可控混淆变量。它的突破是配对配置差分 + 轨迹级诊断指标——评测对象从"哪个模型赚钱多"变为"哪个模型的工具用得好、记忆用得对"。

方法学上的远亲是过程监督：Let’s Verify Step by Step（arXiv:2305.20050）证明训练时给每步推理打分优于只给最终结果打分。LiveMACE 把同样的直觉搬到评测侧：测过程比测结果更能区分能力。

2.2 AgentTime：时间感知基准的"控制转向"

此前时间类基准只测"感知"不测"控制"：TicToc（Temporally Blind）测 Agent 是否考虑信息新鲜度，Can LLMs Tell the Time 测能否读时钟，Discrete Minds 测对时长的直觉，BATS 测人类式的时长估计偏差。AgentTime 的差异是三重的：首次测时长遵从（duration-following，按要求工作 N 分钟）；首次在原生 harness（Claude Code、Codex CLI）里测多小时级墙钟时间（此前最多测到分钟级）；首次用 harness 交换消融把"模型能力"与"脚手架贡献"分离。

另一条相关线是 METR 的时域研究（arXiv:2503.14499）——用"50% 任务完成时域"衡量 AI 能做多久的人类任务，发现时域每 7 个月翻倍。METR 测的是"能做多久"，AgentTime 测的是"能否按要求做多久"，两者互补：前者是能力的上限，后者是对自身资源分配的控制力。

2.3 BOTTLED：从"逐次推理评测"到"自主工程评测"

成本优化是一条成熟线：FrugalGPT（arXiv:2305.05176）用 LLM 级联在查询时动态选便宜模型，省 98% 成本；模型蒸馏（Hinton et al., arXiv:1503.02531）用大模型标注数据训小模型是十年经典。但这些都是人类工程师执行的方案。BOTTLED 的根本差异在于把整条决策链交给 Agent：要不要投资、投资多少、用什么方案（标注蒸馏 / 写程序 / 混合路由）、预算怎么分配、何时停止——评测对象从"模型输出质量"变成"模型作为工程师的决策质量"。与之最接近的是 SWE-bench 类自主工程评测，但那些任务里"每题只做一次"，没有百万级摊销结构。

2.4 定位总结

三篇合读的定位：它们共同把评测的显微镜从"任务成功"移到了"元能力"上——过程质量、时间控制、资源投资决策。

三、问题定义

三篇论文面对的具体场景不同，但抽象出的问题结构惊人地一致：当被测量的量是"能力"本身，而可观测的量是"能力与环境交互后的产物"时，如何设计测量？

3.1 LiveMACE：把"能力"从"结果"中剥离

• 具体问题：哪个交易 Agent 的工具使用能力更强？
• 困难：收益 = f(能力, 市场状态)。市场状态不可控、不可重复，收益随时间大幅波动。
• 抽象：给定智能体在演化环境中的完整决策轨迹 $\tau$ 与最终结果 $R$，构造能力指标 $C(\tau)$ 使其 (a) 与机制使用直接挂钩（证据链短）、(b) 时间上稳定（不受环境状态混淆）。形式化地说，就是寻找 $C$，使得 $\text{Var}_t(\text{rank}(C)) \ll \text{Var}_t(\text{rank}(R))$。
• 精妙之处：不消除市场噪声（不可能），而是换测量对象——从"闭环输出"换成"开环过程中的机制使用行为"。这个抽象的合理性强：工具调用的有效性、记忆检索的采纳率，本来就发生在市场反馈之前。

3.2 AgentTime：给"时间控制"建立可分解的技能模型

• 具体问题：让 Agent 工作一小时，它实际干了多久？
• 抽象：把"运行时自我管理"分解为三项独立技能——duration-following（给定目标时长 $T$，实际运行 $T'$ 落入 $[0.95T, 1.05T]$ 的比率）、forecasting（先验预测自然运行时长）、retrospection（后验估计已耗时）。约束：在原生 harness 中、指令只附加于 prompt 末尾、不修改 benchmark 原生时限。
• 精妙之处：三技能分解使得"完成任务"与"控制时间"可以交叉分析——一个 Agent 可以任务满分但时长失控，反之亦然。这直接推翻了"任务成功蕴含时间可控"的隐含假设。

3.3 BOTTLED：把"能力"定义为"可固化的资本"

• 具体问题：477 万条属性抽取，Agent 能便宜搞定吗？
• 抽象：给定无标注工作负载 $W$（数百万实例）、时间预算 $B_t$（10 小时）、token 预算 $B_k$（500 万加权 token）与算力（单张 A100），Agent 自主选择策略 $\pi \in \{$标注蒸馏、写程序、混合路由$\}$，产出全量输出。度量两个量：质量 $Q(\pi(W))$ 与成本 $c(\pi)$。装瓶能力 = 在 $(B_t, B_k)$ 约束下同时最大化两者的能力。
• 精妙之处：这个定义天然区分了两层能力——“每题做对”（零样本分数可测）与"把做题能力转化为可摊销资产"（只有装瓶实验能测）。两者的分离度就是基准的测量分辨率。

四、问题解法

4.1 LiveMACEBench：配对配置 + 轨迹诊断

类比：像临床试验的双臂设计——同一批病人（同一模型）随机分入试验组（某机制开启）与对照组（机制关闭），药效就是组间差。

具体构造：

• 环境：实时加密货币（6 种）+ 美股模拟盘（17 只），共 23 个资产；初始资金 $10,000；4 小时一轮决策，持续 30 天（2026.4.13–5.13），轨迹不可重置。
• 五配置配对：五个前沿模型（GPT-5.4、DeepSeek-V3.2、Gemini-3.1-Pro、Grok-4.20、Qwen3-Max）跑在同一 ReAct 脚手架上，各有 Base / 工具使用 / 持久记忆 / 规则遵循 / 多智能体协作五种配置。工具配置下候选空间 305 个工具（10 个 Base + 295 个 APIVerve），由 select_tools 元工具路由。
• 三信号评测：
  1. 任务结果：累计收益、最大回撤、尾部损失；
  2. 受控机制效应：配对配置差分（如 Multi-Agent 减 Base 的 ΔR）；
  3. 机制专有诊断：从完整决策轨迹导出——工具用 TCS（judge 分 + 客观 trace 指标如 VCR 有效调用率、RQ 路由质量），记忆用 MCQ/MUQ，规则用 HPR/RSS/RAS，协作用 RD/EI/OCS。Judge 用 Qwen3.5-397B-A17B（每模型 170 条轨迹）。

这套设计把过去混为一谈的三个量拆开：机制可用（配置开着）、有效使用（轨迹诊断）、实际收益（结果）。

4.2 AgentTime：三技能 × 交叉归因

类比：像考察一个员工"让他干一小时他干一小时吗、让他估工期他估得准吗、问他刚花了多久他说得清吗"——三项技能，一套考场。

具体构造：

• 任务池：222 个任务取自 18 个 benchmark 家族（GPQA、HLE、OSWorld 2.0、Terminal-Bench 4.0、ProgramBench、CORE-Bench、ALE-Bench、METR 等），覆盖问答 / 编码 / 计算机使用 / 自动科研。关键决策：在原生 harness（Claude Code、Codex）中以原生评分运行，移除各 benchmark 原生时限——因为真实部署里时限是用户指令而非基准内置。
• 时长指令：附加于 prompt 末（“请整整工作 N 分钟”），每任务 3 档请求（约 1.25 分钟至 60 小时）各一次全新运行；沙箱外单调计时器计时。主实验 1,991 次运行（每 agent 659–666 次）。
• 归因消融一（harness 交换）：Fable 5.1 ↔ Codex、GPT-6 Astra ↔ Claude Code 交叉运行（经 OpenRouter），分离模型与 harness 的贡献。
• 归因消融二（retrospection 五条件阶梯）：Oracle（有计时工具）→ Native → Context-only → Replay（重建 transcript）→ Scrubbed（剥离全部时间线索），定位事后估计的依据来源。

4.3 BOTTLED：统一约束下的自主工程

类比：像给新入职的工程师一个外包项目：预算 10 小时 + 500 万 token + 一张 A100，需求文档是全量工作负载文件，交付物是完整 out.txt——怎么干你自己定。

具体构造：

• 统一 harness：OpenCode（所有模型同一脚手架，排除 harness 干扰）；单张 A100 40GB、8 CPU、64GB RAM；可自调 API、可上网（代理屏蔽标签泄漏源）。
• 预算设计：时间 10 小时 + 500 万加权 token（成本按 $c = t_{in} + t_{cache}/10 + 2t_{out}$ 折算，模拟真实推理成本结构）。预算耗尽前必须写出全量 out.txt。
• 公平的 baseline：零样本基线只抽 1,000 实例估价（全量太贵）；蒸馏基线用同样 500 万 token 让 GLM 5.3 Flash 标注（MAVE 12,765 / ESCI 9,412 / RAID 6,567 条），按公开配方训 Qwen3-0.6B 与 SmolLM2-360M 两个学生模型。
• 任务：MAVE（477 万属性抽取，F1）、ESCI（262 万查询-商品相关性，macro-F1）、RAID（562 万 AI 文本检测，AUROC）；10 模型 × 3 任务 × 2 runs。

五、评估指标与实验证据

5.1 LiveMACE：用排名稳定性证明"能力指标更可信"

主指标：成对排名反转次数。30 天内逐日计算五个模型的排名序列，统计相邻观测点间发生逆转的成对次数。这是全文最具证明力的实验设计——如果收益排名确实被市场噪声主导而能力排名反映真实差异，那么前者的反转次数应显著高于后者：

（分母为可比成对数，因各配置可比组合不同而异。）结论一目了然：收益排名平均每周反转 5–7 次，能力排名几乎不动。这个对比为什么能证明论点？因为它同时排除了两个替代解释：不是"能力指标恰好也波动"（0–8 次的反转就是波动水平的直接测量），也不是"模型间没有真实差异"（能力排名区分度良好且稳定）。

机制诊断指标（各自衡量什么能力）：

• 工具使用：TCS 综合分 GPT-5.4 最高（0.894）。分解后发现 IE（信息整合）是所有模型的共同短板（0.581–0.731）；Qwen3-Max 的 RQ 最低（0.736）但 VCR 接近满分（0.978）——“发现该用什么工具"与"把调用执行对"是两种可分离的失败模式。
• 记忆：GPT 检索 332 次却只存 1 条（MCQ 0.978 但停滞）；Gemini 存 93 条但 MUQ 最低（0.497）；Grok 只存 12 条却 MUQ 最高（0.855）——存量与用得好坏完全脱钩。5/5 模型开启记忆均降低尾部损失。
• 规则遵循：DeepSeek 与 GPT 收益几乎相同（+5.765% vs +5.738%）但 HPR 差 20 个百分点（0.877 vs 0.682）——结果相同、合规性天差地别。共同执行瓶颈是 R1-02 单资产集中度规则（GPT/Qwen 触发率 31/36 次）。
• 多智能体：三个模型收益上升（GPT +2.45pp、DeepSeek +3.72pp、Gemini +2.57pp），Qwen 反降 4.39pp；全部模型最大回撤与尾部损失恶化。GPT 的 RD=0.012——多智能体配置退化成单角色工作流，收益却照样涨。

对照基线：确定性网格交易策略（5 档网格 × 1% 间距 × 80% 资金）作为可复现的主动交易参照——主动交易本身有利可图，从而排除"只有 Agent 能赚钱"的混淆。

5.2 AgentTime：三个实验回答三个问题

实验一：duration-following。

（准点 = 0.95–1.05× 请求时长。）斜率是关键指标：请求放大 16 倍时，实际运行时长 Astra 增至 12.1×、Sol 5.0×、Fable 仅 1.9×。Fable 呈现类 Vierordt 律——短请求超时 79%、长请求早退 89%，行为像"干完就停、需要多久就干多久”，对时长指令几乎完全脱敏。

准点 ≠ 工作：158 个可分类的 Astra transcript 中，14 次显式 sleep（9%）、74 次只是反复复查旧工作（47%）——“守时"部分靠凑时长实现。更强的问题在于：16 倍的更长请求只让 23–25% 任务的原生分数提升——多给时间≠做得更好。

实验二：forecasting。预测系统性高估（Sol 83% / Astra 66% / Fable 63% 的预测偏高；偏差 Sol 3.8× / Astra 2.9× / Fable 2.6×；三者预测中位数都是 15 分钟，实际中位 13/10/6 分钟）——与人类的 planning fallacy（计划谬误，系统性低估工期）方向相反。

实验三：retrospection 五条件阶梯。有时间线索时近乎精确（1.0–1.3×）；Scrubbed 剥离全部线索后 Sol 恶化到 5.38×、Fable 2.58×、Astra 2.62×。结合 Claude Code 研究中可见事件数与运行时长的相关（r=0.91），结论：Agent 没有"内部时钟”，事后估计靠数 transcript 里的时间线索。

总成本约 $93,000、约 1,700 agent-hours——这也说明了为什么此前没人做过多小时级原生 harness 实验。

5.3 BOTTLED：以"低于零样本 CI"为主判据

主指标：装瓶得分是否落入该模型零样本 95% 置信区间（零样本基线抽 1,000 实例估计，因此有 CI）。判据设计很讲究——不用绝对分数而用相对自身零样本的位置，使不同任务间的分数不可比性不干扰结论：

能力分离的证据（这是基准存在意义的核心证明）：MAVE 上 GPT 5.6 Terra 与 Sonnet 5 零样本同为 ~0.44，装瓶后 0.405 vs 0.154——相似零样本分数的模型装瓶结果差近 3 倍。零样本分数对装瓶能力的预测力有限。

正面结果（装瓶的收益上限）：

• Opus 5 在 ESCI：装瓶 0.499（零样本 0.609 的 82%），花费 $26.28 vs 全量零样本估算 $17,273——657× 便宜；MAVE 上保留 95%、889× 便宜。
• 对"系统一"模型 Jev：ESCI 上 Opus 5 达 Jev 94% 质量而成本 1/4（$26.28 vs $104.89）；RAID 上 Gemini 3.1 Pro 达 Jev 97%（AUROC 0.822 vs 0.846）而成本 2%（$4.69 vs $223.16）。
• Pareto 前沿：GLM 5.3 Flash 以 <$1 拿到 39% 聚合相对增益。

失败模式解剖（judge 审计 60 次运行）：Gemini 3.1 Flash-Lite 把 read 工具 49 行截断输出当作全部工作量，留 4.95M token 预算提前交卷——工作量误判；Sonnet 5 跳过微调直接推 Qwen2.5-1.5B 全量（0.194/0.113 vs 自身零样本 0.444）——捷径幻觉。

六、效果优势的根源解释

三篇论文的"效果"各有含义：LiveMACE 的效果是能力指标的判别力与稳定性；AgentTime 的效果是归因结论的可靠性（差距来自模型而非 harness）；BOTTLED 的效果是成功装瓶者的优势来源。以下逐一建立因果链。

6.1 根源机制与证据链

链条一（LiveMACE）：为什么能力指标稳定而收益排名混乱？

方法差异（轨迹诊断 vs 收益闭环）→ 证据链长度与混淆源数量不同 → 排名稳定性差异（0–8 vs 21–29 次反转）

• 收益是 Agent 行为与市场状态闭环交互的最终输出：决策改变持仓 → 持仓暴露于市场状态 → 市场状态又反馈影响后续决策。闭环里混入了一个不可控、不可重复的外部变量（市场），其方差直接进入输出。[论文实验已支持]：Grok 工具配置收益最高但 TCS 最低——收益与能力脱钩的直接例证。
• 能力指标测的是市场反馈到达之前的行为属性：工具调用是否有效（VCR 可从 trace 客观计算）、检索结果是否被采纳（MCQ 对照 transcript 判定）。证据链短——从"调用"到"指标"没有市场环节——因此不受市场状态混淆。[论文实验已支持]：能力排名 30 天内 0–8 次反转。
• 外部交叉验证：这与过程监督文献的结论同构。Let’s Verify Step by Step（arXiv:2305.20050）发现对每步推理打分训练出的模型显著优于只对最终结果打分——逐步（短证据链）信号比结果（长闭环）信号信息更多、噪声更少。LiveMACE 把该原理从训练搬到评测：过程指标不仅更稳定，还能定位失败环节（如 IE 短板、R1-02 瓶颈）——这是收益排名结构上做不到的。[相近结论，跨设定支持]

链条二（AgentTime）：为什么 Astra 守时而 Fable 失控——差距来自哪里？

harness 交换实验（模型 × 脚手架交叉）→ 斜率差 0.7 归模型、0.15 归 harness → 时长控制是模型内在属性

• 交叉证据：Astra 的 within-task 斜率在 Claude Code 与 Codex 中都超过 Fable 0.69–0.71；而把 Fable 换进 Codex，其斜率仅从 0.03–0.13 升到 0.19–0.29，Astra 换进 Claude Code 也只是从 0.96/0.87 降到 0.85/0.69。模型主效应 ≈ 0.7，harness 主效应 ≈ 0.15——脚手架能小幅帮忙，但守时能力主要在模型里。[论文实验已支持]
• 机制推测（作者假设，标注为推测）：模型 RL 训练中对时长指令的敏感度决定其能否把"任务完成感"与"用户请求的时长"解耦——Fable 表现出的"干完就停"模式正是两者未解耦的表现。
• retrospection 阶梯给出平行的证据结构：估计精度随时间线索的剥离阶梯式崩坏（Scrubbed 后 Sol 5.38×），且事件数与时长相关 r=0.91——时间感知不是内部状态而是对外部线索的推断。这与人因工程的经典结论一致（Vierordt 律、时间知觉的情境依赖），方向性交叉支持。
• 与 METR 时域研究（arXiv:2503.14499）的关系是互补而非冲突：METR 发现任务时域每 7 个月翻倍（能力增长），AgentTime 发现时长控制与任务成功独立（控制缺位）——能力增长不自动带来控制力，两者共同刻画长时程自主性的两半。

链条三（BOTTLED）：成功装瓶者赢在哪里——元判断与预算纪律的分离

统一 harness + 同预算 baseline → 差距不可能来自脚手架或算力 → 归因于"前期投资 vs 批量摊销"的元决策与预算自控

• 排除法论证：[论文实验已支持] 所有模型用同一 OpenCode harness（排除脚手架差异）；蒸馏基线用同样 500 万 token（排除资源差异）；预算放开重跑后 47/60 仍低于 CI（排除"算力不够"）。剩余的解释变量只在 Agent 的决策层。
• 正面证据：Opus 5 同时守住工件质量（ESCI 82% 保留）与预算纪律（$26.28 花在刀刃上）；而失败者的三类典型失误——预算耗尽无输出（21/60）、工作量误判（把 49 行截断当全部）、跳过微调的捷径（Sonnet 5 直推 Qwen2.5-1.5B）——全部是决策失误而非能力不足。
• 外部交叉验证：装瓶的最优策略空间（标注→蒸馏→部署）正是 Hinton et al.（arXiv:1503.02531）十年前论证的标准工程路线；FrugalGPT（arXiv:2305.05176）证明级联式成本优化可省 98%——方案本身有效是外部已确立的，BOTTLED 的新贡献是证明"让 Agent 自己做这个决策"的能力分布极宽（相似零样本分数装瓶差 3 倍以上）。
• 限定条件：外部文献的 98%/成本优势是工程师执行的前提下的结论；Agent 自主执行时该优势只在元判断过关的模型上兑现（Opus 5/GLM 5.3 Flash 在 Pareto 前沿，多数模型不在）。

6.2 相关工作检索与对照

检索说明：以上链接均于本次撰写中逐一核验可访问。“Agent 在演化环境中过程指标 vs 结果指标的排名稳定性对比"这一具体命题，在本次检索范围内未发现 LiveMACE 之外的直接同期工作（最接近的是过程监督训练侧文献），该对照以跨设定推理标注。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) 过程信号优于结果信号的信噪比——训练侧（Let’s Verify Step by Step）与评测侧（LiveMACE）独立收敛；(2) 时长控制是独立于任务成功的能力维度——AgentTime 内部三技能交叉 + harness 交换双重支持；(3) 装瓶方案（蒸馏/程序化）本身有效——十年工程实践外部支持。

仍属推测的机制：(1) Astra 守时的具体成因（RL 训练中时长指令敏感度）是作者假设，无训练数据可查证；(2) LiveMACE 能力指标对未来收益的预测力——30 天窗口内证明了稳定性，但"过程指标预测长期表现"需要跨期验证，论文未提供；(3) BOTTLED 的元判断能力能否通过训练提升——基准只测了分布，没测干预。

适用边界与失效条件：LiveMACE 的结论依赖"轨迹完整可观测”——若 Agent 内部状态不可见（如闭源 harness 无 transcript），过程指标无从计算；AgentTime 的 Scrubbed 结论依赖"无内部时钟"假设，若未来模型引入显式时钟模块则失效；BOTTLED 的 657× 收益依赖任务重复性——工作负载只有几千条时摊销不成立，零样本反而更优。三篇共同的边界：前沿模型快速迭代，具体排名数字的保鲜期可能只有数月，但测量维度本身不会过期。

七、必要知识反推

假设一个完全没有背景的人要复现这三篇工作，最少必须掌握什么？

7.1 领域知识层

• Agent 系统结构（ReAct 循环、harness 的构成、工具调用协议）——不理解"轨迹里有什么"就无法设计 LiveMACE 的诊断指标，也无法做 AgentTime 的 transcript 分类。
• 金融市场微观结构（持仓、回撤、尾部损失、模拟盘与实盘差异、网格交易策略）——LiveMACE 的指标设计与基线选择的必要前提；还要懂为什么 4 小时决策轮与市场演化节奏要匹配。
• 时间心理学（Vierordt 律、planning fallacy）——AgentTime 的偏差分析框架直接借自人类研究，不读经典无法识别"Fable 模式像 Vierordt"这个定性判断的价值。
• 推理成本结构（token 计价、缓存折扣、摊销经济学）——BOTTLED 的加权 token 预算与"前期投资 vs 批量摊销"框架的前提。

7.2 方法论知识层

• 评测方法学（配对设计、置信区间、排名稳定性分析、变异来源分解）——三篇的共同语言：LiveMACE 用配对配置差分、BOTTLED 用 95% CI 判据、AgentTime 用交叉归因，全是经典实验设计的变体。
• 知识蒸馏与模型压缩管线（标注配方、学生模型训练、公开配方复现）——BOTTLED 的 baseline 构造必需；也是判断"Agent 选的策略是否合理"的参照系。
• LLM judge 的使用与局限（judge 分与客观指标互补、judge 模型选择）——LiveMACE 双轨指标设计的依据。

7.3 工程知识层

• 大规模实验基础设施（沙箱、计时器外置、OpenRouter 多模型路由、预算强制执行）——AgentTime 的 1,991 次运行与 BOTTLED 的 60 次长时间运行都对工程可靠性有硬要求；$93,000 的成本控制本身是工程问题。
• 数据污染防御（标签泄漏代理屏蔽、blocklist 更新与重跑）——BOTTLED 的 RAID 任务碰到过污染并做了重跑。

7.4 知识融合的关键节点

三篇论文最关键的融合点都是**“把一个领域的方法移植到评测设计”**：LiveMACE 把临床试验的配对对照移植进市场评测（机制效应 = 组间差）；AgentTime 把心理物理学的方法（阶梯式条件、类人偏差对照）移植进 Agent 测量；BOTTLED 把工程经济学的投资-摊销框架移植进能力定义。单一领域知识都不新颖，融合后的测量设计才是贡献——这本身就是值得学习的科研模式。

八、论文中可以提取的通用性灵感

三篇论文的灵感高度互补，合并提取。

8.1 灵感一：测过程不测闭环——短证据链指标优先

核心思想：当一个量是"行为与环境闭环交互"的产物时，从中反推行为质量会被环境方差淹没；改测闭环反馈到达之前的行为属性，证据链短、混淆少、还能定位失败环节。

论文证据：LiveMACE 收益排名 21–29 次反转 vs 能力排名 0–8 次；过程监督训练侧（Let’s Verify Step by Step）同构结论。

推广场景：(1) 评估客服 Agent——不测满意度（混入客户情绪）而测响应流程完整性；(2) 评估推荐系统——不测 CTR（混入热点周期）而测候选覆盖与理由一致性；(3) 评估手术机器人——不测术后结果（混入病人差异）而测操作轨迹符合度；(4) 评估自动驾驶——不测事故率（稀疏且混入路况）而测决策过程违规率。

8.2 灵感二：能力与控制分离——“会做"不等于"能按要求做”

核心思想：把"完成任务的能力"与"控制自身资源（时间/预算）的能力"作为独立维度分别测量，两者可以任意组合，部署风险主要藏在后者的短板里。

论文证据：Astra 任务成功但 14 次 sleep 凑时长；Fable 任务能干完但时长完全失控（斜率 0.24）；AgentTime 全文结论句"完成任务不保证能控制自己的时间"。

推广场景：(1) 云服务成本管理——模型会不会"省钱地"完成任务（BOTTLED 的 21/60 预算强停就是反例）；(2) 员工考核——产出质量与工期守约分开评；(3) 嵌入式系统——功能正确性与功耗预算控制分离测试；(4) 科研管理——能出成果与能按期交付是两种能力。

8.3 灵感三：投资-摊销元判断是独立的能力维度

核心思想：“把一次性的能力转化为可重复使用的廉价资产"的决策力（要不要投资、投多少、用什么方案、何时止损），与"每次都做对"的能力正交，且分布极宽——相似水平的个体该项能力可差数倍。

论文证据：相似零样本分数（~0.44）的模型装瓶差 3 倍（0.405 vs 0.154）；48/60 装瓶亏损；但 Opus 5 证明上限可达 657× 收益。

推广场景：(1) 组织知识管理——专家经验能否沉淀为可复用流程/工具；(2) 软件工程——工程师把重复脚本固化为自动化工具的意愿与判断；(3) 教育课程设计——学生能否把解题能力转化为错题本/模板库；(4) 制造业——老师傅手艺能否参数化为工艺卡片。

8.4 灵感四：交叉归因——交换"容器"分离内在与外在

核心思想：要判断某属性属于个体还是环境（模型还是 harness），把个体放进不同环境交叉运行，看属性跟谁走。

论文证据：AgentTime harness 交换——Astra 换到 Claude Code 斜率仍高、Fable 换到 Codex 斜率仍低，0.7 归模型 0.15 归脚手架。

推广场景：(1) 教育测量——转学生成绩随人走还是随学校走，分离学生能力与学校效应；(2) 组织行为——同一个员工在两个团队的绩效差异是人的问题还是团队的问题；(3) 模型部署——API 调用与本地部署的表现差异归因于推理框架还是权重；(4) 农业品种试验——同一品种种在不同地块的交叉设计。

8.5 灵感五：给"考卷"加预算轴——约束下的表现才是部署表现

核心思想：无约束评测高估部署价值；把时间、算力、资金预算显式加入评测协议，测出的才是真实工程环境中的表现，且预算纪律本身会暴露新的失败模式。

论文证据：BOTTLED 的 10 小时 + 500 万 token 双预算暴露 21/60 强停与"提前交卷"两类相反的失败；AgentTime 的时长指令暴露 sleep 凑数行为。

推广场景：(1) 算法竞赛改带时间预算的评分；(2) 云函数服务按"单位成本正确率"排名；(3) 招聘笔试限制工具与时间而非只看对错；(4) 药物研发按"单位研发预算的通过率"评估管线效率。

8.6 灵感六：没有内部状态就重建外部线索——诚实对待"感知"的本质

核心思想：当一个系统声称"感知"某量（时间、成本、状态）时，用阶梯式剥离实验检验感知依据是内部状态还是外部线索推断；多数情况下是后者，这决定了系统的失效条件。

论文证据：AgentTime retrospection 阶梯——线索剥离后估计偏差从 1.0–1.3× 恶化到 2.58–5.38×；事件数与时长 r=0.91。

推广场景:(1) LLM 的"自我反思”——剥离 transcript 中的反馈后还剩多少真反思；(2) 自动驾驶的"场景理解"——遮挡传感器后哪些判断崩坏；(3) 仪表依赖审计——飞机员盲舱测试；(4) RAG 系统的知识来源审计——关闭检索后答对率变化。

合读结论：这三篇基准论文的共同深层贡献不是各自的排名表，而是三把新的尺子——过程尺、时间尺、成本尺。它们各自用精巧的实验设计证明：这些维度上模型间的差距（0.24 vs 0.90 的斜率、82% vs 46% 的保留率、0.877 vs 0.682 的合规率）与零样本分数上的差距不是一回事。当 Agent 从演示走向部署，决定成败的恰恰是这些"以前没测过的维度"。评测的下一步，不再是更大的题库，而是更多的尺子。