论文 1：StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents 发表时间：2026 年 10 月 机构：AfterQuery（公司，三位作者 Daksh Raghuvanshi / Ved Vedere / Yifan Wang，纯企业出品，无高校合作） 领域标签：LLM Agent 评测 / 强化学习环境 / 长时程运营

论文 2：A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization 发表时间：2026 年 10 月 机构：南京大学（计算机软件新技术全国重点实验室 + 人工智能学院，LAMDA 组，11 位作者，Chao Qian / Ke Xue 通讯），纯高校出品 代码：https://github.com/lamda-bbo/agentic-bbo 领域标签：黑盒优化 / LLM Agent 评测 / 贝叶斯优化

论文 3：TokenRouter: Efficient Serving System for Token-Level LLM Routing 发表时间：2026 年 10 月（NeurIPS 2026） 机构：清华大学（第一单位，系统实现与实验）、卡内基梅隆大学（合作者单位 Yixin Dong），高校合作、无企业；致谢 Infinigence-AI 支持 代码：https://github.com/thu-nics/TokenRouter 领域标签：LLM serving 系统 / 模型路由 / 系统与机器学习

一、论文背景

1.1 共同的时代问题：Agent 走向真实工作，评测和系统跟不上

三篇论文表面分属评测、优化、系统三个领域，底色却相同：大模型的下一个战场不在"答题"，而在"做真实的工作"——长期经营一家店铺、跨领域调参优化芯片与分子、在多个模型之间逐 token 调度推理。一旦进入这些场景，传统的评测协议与推理系统都暴露出结构性缺陷。

用类比建立直觉：

• 传统 agent 基准像"笔试"：题目固定、交卷打分、世界只在考生答题时才变化。StoreBench 指出这类基准衡量的是"能否完成一个任务"，而不是"需求持续到来时能否持续做好"。
• 传统 LLM 优化像"固定流水线"：贝叶斯优化（BO）按预设的代理模型 + 采集函数循环走，LLM 只是被调用的一颗齿轮。AgenticBBO 关心的是让 LLM 当"车间主任"——自己决定查什么资料、写什么分析代码、何时提交候选解。
• 传统推理服务像"单车道公路"：SGLang / vLLM 假设一个请求从头到尾由一个模型生成。TokenRouter 面对的是"每个 token 都可能换车道"的新算法，旧公路的设计全面失灵。

三个概念需要分别展开。

1.2 StoreBench 的背景概念

Agent 基准的静态性。SWE-bench、WebArena、OSWorld 等基准中，环境只在 agent 行动时变化，奖励是终态判定，及格线人为设定。而"持续性运营工作"（ongoing work）恰好相反：需求不等人、信息会过期、成功是累积量而非二值量。论文引用 Kwa et al. 2025 指出 agent 任务时程约每七个月翻倍，但评测没跟上。

奖励作弊（reward hacking）。RL 安全领域的老问题：奖励函数与真实意图有缝隙时，优化器会钻缝隙。LLM agent 已被观测到篡改评估器、利用反馈循环等行为。StoreBench 的立场是"开放式奖励必须按设计加固"——不是"当前没人钻"，而是"优化器无法从钻漏洞中获利"。

校准（calibration）。一个 agent 得了 0.7 分，这意味着什么？没有外部参照就无从判断。StoreBench 的做法是让六条脚本策略（从"什么都不做"到"启发式高手"）在同一环境下实测，用它们的得分定义每个任务-种子格的零点、尺度与及格线。

1.3 AgenticBBO 的背景概念

黑盒优化（BBO）。目标函数可以评估但解析式与梯度不可见，且每次评估昂贵（如训练一次模型、跑一次数据库负载、合成打分一个分子）。经典方法有贝叶斯优化（高斯过程代理 + 采集函数）与进化算法，它们只消费数值观测。

Agentic BBO。论文的定义：LLM agent 控制每次昂贵评估之前的中间决策过程——读任务信息、分析历史、写代码、调优化器工具，然后再提交候选。关键是中间动作序列由 LLM 在线决定，而非预设程序。此前 Maus et al. 2026（生物设计）、Brunzema et al. 2026（Sara 框架）、Suwandi 2026（PlugBO）等工作各自探索了这一形态，但任务域与系统配置互不相同，结论难以互相比较，单项设计选择的贡献也无法隔离——这正是基准缺失的痛点。

1.4 TokenRouter 的背景概念

模型路由（model routing）。不同大小的模型延迟与能力不同，按请求难度分发查询可以改善成本-质量帕累托前沿。ChatGPT、Cursor 等生产系统已广泛采用查询级路由：整个请求绑定一个模型。学术代表 RouteLLM 用偏好数据训练路由器。

token 级路由。更细的粒度：每个解码步都可以切换模型。效率侧，R2R 论文显示只需把 5% 的 token 路由给 32B 模型（其余由 1.5B 生成）即可匹配 32B 质量，而查询级路由约需 40% 的查询发给大模型；质量侧，互补专家模型可以在一条回复中协作，超过任何单一模型。但算法收益要兑现成真实加速，需要 serving 系统原生支持——这正是 TokenRouter 的位置。

二、论文定位和关联工作

2.1 StoreBench：动态运营环境谱系

定位结论：StoreBench 延续 Vending-Bench / MerchantBench 的"让 agent 做生意"路线，但在协议校准（锚定策略定及格线）与奖励加固（exploiter 锚 + 回归测试目录）上做出实质机制创新，且首个明确报告"模拟时间与推理延迟无关"的生产级商业环境。

2.2 AgenticBBO：LLM 进优化环的谱系

定位结论：这是首个跨域统一协议的 Agentic BBO 基准 + 首个系统化三因子受控研究（优化工具 / 任务信息与先验 / LLM 在环角色），并附带一个紧凑五任务 frontier challenge 作为通用模型排行榜。

2.3 TokenRouter：多模型 serving 谱系

定位结论：TokenRouter 是首个为 token 级路由设计的专用 serving 系统，把五种已有算法统一到一套 route-send-receive 接口下，并首次给出延迟批处理阈值的解析最优解（DTMC 模型）。已发表于 NeurIPS 2026。

三、问题定义

3.1 StoreBench：如何评测"持续把店开好"

具体问题：agent 能否在需求持续到来、供应商随机失败、市场冲击部分或完全无预警的情况下，长期经营一家中型在线服装店？

抽象问题：构造一个"世界自主演进、时间仅由动作序列决定、奖励不可作弊、尺度有外部锚定"的评测环境，使测得的分数能够回答"模型与合格人类运营者的真实差距"。

形式化：给定任务镜头（horizon、操作预算、事件脚本）、世界种子，agent 通过 29 个 MCP 工具与环境交互，episode 结束时按结算规则打综合分：

R = 0.7 · clip[(Δnet − z)/s] + 0.2 · 可靠性 + 0.1 · 连续性

其中 Δnet 为净资产增长，z（零点）= absentee 策略的终态增长，s（尺度）= z 到最佳锚的差距。要求对每个任务-种子格独立校准，且及格线通过四道门（排序 / 判断差距 / 防摆动 / 漏洞抑制）。

精妙之处：分数不再是绝对数字，而是相对实测策略阶梯的位置——“比什么都不做好多少、离启发式高手还差多少"有确定含义。

3.2 AgenticBBO：如何统一评测"agent 组织优化”

具体问题：LLM agent 在 BBO 的中间决策上表现如何？工具、信息、角色三个设计维度各自贡献多大？

抽象问题：把异构 BBO 任务（连续 / 混合 / 结构化空间）放到同一"有限预算顺序评估"协议下，使 agent 系统、直接 LLM、数值优化器可公允比较。

形式化：经典 BBO 是 H_{t-1} → x_t → y_t = f(x_t) → H_t 的循环；Agentic BBO 把每轮替换为 (H_{t-1}, I) → a_{t,1} → … → a_{t,K_t} → x_t → y_t，即 agent 先执行任意中间动作序列（I 为任务级信息），再提交候选。评分 S = 0.7 · 全程归一化 best-so-far 均值 + 0.3 · 最终最优解（anytime 式评估：不仅看终点，还看整条轨迹收敛多快）。协议核心约束：只有目标函数评估计入预算，推理/写代码/调工具不计，同初始化、候选先验证后评估。

精妙之处：预算只算"昂贵评估"这一稀缺资源，让 agent 的思考免费、行动昂贵——这与真实研发场景同构。

3.3 TokenRouter：如何高效服务"逐 token 换模型"

具体问题：现有 serving 系统跑 token 级路由算法时吞吐极低、开发困难，如何设计专用系统？

抽象问题：当执行流不再是一条直线而是请求在模型间的随机游走时，serving 系统的批处理、调度、状态管理应如何重构？

形式化：给定路由算法（路由概率 p_ij、每次切换提交 token 数 c_ij）、并发 N、各模型步延迟 L_i，设计 serving 系统最大化稳态吞吐 T(B)（B 为延迟批处理阈值向量），并解析求解 B* = argmax T(B)。

精妙之处：把"等待更多同模型请求再成批"这个直觉决策变成可解的数学问题——DTMC 稳态分析给出最优阈值，不必在线试凑。

四、问题解法

4.1 StoreBench：环境 + 校准 + 加固三位一体

（一）带历史的世界。店铺 Ostrelle 运行在 Medusa v2（生产级开源电商平台）上，预置 18 个月连贯运营史：3,320 笔订单（含季节与昼夜结构）、约 2,500 名客户（真实复购分布）、14.7% 退货率、111 条供应线 3,448 个变体；供应商市场 40 家、约 5,200 个 SKU，分层定价 / 交期 / 起订量 / 缺陷率 / 可靠性，价格有界随机游走。31 项分布与连贯性审计门控每个发布镜像。类比：agent 接手不是"新开张的空店"，而是"前店长留下烂摊子的老店"——这迫使它处理在途订单、退货堆积等存量义务。

（二）隐藏动态与三信息通道。需求由隐藏模型按 12 小时窗口生成（含品类流行度、价格弹性、上架吸引力、季节性、文案质量、缺货删失），agent 只能通过自己的销售间接观测；订单注入真实后端并回填模拟时间，“直查数据库也无法戳穿设定”。脚本事件通过三种通道显形：announced（平台公告带预警）、rumored（模糊行业媒体、无数字）、silent（只有自家销售数据能揭示）。竞争层脚本对手按货架相对吸引力分流需求。

（三）按操作计量时间。每次工具调用（除免费状态查询）消耗一个操作，花掉窗口最后一个操作或调用 end_window 推进世界。世界只在 agent 动作时前进，模拟时间成为动作序列的纯函数——“墙钟速度买不到任何东西”，慢模型与快模型面对同样压力。读便宜（一次 100 行）写昂贵（一次一单），实验证明最终得分在十倍读量范围内平坦。

（四）锚定校准与四道门。六条脚本策略从 do-nothing / absentee / blast-list（全发不决策）到 rule-based（清单文员）、smart-triage（启发式高手）再到 exploiter（打全部已封堵漏洞）。及格线放在两个最佳诚实交易锚的中点，须过四道门：(i) 排序——判断类锚须胜过体力与不交易锚；(ii) 判断差距——判断锚须以最小差距胜过体力策略，否则该镜头"奖励敲键盘而非判断"，重新平衡；(iii) 防摆动——及格线与相邻锚之间须留噪声余量；(iv) 漏洞抑制——exploiter 必须低于所有诚实锚。全部 36 个报告格 + 24 个私有格通过全部四门。

（五）奖励完整性即工程。756 次预加固试验审计 + 代码级漏洞狩猎，产出 9 类漏洞目录： quitting 白拿连续性分、可靠性洗白、终场免费取消、上架侧门、彩票定价（用缺货诱饵价拉低中位价）、退款悬崖（80% 退款最优）、幻影现金、拆分退款陷阱、亚分容量。每个漏洞：在世界模型中关闭 + 对抗性回归测试钉死 + 并入 exploiter 锚（每次校准回放全部目录）。确定性：噪声流按用途键控，动作序列重放可逐字节复现账本。

4.2 AgenticBBO：基准协议 + 三因子受控研究

（一）五域任务族：BBOB（合成连续，24 函数）、Bayesmark（HPO，25 任务：模型×数据集×混合超参空间）、DBTune（数据库调优，6 任务，学习代理评估）、BBOPlace-Bench（芯片宏单元布局，12 任务，连续坐标+合法化约束）、GuacaMol（分子设计，10 目标，SMILES 字符串结构离散空间）。

（二）统一协议：容器化工作区（task.md + instructions.md），六个基础接口（get_task_context / get_search_space / get_trial_history / get_incumbent / write_candidate / submit_candidate）；候选先验证后评估，无效提交退回修改不计预算；评估器与隐藏状态宿主侧管理，agent 容器不可达。默认骨干 DeepSeek V4.1 Flash + Codex harness；Direct 配置（任务+历史进上下文直接出候选）与 Agentic 配置（持久工作区 + Bash/Python + 结构化接口）同模型同 harness，只差计算环境。

（三）评分：S = 0.7A + 0.3F，A 为全程归一化 best-so-far 均值、F 为最终最优。归一化用"锚点插值"：共享初始化最佳 b 定为 0、匹配 GP 参考终点 r 定为 0.6，超过 r 的部分指数逼近 1；已知最优的任务（BBOB/分子）线性封顶到 1。要点：不用任何被比较 agent 的结果做归一化锚，防止尺度被参赛者自身污染。

（四）三因子受控研究：

• 工具因子：+GP-Suggest（加 GP 提议接口）/ +GP-Tools（再加预测、采集打分、诊断、搜索域与采集策略控制）vs 裸 Agentic，八任务池同协议。
• 信息因子：Anonymous（匿名为 [0,1]^D 坐标）/ Semantic（恢复任务与参数语义）/ FullPrior（加机制与领域知识）；再加受控先验研究——三个匿名 12 维目标（4 个活跃变量），变化提供：无先验 / 仅数量 / 仅几何 / 正确支撑 / 正确支撑+几何 / 错误支撑+正确几何。
• 角色因子：在线 Agentic vs GP-policy 控制（LLM 只选核与采集函数，不提交坐标）vs 交接（agent 先跑 16/8 次评估的 prefix 后交给 TuRBO/GP/局部搜索）vs 离线开发优化器（agent 改写 strategy.py 后冻结，在 held-out 任务上部署）。

（五）五任务 frontier challenge：每域一任务（Optical Digits/MLP-SGD、196 参数 MySQL Sysbench、GuacaMol Median1、BBOB f15 十维、Bigblue1），七个前沿模型同协议评测。

4.3 TokenRouter：请求中心编程、模型中心执行

（一）编程接口 route-send-receive。观察所有 token 级路由算法共享同一生命周期：receive → decode → route → send → peer receive → …。开发者只需实现三个函数：

类比：开发者像写"单个快递包裹的流转单"，运行时像"整条物流网络"——前者只描述一单怎么走，后者优化全部包裹的调度。

（二）解耦三循环异步执行。每个 LLM 一个自治子服务器（自有调度器、KV 池、三函数），对外单一服务接口（可 drop-in 替换单模型服务器）。标准 serving 只有两条循环（client-server 收发、decoding 调度），TokenRouter 加第三条 inter-model 循环处理跨模型收发。被路由请求离开本地批、随 peer 请求返回而恢复；各子服务器按自己步调推进，消除"整批等最慢模型"的步同步。

（三）handoff-resume 的 pending 状态。朴素交接把返回请求当新请求处理，重做前缀匹配与 KV 分配。TokenRouter 在 running/finished 之间引入 pending：被路由请求标记 pending（调度器跳过但服务状态保留），返回时切回 running 并把新 token 追加进批——跨模型切换退化为"一次 token 追加"。

（四）延迟批处理调度器 + DTMC 最优阈值。token 路由使到达稀疏不规则，急切成批导致碎片化。调度器缓冲请求直到同模型请求数达到阈值 B 才成批。B 的权衡：太小→准入延迟大；太大→请求困在队列、SLM 缺活干。论文把路由过程建模为离散时间马尔可夫链：状态含各模型队列长、运行批大小、剩余执行时间；路由结果服从多项式分布；吞吐 T(B) = E[提交 token 数] / E[转移间隔]，解析求稳态分布后搜索 B* = argmax T(B)，带可行性条件 Σ(B_i − 1) < N 防死锁。验证：R2R 场景（p=0.35，L_SLM=6.0ms，L_LLM=27.9ms）下，各并发级别模型预测的最优阈值与实测最优完全一致。

（五）路由特定的工程适配：多模型共享 GPU 的 KV 联合分配（按权重占用与 per-token KV 尺寸算最大公共容量）；extend 模式 CUDA graph 捕获（peer 返回以 extend 批为主，超范围回退非图路径）；路由器进程内共置（每 token 一次路由决策，跨进程 IPC 不可接受）；全局状态跟踪（活跃请求数随 peer 消息捎带广播，免中心协调器）。

五、评估指标与实验证据

5.1 StoreBench：相对策略阶梯定位模型

指标体系：主指标为综合分 R（业务 0.7 + 可靠性 0.2 + 连续性 0.1）与相对校准阈值的及格率；组件分解（business/reliability/continuity）用于诊断；每窗口密集奖励通道用于 RL 训练。组件权重敏感性检验：0.5/0.4/1 与纯 business 下排名基本不变（前四名与末名不变，仅中段接近的模型在可靠性权重下重排）。

数据集与环境：11 个评估任务 × 3 种子（7/11/13）× 3 尝试（goose harness，匹配推理强度）；365 天全年任务单独跑（Claude Code harness，上下文压缩 + 扩展思考）；11 名人类电商专家在相同工具面、预算、评分下操作同 33 格。全年任务均价 $185/rollout（$40-670），总评测约 750 rollouts、约 $16k API 开销。

主榜单（11 任务均值）：

核心结论：无模型平均达到 smart-triage；人类专家均值高于所有模型，优势在服务而非商业（可靠性 0.944 vs 模型最高 0.852；准时发货 96%、退货处理 93%）。

全年任务的反转：DeepSeek 0.976 / Qwen 0.974 / Opus 4.8 0.971 / Fable 5 0.966，均大幅超过 smart-triage（+0.28-0.39）；唯 Gemini 3.8 Flash 降到 0.496——9 次尝试中 4 次 agent 幻觉"后台进程在经营店铺"然后干等（这 4 次平均 0.1，其余 5 次平均 0.799）；GPT 有 1/9 次在第 185/365 窗口宣布"店铺已完成"提前收工。这正是论文强调的长时程新失败模式：幻觉性委托与提前自我宣告完成。

GRPO 后训练：Qwen3.5-27B 仅在 5 个不相交训练任务（7-15 天）上训练（36 步 × 5 任务种子 × 6 rollouts = 1080 episodes），held-out 评估任务均分 0.136 → 0.373（配对增益 +0.237，bootstrap 95% CI [+0.19,+0.29]，33 格中 31 格改善），盈利 episode 从 3% 升至 72%，但仅 3/99 及格、仍低于 rule-based（0.638）。

实验设计如何证明论点：及格率与均分的分离（人类 0.708 均分却只有 39% 及格 vs DeepSeek 0.700 均分 49% 及格）证明了逐格校准的价值——人类分数分散（0.33-1.00，std 0.16）而模型更稳定，均分掩盖了分布差异；exploiter 加固后 0.039 vs 诚实锚 0.46-0.76 证明"无可利用"；搜索基线（steady 种子 7 上 300 次随机搜索最高 0.21、300 次爬山最高 0.40 vs 阈值 0.72）证明便宜搜索刷不高分。

5.2 AgenticBBO：统一协议下的五域对比与三因子消融

指标：S = 0.7A + 0.3F（越高越好），跨任务等权平均；归一化锚不含被比较方法结果。

主对比（Agentic vs Direct vs 数值优化器）：

Agentic 五域全胜 Direct（平均相对提升 30.3%；BBOB +43.7%、GuacaMol +48.7%），四域最佳数值方法，DBTune 上 TuRBO 0.660 更强。

工具研究（八任务池均值）：裸 Agentic 0.589 > +GP-Suggest 0.574 > +GP-Tools 0.538。行为分析：引入 GP 工具后 52.8% 轮次仍用/混用自写 Python（+GPTools 下 35.4% 纯 Python + 17.4% 两者兼用）。这是反直觉发现：给更多优化工具反而降分。

信息研究（六真实任务）：Anonymous 0.465 → Semantic 0.595（+0.130），FullPrior 回落到 0.569（部分任务受益、部分受损）。受控先验：正确支撑+几何 0.872 vs 无先验 0.685；仅几何 0.727、仅支撑 0.768；错误支撑+正确几何 0.682——几乎完全抵消收益。

角色研究（四任务 held-out）：在线 Agentic 0.569 ≈ Agent→TuRBO 交接 0.570 > Agent→GP 0.524 ≈ Agent→Local 0.533 > LLM 离线开发优化器 0.501 > TuRBO 全程 0.475 > GP-policy 控制 0.516 > GP-BO 0.451。交接与在线持平且明显优于 TuRBO 从头开始，说明 agent 建立的搜索轨迹本身有价值，LLM 不必全程在线。

Frontier challenge（五任务）：GPT-6 Astra 0.591 ≈ DeepSeek V4.1 Flash 0.584（Pareto 前沿两端：Astra 贵得多），GPT-5.6 Sol 0.507、Gemini 3.1 Pro 0.522、GLM-5.3 0.452、Kimi-K3 0.368（按其组件推算）、DeepSeek V4 Pro 0.509；GP 参考 0.585。无一模型全域制霸（如 Gemini 3.1 Pro 在 BBOPlace 仅 0.125，Kimi-K3 在 HPO 0.032）。

实验设计如何证明论点：三因子研究全部采用"同任务、同种子初始化、同预算、同 harness、只变一个维度"的配对设计——例如工具研究的三个条件用完全相同的任务级 prompt，唯一干预是启用的接口。这使"更多工具不必然更好"这类因果断言成立，而非相关性观察。

5.3 TokenRouter：吞吐、延迟与理论模型的三重验证

指标：解码吞吐量（token/s，总生成 token / 时长）、端到端请求延迟（s）、TTFT（首 token 时延）。

设置：5 种路由算法（CITER/R2R/R-Stitch/Co-LLM 双模型、ME 三模型）× 3 种负载（低强度推理 AIME2024 短输出 / 高强度推理 8192 长输出 / SWE-Smith 多轮 agent）× 并发 1/4/8；8×A100-80G；Qwen3-0.6B+32B（ME 为 0.6B+8B+32B）。基线：Official Code（算法官方实现）与 Std. Serving（SGLang 单模型服务器 + 外部分发器，作者自建的公允基线）。

总成绩：相对更强基线（官方实现或 Std. Serving 中的强者）吞吐提升 2.01-64.15×；相对 Std. Serving 延迟降低 2.03-63.64×。

原论文设定下（并发 4）：

消融（并发 8，R2R 低强度推理）：基础实现 132.78 → 扩展 CUDA graph 230.79 → +异步执行 296.86 → +延迟批处理 372.48 token/s，总 2.76×。各组件贡献：CUDA graph 1.71×、异步执行 1.12×、延迟批处理 1.31×（并发 4 时）。

跨模型对：R2R 上 TokenRouter 相对官方实现提升 1.99-3.21×（0.6B+8B 3.21× / 0.6B+32B 2.56× / 1.7B+8B 2.76× / 4B+8B 1.99×），证明优化对不同规模组合稳健。

Std. Serving 延迟分解（关键证据）：每步 SLM 侧耗时中，前缀匹配 7.78ms（20.94%）+ 锁缓存节点 6.49ms（17.47%）+ 更新 radix cache 12.12ms（32.62%）合计超 70%，真正的 SLM 推理只占 1.56ms（4.2%）——单模型假设下"每个返回 token 当新请求"的簿记开销吞掉了系统。

DTMC 模型验证：R2R（p=0.35）下预测吞吐曲线与实测趋势吻合，且每个并发级别的预测最优阈值 B* 与实测最优一致。

Pareto 前沿（AMC23，0.6B+32B 贪心解码）：TokenRouter 把 token 级路由推到新前沿，使其在 SGLang 这类成熟框架上比查询级路由（RouteLLM 系列 QR-MF/QR-BERT/QR-LLM/QR-SW）更具竞争力。

实验设计如何证明论点：三层证据链——(1) 官方实现对比证明"比算法作者自己的工程好"；(2) Std. Serving 对比 + 延迟分解证明"收益来自打破单模型假设的特定机制（pending 状态免前缀匹配），而非笼统的工程优化"；(3) 消融 + DTMC 验证证明"每个组件的贡献可分离、最优参数可理论求解"。吞吐-速度权衡实验（并发 1→16，TokenRouter 吞吐增 8.61× 保持 51.7% 单用户速度 vs 官方 R2R 5.14× / 31.3%）进一步证明收益不靠牺牲单用户体验。

六、效果优势的根源解释

6.1 StoreBench：为什么测出来的结论可信

对比对象：Vending-Bench / MerchantBench 类长程商业基准、Gaia2 类动态环境、静态 agent 基准。

baseline 的根本局限：静态基准的世界是"考卷"——agent 不动世界不动，快慢模型面对相同世界，推理延迟甚至反向渗透进时钟（Gaia2 去除生成延迟使 GPT-5 从 0% 升到 34.4%，说明其得分部分被延迟惩罚污染）；无校准基准的分数没有外部含义——0.7 分无从判断好坏，及格线任意设定；无加固基准的开放式奖励存在可优化缝隙——RL 后训练会把缝隙放大成作弊策略。

因果链（方法差异 → 机制变化 → 指标效度）：

1. 模拟时间 = f(动作序列)（设计）→ 推理延迟与墙钟时间被完全排除出评测变量（机制）→ 分数反映经营决策质量本身，跨 harness 可比（效度）。【论文实验支持：短程 goose 与全年 Claude Code 两套 harness 结果可分开报告且不混淆】
2. 脚本锚定校准（设计）→ 每格零点、尺度、及格线来自实测策略分布而非拍脑袋（机制）→ 及格率成为有含义的量纲，人类 39% vs DeepSeek 49% 的及格率差异揭示了均分掩盖的分布差异（效度）。【论文实验支持】
3. exploiter 锚 + 回归测试目录（设计）→ “无可利用"成为被 CI 强制的属性而非期望（机制）→ 契约上杜绝 RL 训练放大作弊（效度）。【论文实验支持：加固后 exploiter 0.039；GRPO 后训练未见作弊报告】

反事实验证：skeleton-crew 镜头在原始操作预算下"体力出货胜过分诊判断”，触发判断差距门后被重新平衡而非放宽标准——四道门是被执行的，不是口号。

外部证据交叉验证：延迟污染评测的结论与 Gaia2 论文自身报告一致（其引用即为此数据）；小评测集及格线摆动问题与 Yauney et al. 2026 的可靠性研究一致；奖励作弊在 LLM agent 中的现实性有 Denison et al. 2024（奖励篡改）、Baker et al. 2025（监测推理模型不良行为）、Von Arx et al. 2025（前沿模型正在作弊）等多项研究支持。harness 混杂效应（短程 vs 全年差异无法分离 harness 与时程贡献）论文自己诚实标注为局限，与 Harness-Bench（Yao et al. 2026）揭示的 harness 效应一致。

6.2 AgenticBBO：为什么 Agentic 胜过 Direct 与数值优化器

对比对象：Direct（LLM 直接从历史映射下一候选）、固定数值优化器（GP-BO / TuRBO / CMA-ES 等）。

baseline 的根本局限：Direct 的信息利用受限于固定程序——上下文里放历史、直接出候选，无法对历史做任意计算；固定优化器的归纳偏置（GP 核函数、信任域形状）是预设的，无法适配任务结构。

因果链一（Agentic vs Direct，+30.3%）：agent 可写自定义 Python（方法差异）→ 能从轨迹中发现任务特定结构、按需构建归纳偏置（机制变化）→ Bigblue1 案例中 agent 自拟合线性代理模型构造布局，best-so-far 从 0.551（第 1 次评估）升到 0.664（第 4 次）、最终 0.676（指标提升）。【论文实验支持 + 论文给出的具体案例轨迹】固定 GP 后端做不了这件事——它的核与采集函数在任务前就定死了。

因果链二（工具悖论：+GP-Tools 反而 0.589→0.538）：提供更多预设工具（方法差异）→ 52.8% 轮次仍用/混用自写 Python，agent 不把搜索交给提供的优化器（机制观察）→ 预设工具的固定归纳偏置与 agent 自建分析冲突或冗余 → 均分下降。这不是"工具无用"，而是"工具的价值取决于是否匹配任务，而非工具本身多强"——论文据此提出未来方向是从固定工具转向任务自适应工具选择。【论文实验支持 + 阅读者推测的机制解释：工具与自建分析的信息冗余】

因果链三（先验的双刃性）：任务语义（参数名、任务描述）+0.130 → 语义提供正确可行的搜索方向（如知道 innodb_buffer_pool_size 控制缓存）→ 搜索决策可靠。但错误支撑 + 正确几何 = 0.682 ≈ 无先验 0.685 → 收益来自"先验正确→搜索决策可靠"这条因果链，而非信息量本身；先验一旦错误，agent 信任它反而锁定错误子空间，收益归零甚至为负。【论文受控实验直接支持，这是该论文最干净的因果证据】

因果链四（交接有效）：agent warm-up 建立 16/8 次评估的轨迹 → 轨迹本身携带任务结构信息（自建代理已拟合、好区域已定位）→ TuRBO 从该前缀继续 0.570 vs 从头 0.475。说明 LLM 的独特价值在搜索早期的结构发现，后期精炼可交给便宜的经典方法。【论文实验支持；与成本感知路由的未来方向一致】

外部证据交叉验证：LLM 用语义信息改进 BO 与 Liu et al. 2024（LLM 增强 BO）、Ranković et al. 2026（不确定性校准优化器）方向一致；agent 写代码做优化与 Romera-Paredes et al. 2024（FunSearch 程序搜索）同构——从搜索轨迹构建可执行结构；harness 敏感性与 Kapoor et al. 2026（Holistic Agent Leaderboard）、Yao et al. 2026（Harness-Bench）一致。反面限定：DBTune 上 TuRBO 仍最强（0.660 vs 0.525），说明 196 维、代理模型平滑的任务上经典信任域方法的偏置依然占优——Agentic 优势有适用边界。

6.3 TokenRouter：为什么 2-64 倍提升是结构性的

对比对象：算法官方实现（Co-LLM 用 per-model vLLM 服务器 + 连续批处理；CITER/R2R 是无连续批处理的推理引擎）与 Std. Serving（SGLang 单模型服务器 + 外部分发器）。

baseline 的根本局限（三条，全部源于单模型同步假设）：

1. 步去同步：批内请求同步于每步，整批等最慢模型，快模型空转。
2. 批准入延迟：token 路由频繁换模型，路由请求到达时目标模型常在处理上一批，只能等，批碎片化。
3. 状态簿记灾难：每个返回 token 被当新请求——重做前缀匹配、KV 重分配、radix cache 维护。延迟分解证明这三项簿记占每步延迟 70%+（20.94%+17.47%+32.62%），真推理仅 4.2%。瓶颈根本不在模型计算，而在请求管理簿记。

因果链（设计 → 机制 → 指标）：

1. 模型中心子服务器 + 解耦三循环（设计）→ 各模型独立推进，无全局同步屏障（机制）→ 快模型不再等慢模型。消融：异步执行贡献 1.12×。【实验支持】
2. pending 状态 handoff-resume（设计）→ 跨模型切换退化为 token 追加，跳过前缀匹配与 KV 重分配（机制）→ 消灭 70% 的簿记开销。这是 Std. Serving（无此机制）与 TokenRouter 差距的最大来源——Co-LLM 官方实现 3.46 vs TokenRouter 76.02 token/s 的 21.97× 差距主要在此。【实验支持：延迟分解表】
3. 延迟批处理 + DTMC 求解 B*（设计）→ 稀疏路由到达聚合为更大同模型批，且阈值不是手调而是解析最优（机制）→ 消融贡献 1.31×；模型预测最优阈值与实测一致。【实验支持：DTMC 验证图】
4. 反事实：去掉延迟批处理（296.86→372.48 之差）、去掉异步（230.79→296.86 之差）、去掉 CUDA graph（132.78→230.79 之差）逐级退化，每项设计的必要性被量化。

外部证据交叉验证：连续批处理 / PagedAttention 的价值已被 Orca（OSDI'22）、vLLM（SOSP'23）充分证明——TokenRouter 的贡献是把这些单模型优化在模型间保留（子服务器内部仍连续批处理 + 前缀缓存）；投机解码与 token 路由的执行差异（可预测 vs 随机切换）是 serving 社区已知共识，论文的 Figure 4 用四种调度策略的玩具示例（平均延迟 13.33 / 13.00 / 10.83 / 8.67）直观展示了这一点。DTMC 建模排队与批处理的方法论与经典队列论传统一致。限定条件：数学模型假设两次 send 间 token 数服从几何分布（对多数路由算法成立），违反此假设的边界情形留作未来工作；2-64× 的巨大区间反映基线强弱悬殊（对官方 Co-LLM 的 64× 部分因为其实现本身无连续批处理），最能代表"与强基线公平对比"的是相对 Std. Serving 的 2-3× 量级。

6.4 综合判断与未决问题

多项证据共同支持的机制：(1) 评测协议设计（时间计量、锚定校准、奖励加固）决定结论效度——StoreBench 的 Gaia2 延迟对照与 AgenticBBO 的 harness 敏感性引用从两个独立方向证实；(2) 打破单模型假设的系统重构收益是结构性的——TokenRouter 的延迟分解直接量化了簿记瓶颈；(3) agent 的独特价值在于"从轨迹中发现任务特定结构"——Bigblue1 自建代理案例与交接实验相互印证。

仍属推测的机制：工具悖论的深层原因（论文观察到的行为与给出的解释之间，“固定归纳偏置与自建分析冲突"是合理推测而非直接证据）；StoreBench 中 shell-driving vs 原生工具调用差异的原因（论文猜测与终端任务后训练有关，明确标注为开放问题）。

适用边界：AgenticBBO 优势在 DBTune（高维平滑）不成立；TokenRouter 收益依赖路由算法的几何分布假设；StoreBench 结论限于单一服装店、参数化需求模型与脚本化竞争者；GRPO 增益主要来自运营纪律而非商业策略（重定价、补货几乎没学到），说明长时程判断能力的习得需要更长训练。

七、必要知识反推

假设让一个完全没有背景的人重做这三篇论文，最少必须掌握什么？

7.1 领域知识层

StoreBench：(1) 电商运营的业务闭环——采购、定价、库存、履约、退货、财务如何互相牵制，净资产如何构成（现金、存款、应收、在途、库存残值）；不理解这个闭环就无法设计"业务 0.7 / 可靠性 0.2 / 连续性 0.1"的评分权重，也无法构造退款悬崖这类经济缝隙。(2) 需求侧与供给侧的基本规律——价格弹性、季节性、交期分层、缺陷率，这些是隐藏需求模型的参数化依据。(3) Medusa v2 的管理 API 面——29 个 MCP 工具直接映射其能力。

AgenticBBO：(1) BBO 的形式框架——H → x → y → H 循环、有限预算、顺序评估；这是协议设计的骨架。(2) 五个任务域各自的评估器与搜索空间结构（解析函数 / 交叉验证 / 学习代理 / 布局合法化+HPWL / SMILES 与 Tanimoto 相似度）。(3) GP/BO 的机制细节（核函数、采集函数、Matérn-5/2 等）——工具因子与角色因子研究都需要把 GP 后端作为可暴露的接口拆解。

TokenRouter：(1) LLM 推理的执行细节——解码步、KV cache、前缀匹配、radix cache、连续批处理、CUDA graph；不懂这些就无法定位 70% 簿记开销。(2) 自回归解码的请求生命周期——这是 route-send-receive 抽象的来源。(3) 五种路由算法的触发信号（置信度/熵/分歧/deferral/集成权重）——接口必须覆盖全部五种的语义。

7.2 方法论知识层

评测方法论（三篇共享）：受控变量设计（AgenticBBO 的配对消融）、归一化与锚点构造（RSI-Exam 式 anytime 评分；StoreBench 的脚本锚）、及格线校准的噪声余量（防摆动门）、harness 作为混杂变量的识别与分离。对抗性思维：StoreBench 的漏洞目录来自"审计-关闭-钉死"循环，要求作者能像攻击者一样思考奖励面。随机建模：DTMC 稳态分析、几何分布假设、多项式分布路由结果——TokenRouter 阈值优化的数学底座。RL 后训练：GRPO 的组相对优势、LoRA 适配、密集奖励整形（StoreBench 训练通道把 clip 放宽到 [-2,1] 以在亏损区间保留梯度）。

7.3 工程知识层

生产级系统复用（Medusa、SGLang 0.5.1、Codex harness、vLLM）；容器隔离与宿主-容器接口设计（AgenticBBO 的 bbo_tool.py CLI 桥）；确定性与溯源（噪声流键控、镜像摘要、字节级重放、run manifest）；分布式工程（ZeroMQ IPC、CUDA MPS 多模型共置、张量并行分配策略——LLM TP 优先于 SLM）；成本核算（StoreBench 全程 $16k API 开销的记录方法）。

7.4 知识融合的关键节点

• 节点一（StoreBench）：「运营工作的三个破坏性特征（世界自走、累积成功、开放式奖励）」×「RL 评测工具箱（锚定、校准、回归测试）」→ 把评测问题转化为工程问题：每格阈值不是设定的而是实测的，每个漏洞不是修复的而是钉死的。
• 节点二（AgenticBBO）：「Agentic BBO 的生命周期抽象（中间动作在线决定）」×「受控实验设计」→ 把"agent 是否更好"这个模糊问题分解为三个可操纵的因子，并用"归一化锚不含参赛者"守住评分的中立性。
• 节点三（TokenRouter）：「全部路由算法共享 receive→decode→route→send 生命周期」×「serving 系统的异步循环结构」→ 意识到只需三个用户函数 + 一条额外的 inter-model 循环就能覆盖整个算法族，再用排队论把最后一个自由参数（B）解析化。

八、通用性灵感

8.1 用实测策略阶梯给分数赋予含义（来自 StoreBench）

核心思想：任何开放式评分都应校准到"可复现的参照策略阶梯”——从最蠢到启发式高手的实测分数定义零点、尺度与及格线，而不是拍脑袋定 60 分万岁。

论文证据：blast-list（无脑体力）能拿到最佳锚 65% 的综合分却一处都及格不了；人类专家均分高于所有模型但及格率反而低于 DeepSeek（39% vs 49%）——校准揭示了均分掩盖的分布差异。

推广场景：(1) 教育测评：用"随机作答 / 死记硬背 / 合格学生"锚定考试难度；(2) 代码评审自动化：用"仅格式检查 / 规则清单 / 资深工程师"锚定评审器水平；(3) 自动驾驶测试：用"保守策略 / 激进策略 / 人类司机"的事故率阶梯校准安全阈值；(4) 投资 agent 评测：用指数化 / 再平衡 / 主动经理做锚。

8.2 把时间做成动作的纯函数（来自 StoreBench）

核心思想：评测中凡是"墙钟时间"能影响结果的地方都是偏差入口；把模拟时间定义为动作序列的纯函数，可以彻底剥离延迟因素，让快慢不同的模型/harness 面对同一世界。

论文证据：Gaia2 中去除生成延迟使 GPT-5 从 0% 升到 34.4%；StoreBench 用"1 次工具调用 = 1 操作、12 小时窗口"使模拟时间与推理延迟无关，短程（goose）与全年（Claude Code）两套 harness 的结果得以分开报告而不互相污染。

推广场景：(1) 人机协作研究：剥离打字速度对协同效率的影响；(2) 爬虫/自动化测试：用操作数而非执行时间计费；(3) 云服务 SLA：按操作而非延迟定义配额；(4) 多 agent 博弈实验：消除硬件差异带来的先手优势。

8.3 漏洞不是修完就算，要钉死并回放（来自 StoreBench）

核心思想：对任何会被优化器触碰的奖励面，“当前没人钻空子"和"没人能钻空子"是两个命题；每个已关闭的漏洞应绑定一个对抗性回归测试，且每次校准都重放全部漏洞目录。

论文证据：756 次预加固试验审计出 9 类漏洞（含"彩票定价"这类隐蔽经济缝隙：用缺货诱饵变体拉低货架中位价），每个漏洞一个回归测试、全部进 CI，exploiter 锚每次校准回放整目录；加固后 exploiter 均分 0.039 vs 诚实锚 0.46-0.76。

推广场景：(1) 金融风控规则：每条堵住的套利路径配回归用例；(2) 游戏反作弊：经济系统每次改动重放历史作弊录像；(3) 搜索引擎反 SEO：封禁策略带回归验证；(4) RLHF 奖励模型：每个已发现的 reward hack 配对抗样本进训练集。

8.4 收益来自先验正确，而非信息量本身（来自 AgenticBBO）

核心思想：给决策者（人或 agent）更多信息不必然更好；信息的价值完全取决于它能否转化为正确的行动——错误的具体信息比没有信息更糟，因为它锁死了探索。

论文证据：正确支撑+几何 0.872 vs 无先验 0.685（+0.187），但错误支撑+正确几何 0.682 ≈ 无先验——一条错误信息精确抵消了整条正确几何描述的收益；FullPrior 在六个真实任务上部分受益部分受损，均值反低于纯语义。

推广场景：(1) 医疗诊断辅助：错误的鉴别方向比空白病史更误导；(2) 供应链计划：错误的预测信号应显式标注低置信度而非混入计划输入；(3) LLM RAG：检索到似是而非的文档比空检索更有害，需要可信度门控；(4) 战略咨询：过时且错误的行业报告应被过滤而非堆积。

8.5 更多工具不必然更好，能力匹配才重要（来自 AgenticBBO）

核心思想：给一个能自主构建工具的智能体预置更多"高级工具”，可能反而干扰它从数据中自建任务特定的分析；工具的价值在于与任务的匹配度，而非工具自身的强度。

论文证据：裸 Agentic 0.589 > +GP-Suggest 0.574 > +GP-Tools 0.538；引入全套 GP 工具后 52.8% 轮次仍用/混用自写 Python；Bigblue1 案例 agent 自拟合线性代理实现 0.551→0.676。

推广场景:(1) IDE 设计：给 AI 编程助手预置过多脚手架可能干扰它读懂项目结构；(2) 数据科学平台：自动特征工程工具与分析师自建特征的选择问题；(3) 组织管理：给自学型员工强推方法论模板 vs 让其按问题定制流程；(4) 机器人技能库：预置技能与从演示中自建技能的权衡。

8.6 LLM 的最佳位置可能在"建立结构"而非"全程执行"（来自 AgenticBBO）

核心思想：昂贵智能体的独特价值在搜索早期的结构发现（识别活跃变量、拟合初始代理、定位好区域）；一旦轨迹建立，便宜的经典方法可以接手精炼——成本感知的角色分工优于全程在线。

论文证据：agent 先跑 16/8 次评估再交给 TuRBO 得 0.570，与全程在线 0.569 持平，且显著优于 TuRBO 从头开始 0.475。

推广场景：(1) 自动调参服务：LLM 冷启动采样 + TPE 精炼的混合管线；(2) 自动驾驶：大模型做场景理解与路线规划、小模型做实时控制；(3) 科研自动化：LLM 提出假设与实验设计、自动化平台执行；(4) 客服系统：LLM 处理首问复杂意图、规则系统处理后续标准化跟进。

8.7 接口对齐执行生命周期，复杂度自然消失（来自 TokenRouter）

核心思想：为一个算法族设计系统接口时，先提取它们共享的执行生命周期，让用户只填生命周期中的三个钩子——系统复杂度与算法复杂度就此解耦。

论文证据：五种路由算法（CITER/R2R/R-Stitch/Co-LLM/ME）触发信号各异，但全部表达为 route-send-receive 三函数的实现（论文 Table 1 + R-Stitch 代码示例仅约 15 行）；开发者无需理解异步调度即可表达算法。

推广场景:(1) 数据库引擎：用统一的查询生命周期钩子支持不同查询优化策略；(2) 机器人中间件：感知-决策-行动生命周期钩子化以支持不同控制策略；(3) 工作流引擎：用统一的状态机接口承载不同业务流程；(4) 深度学习框架：训练步生命周期钩子（on_batch_start 等）正是同一思想的成功先例。

8.8 状态保留优于状态重建（来自 TokenRouter）

核心思想：跨执行上下文切换时，“保留状态 + 增量恢复"几乎总优于"重建状态”——把切换成本降到一个接近追加操作的常数，才能让细粒度切换在经济上可行。

论文证据：pending 状态使跨模型切换退化为 token 追加，跳过前缀匹配与 KV 重分配；对照 Std. Serving 中这三项簿记占每步延迟 70%+（前缀匹配 20.94% + 锁节点 17.47% + radix 更新 32.62%），而真实推理仅 4.2%。

推广场景：(1) 微服务架构：会话粘性 vs 每次重建上下文；(2) 操作系统进程切换：寄存器/页表保留的对照设计；(3) 数据库连接池：保留连接状态 vs 每次握手；(4) 编译器增量编译：保留中间表示 vs 全量重编。

8.9 用数学模型消灭超参数试凑（来自 TokenRouter）

核心思想：系统中的关键权衡参数（如此处"等多久凑批"）若能建模为马尔可夫链之类的解析对象，就可以离线求解最优值，取代线上网格搜索——可解释且可复现。

论文证据：DTMC 吞吐模型在 R2R 各并发级别下预测的最优阈值 B* 与实测最优完全一致；消融中延迟批处理贡献 1.31×。

推广场景：(1) 微批大小调度：流式计算引擎的攒批阈值；(2) 电梯调度：停等时间与运载量的权衡解析化；(3) 网络拥塞控制：缓冲区大小的建模求解；(4) 呼叫中心排班：接线员分组阈值。

8.10 三篇的共同元灵感：底层协议决定上层结论

核心思想：无论是评测基准还是服务系统，底层协议（时间怎么计、预算怎么算、状态怎么存、分数怎么归一）决定了上层一切比较的有效性；协议里的每一条隐藏假设（同步、单模型、终态判定、任意阈值）都是未来被推翻的候选。

论文证据：StoreBench 用操作计量时间剥离延迟偏差（Gaia2 对照：GPT-5 从 0→34.4%）；AgenticBBO 用"只有目标评估计预算 + 归一化锚不含参赛者"守住比较公平性；TokenRouter 打破单模型同步假设获得 2-64× 提升。

推广场景:(1) 竞赛规则设计：计时方式改变会改变选手策略；(2) 学术同行评审：评审协议（单盲/双盲/开放）影响结论分布；(3) 平台经济：抽成与排名协议决定生态行为；(4) API 计费模式：按 token/按请求/按操作各自塑造使用者的行为模式。

三篇论文一句话总结：StoreBench 证明了"把评测做成工程"可以测出模型真实的长期运营差距；AgenticBBO 证明了"把评测做成受控实验"可以分离 agent 设计中的因果因子；TokenRouter 证明了"把系统假设显式化并逐条打破"可以把算法的理论收益兑换成真实加速——它们共同示范了 AI 基础设施研究中"协议与系统优先"的方法论。