论文链接：RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing 代码仓库：LaughKing/RouteWeaver 发表时间：2026年10月 机构：南洋理工大学（Nanyang Technological University）+ 华中科技大学（Huazhong University of Science and Technology）+ 伊利诺伊大学厄巴纳-香槟分校（UIUC）；第一作者 Xiaohan Wang 为华中科大学生，本工作在其于南洋理工大学实习期间完成，属跨校学术合作 领域标签：cs.CL（计算语言学）/ LLM 路由 / 强化学习
一、论文背景
LLM 路由是什么。 随着 ChatGPT、Claude、Gemini、Qwen、Llama 等大模型百花齐放，没有任何一个模型在所有任务上都最强：有的擅长数学、有的擅长代码、有的便宜快速。LLM 路由（LLM Routing）就是在一个"模型池"前面装一个调度员——每来一个用户请求，调度员判断这个请求该交给池子里的哪个模型去回答。这就像医院的分诊台：病人来了先问症状，再决定挂哪个科的号。路由的价值在于用小模型的成本拿到大模型的效果，或者把不同类型的请求送到各自最擅长的模型上。
路由的三种执行范式。 论文指出，现有路由方法按"模型调用如何组织"分成三类，本精读称之为三种执行范式：
- 单轮路由（single-round）：路由器为每个请求只选一个模型、只调用一次，拿到答案直接返回。结构最简单、成本最低，像"一锤子买卖"。
- 多轮路由（multi-round）：路由器看着中间输出连续做多次选择。比如先让模型 A 算出草稿，再让模型 B 验证、修正，最后汇总。每次选择都以前面所有调用及其返回为条件。
- 智能体式路由（agentic routing）：把多个模型组织成有角色、有依赖关系的协作工作流。每个模型调用带一个角色（规划者、执行者、验证者、总结者），并显式引用之前哪些调用的输出作为输入，形成分支、聚合的结构，独立调用还可以并行。
范式的固化是当前的核心痛点。 现有工作无论多强，都是在训练前就"钦定"了执行范式：RouterDC、GraphRouter 只做单轮；Router-R1 只做多轮；MasRouter、GraphPlanner 只做智能体式。范式一旦固定，路由器能在范式内部自适应地换模型，却不能自适应地换"组织方式"。可是一个简单事实是：不同任务适合的组织方式天然不同——事实问答一次调用就够，逻辑推理可能需要"规划-执行-验证"多角色协作，代码生成可能需要"生成-检查-修复"的多轮迭代。论文的 Table 1 恰好印证：在 Math/Code/Knowledge 三个域上，多轮路由器是基线里最强的；而在 Reason/Recall 两个域上，单轮路由器反而最强。没有任何单一范式在所有任务域上普适占优，这就是统一路由的直接动机。
统一为什么难。 把三种范式塞进一个策略，不是简单的接口合并，而是带来两个学习难题：其一，“什么时候用哪种模式"需要在任务执行展开之前就做出判断，属于前瞻决策；其二，“在选定模式内如何选模型、如何组织调用"在不同模式下形态迥异——单轮只需选一个模型，多轮要根据中间输出调整后续选择，智能体式还要规划角色与依赖。两个层面的决策纠缠在同一条轨迹的奖励信号里，常规训练难以区分"模式选错了"还是"模式内执行差了”。这篇论文的核心贡献，就是同时解决统一表示、双层信用分配和模式探索三个问题。
二、论文定位和关联工作
RouteWeaver 站在两条研究线的交汇处：执行范式谱系与 GRPO 系强化学习谱系。
2.1 执行范式谱系：三条各自繁荣的分支
单轮路由分支。RouteLLM 从偏好数据学习路由；RouterDC 用双重对比学习建模查询-模型关系；GraphRouter 把查询和模型建成图做基于图神经网络的选模型；ICL-Router 通过学习的模型表示做上下文路由。这一支的共同点：一次决策、一次调用，优点是便宜，缺点是无法利用多模型协作的复合能力。
多轮路由分支。Router-R1 把路由形式化为序列决策过程，用 RL 训练路由器反复选模型并聚合回答，是本文实验中的最强基线（55.3%）；R2-Reasoner 结合任务分解与模型分配做中间推理。这一支让路由能"边看边选”，但组织方式仍是线性串行。
智能体式路由分支。MasRouter 联合学习协作结构、智能体角色与模型选择；GraphPlanner 用图记忆增强的规划器生成查询依赖的工作流。这一支表达力最强，但训练和推理成本也最高，且容易在小任务上"杀鸡用牛刀"。
本文的定位：前序工作把"范式"当作超参数在系统设计时手工固定，RouteWeaver 把范式本身降格为一个可学习的动作——统一策略的第一个路由决策。这与"模型选择"和"组织方式选择"的解耦思想一脉相承，但据论文所知是首个将三范式统一为单一可学习策略的工作。
2.2 GRPO 谱系：信用分配的持续精细化
GRPO 用组内相对奖励替代 critic 估计优势，启发了大量变体：Dr.GRPO 修正优化偏置；DAPO 用非对称裁剪和动态采样改善稳定性；GDPO 为多奖励优化解耦奖励归一化；GiGPO 为多轮智能体引入回合级与步级相对优势做更细的信用分配。交互式 RL 方面，Search-R1、ReTool 训练模型交织推理与工具调用。
COMET-GRPO 在此谱系中的位置：它继承了"组相对优势"思想（来自 GRPO）与"分奖励分量归一化"（来自 GDPO），创新点在于按决策层级（模式层 vs 执行层）而非时间步或奖励类型做优势分解，且分解满足恒等式 A_mode + A_inner = A_GRPO（论文附录 C.2 证明），即两层信号是原 GRPO 优势的正交拆分。
2.3 定位总结表
| 维度 | 之前的路线 | 本论文的突破 |
|---|---|---|
| 执行范式 | 训练前手工固定（单轮/多轮/智能体三选一） | 范式成为策略的第一个可学习动作 |
| 决策空间 | 只在固定范式内选模型 | 联合学习"用哪种模式"+“模式内怎么路由” |
| 信用分配 | 轨迹级统一优势（GRPO） | 模式层/执行层双层解耦优势（COMET-GRPO） |
| 探索保障 | 无（早期偏好会锁死其他模式） | 三阶段渐进探索+支持惩罚防模式塌缩 |
| 成本控制 | 多为固定配置 | 单一 α 旋钮在 86% 成本缩减区间内调节工作点 |
三、问题定义
具体场景。给定查询 x 与冻结的 Worker 模型池 W = {w1, …, wN}，路由器 R 决定调用哪些 Worker 以及如何组织这些调用。论文把"Worker 调用与信息流的组织模式"称为执行结构（execution structure）。三种范式的形式化：单轮 w = R(x) 一次调用；多轮 (wt, st) = R(x, ht-1) 以前缀历史为条件逐次决策；智能体式 (wt, st, rt, Pt) = R(x, Gt-1) 在工作流图 Gt 上为每次调用追加角色 rt 与前驱引用集 Pt。
核心洞察：执行范式 ≈ 动作空间的最外层决策。论文发现，三种看似异构的执行结构可以共享同一种"模式条件轨迹"表示：τ = (m, a1, o1, …, aT, oT, y)，其中 m 是首个模式选择动作，at 是模式兼容的路由动作，ot 是环境注入的 Worker 输出，y 是最终答案。单轮是 T=1 的特例，多轮是线性依赖链的特例，智能体式则在动作中追加角色与引用字段。范式差异从"系统架构差异"被降维成"轨迹前缀的一个 token 差异"——这正是统一的数学基础。
形式化问题定义。给定查询分布、冻结 Worker 池与奖励（任务奖励 r_task ∈ {1, 0, -1} 对应正确/错误/终止无效，效率奖励 r_eff = 1/(1 + C(τ)/C_ref)），学习单一策略 πθ 最大化混合奖励，约束是：策略需同时输出模式 m 与模式内的全部路由动作，且优化信号只有轨迹级标量奖励（无法直接观测"模式选对了吗"与"执行做好了吗"各自的分项分数）。
这个抽象的精妙之处在于把"结构性选择"（组织方式）与"参数性选择"（模型挑选）放进同一动作语法，使得一个自回归语言模型策略天然可以统一生成两者；而信用分配难题则通过分解恒等式（A_mode + A_inner = A_GRPO）转化为可实现的组统计量计算——不需要额外的 critic 或过程奖励模型。
四、问题解法
RouteWeaver 由三块组成：统一路由格式、COMET-GRPO 联合训练、渐进探索。逐一拆解。
4.1 统一路由格式：一套 XML 动作语法吃下三种范式
路由器的输出被序列化为四类元素：模式元素（<mode>agentic</mode>）、Worker 调用元素（<route model="worker 2" role="verifier" refs="n1">检查该解法</route>）、环境注入的观测元素（<observation id="n2">...</observation>）、最终答案元素（<answer>...</answer>）。三模式共用同一语法，仅约束不同：
| 模式 | 调用约束 | 上下文传递 |
|---|---|---|
| 单轮 | 恰好 1 次调用 | 无 |
| 多轮 | 2-4 次串行调用 | 每次调用收到上一观测 |
| 智能体式 | 最多 8 次调用、10 个路由回合 | 角色四选一（planner/executor/verifier/summarizer），按层并行，引用仅限更早层 |
关键设计：Worker 只以匿名 ID + 能力描述暴露给路由器（不看名字、不看价格），防止路由器记忆模型身份而非学习"能力-任务匹配"。首个违反语法或执行约束的动作使轨迹终止并得 (-1, -1) 奖励。类比：这就像给三种不同的交通方式（步行、公交、包车）设计了同一张"出行指令单"，指令单第一栏填方式，后面各栏按方式填写对应的细化指令。
4.2 COMET-GRPO：把轨迹优势拆成"跨模式"与"模式内"两层
类比：一支球队输了球，教练需要区分是"阵型选错了"还是"阵型对了但球员发挥差"。传统 GRPO 相当于只看比分给全队打同一个分；COMET-GRPO 先把同类阵型的比赛归为一组看阵型平均战绩（跨模式层），再看这场球相对同阵型平均的偏差（模式内层）。
双层相对优势。对每个查询采样 K 条轨迹（rollout），对每个奖励分量 c（task 与 eff 分别计算）：组均值 μ、组标准差 σ；设 V_m 为组内选了模式 m 的子集，其均值为 μ_m。对模式为 m_i 的轨迹 i：
- 跨模式优势：A_mode_i = (μ_{m_i} - μ) / (σ + ε)——所选模式的平均表现 vs 组平均，衡量"这个模式本身好不好"；
- 模式内优势：A_inner_i = (r_i - μ_{m_i}) / (σ + ε)——本轨迹 vs 同模式平均，衡量"这次执行好不好"。
两者都用组标准差 σ 而非模式内标准差归一，保持同一尺度，且相加恰好还原 GRPO 优势。若某模式只有一条保留轨迹，其 A_inner 为零；若全组同模式，所有 A_mode 为零（退化组处理见附录 C.2）。
决策专属信用分配。A_mode 只施加于模式选择的少数 token，A_inner 施加于其后的全部路由 token（Worker 选择、角色、引用、子查询、最终答案）；观测与注入内容全部 mask。这直接回应了"低分轨迹无法归因"的问题：模式 token 与执行 token 各自与自己的责任信号对齐。
奖励分量混合。按 GDPO 式做法，task 与 eff 两个分量各自用各自的组统计归一后再混合：A_l = (1-α)·A_l,task + α·A_l,eff，l ∈ {mode, inner}。α=0 只优化任务性能，α>0 引入效率信号。分分量门控：若某分量 σ < 10^-4（组内无区分度），该分量不贡献优势——例如全组都对但成本不同时，任务分量被门控、效率分量保留。
分段归一化防稀释。两类损失分别除以各自的有效 token 数 N_mode 与 N_inner 再相加。理由：模式 token 通常远少于执行 token，若统一平均，模式项会因"太短"而在总体梯度中被稀释。这是对"短决策序列在长轨迹中被淹没"这一普遍问题的直接工程回应。
其他训练细节：PPO 式裁剪代理目标（η±=0.2，负优势双重裁剪 c=3），对冻结初始路由器（而非 π_old）的 KL 正则（β=0.001），AdamW、lr=1e-6、每步对 32 查询 × 8 rollout = 256 条轨迹做单次 on-policy 更新，共 90 步。
4.3 渐进探索：先学会执行，再学会选择
问题：若从第一步就放手让路由器自选模式，早期随机偏好会让它反复尝试某一两种模式，其他模式缺乏训练样本，策略被初始偏好锁死——论文在消融中观测到完全塌缩（100% 单轮）。
三阶段课程（以数据批索引 b 为轴）：
- 冷启动（b < 25）：所有查询强制分配模式（批内均摊），注入的模式 token 被 mask，用普通 GRPO 只在任务奖励上训练。目的是让路由器先掌握每种模式内"怎么把活干好"。
- 强制/自由过渡（25 ≤ b < 75）：强制概率 ρ_b 从 1 线性降至 0。自由组用公式 (7) 的双层优势；强制组用普通 GRPO 优势作用于执行 token。同时加入单侧支持惩罚 L_support = (1/|M|)·Σ_m max(0, log δ - log(p̄_m + ε))，δ=0.05：只惩罚批级平均模式分数 p̄_m 低于地板的模式，防概率过早集中。它作用于批级平均而非单查询，允许不同查询偏好不同模式。
- 完全自主（b ≥ 75）：全部自由组，COMET-GRPO 联合优化。
类比：先让学徒在三个车间各轮岗一遍学会手艺，再逐步放权让它自己接活，放权过程中还保底"每个车间至少得有人会去"，最后完全自负盈亏。
4.4 全景：三组件如何咬合
| 组件 | 输入 | 输出 | 解决的挑战 |
|---|---|---|---|
| 统一路由格式 | 查询 x | 模式条件轨迹 τ | 异构执行结构的公共表示 |
| COMET-GRPO | 组内轨迹+双奖励 | 双层优势+分段归一损失 | 模式/执行信用混淆 |
| 渐进探索 | 训练批索引 | 强制概率调度+支持惩罚 | 早期模式偏好锁死 |
五、评估指标与实验证据
5.1 指标体系
主指标：各数据集准确率（每题二元判分：MATH/Omni-MATH 符号等价；APPS/LiveCodeBench/TACO 沙箱执行通过全部测试用例；SuperGPQA 选项精确匹配；SATBench 最后一次 SAT/UNSAT 匹配；TriviaQA/SimpleQA-Verified 规范化匹配），域准确率为数据集均值的非加权平均，总平均为五域均值的非加权平均。辅助指标：固定参考价格下的 Worker 推理成本（美元/查询）、held-out 泛化准确率。消融指标：模式使用分布（S/M/A 三元比例）——直接观测模式塌缩。
5.2 实验设置
9 个基准覆盖 5 域：Math（MATH、Omni-MATH）、Code（APPS、LiveCodeBench、TACO）、Knowledge（SuperGPQA）、Reason（SATBench）、Recall（TriviaQA、SimpleQA-Verified），测试共 1,060 题、与 3,200 条训练查询不重叠。路由器为 Qwen3-4B-Instruct-2507 全参微调；Worker 池 6 个冻结模型：Qwen3-8B、Llama-3.1-8B、Qwen3-30B-A3B、Gemma-3-27B、Llama-3.3-70B、Gemini-2.5-Flash-Lite（匿名 ID + 能力描述）。基线 10 个路由器横跨三范式。
5.3 主结果：五域全面领先
| 方法（范式） | Math | Code | Knowledge | Reason | Recall | Avg |
|---|---|---|---|---|---|---|
| Router-KNN（单轮） | 61.7 | 34.8 | 38.3 | 68.3 | 40.4 | 48.7 |
| Router-MLP（单轮） | 58.7 | 33.2 | 40.0 | 59.2 | 34.2 | 45.1 |
| RouterDC（单轮） | 61.3 | 29.4 | 34.2 | 57.5 | 35.0 | 43.5 |
| GraphRouter（单轮） | 64.6 | 36.1 | 34.2 | 69.2 | 39.6 | 48.7 |
| Prompt LLM（多轮） | 45.8 | 33.7 | 29.2 | 54.2 | 30.0 | 38.6 |
| Router-KNN-MR（多轮） | 40.8 | 33.2 | 30.8 | 48.3 | 29.6 | 36.6 |
| R2-Reasoner（多轮） | 45.8 | 30.7 | 28.3 | 50.0 | 23.3 | 35.6 |
| Router-R1（多轮） | 66.3 | 52.8 | 48.9 | 68.7 | 39.8 | 55.3 |
| MasRouter（智能体式） | 54.2 | 37.6 | 41.7 | 62.5 | 38.3 | 46.8 |
| GraphPlanner（智能体式） | 47.5 | 48.3 | 30.0 | 54.2 | 39.2 | 43.8 |
| RouteWeaver（统一） | 74.6 | 58.2 | 55.0 | 76.7 | 42.5 | 61.4 |
RouteWeaver 平均 61.4%，对最强基线 Router-R1 相对提升 11.03%；对最强单轮（GraphRouter/Router-KNN 48.7）、最强多轮（Router-R1 55.3）、最强智能体式（MasRouter 46.8）分别相对提升 26.08%、11.03%、31.20%。值得注意的是各域最强固定范式不同：Math/Code/Knowledge 上多轮基线最强，Reason/Recall 上单轮最强——直接支撑"无单一范式普适"的统一动机。
5.4 成本-性能权衡与 held-out 泛化
| 配置 | 成本变化 | 准确率变化 |
|---|---|---|
| α=0.1 | -23% | -1.0 点 |
| α=0.3 | -61% | -3.1 点 |
| α=0.5 | -86% | -11.2 点 |
单一 α 旋钮即可在大幅成本区间内移动工作点，说明统一策略并未牺牲部署灵活性。
held-out 基准（未参与路由器训练）：AIME 57.0 vs Router-R1 45.6；GPQA-D 69.2 vs 62.1；BBH 35.0 vs 28.6；平均 53.7% vs 45.4%（相对提升 18.28%）。且路由行为在未见基准上同样分化：AIME 75% 走智能体式而 BBH 仅 12%——自适应行为跨基准迁移。
5.5 消融：两组件缺一不可，塌缩是有力证据
| 变体 | Avg | 模式使用 (S/M/A) | 关键域退化 |
|---|---|---|---|
| RouteWeaver 完整 | 61.4 | .35/.41/.24 | — |
| 去掉 COMET-GRPO | 58.8 | .13/.82/.05 | Knowledge -5.8 点 |
| 去掉渐进探索 | 55.6 | 1.00/.00/.00 | Code -9.6、Reason -8.4 点 |
去掉 COMET-GRPO 后策略向多轮严重集中（82%）；去掉渐进探索后完全塌缩到单轮——这两个塌缩现象本身就是"两组件分别防住两种失败模式"的最有力证据。即便如此，两个消融变体（58.8%、55.6%）仍高于最强固定范式基线（55.3%），说明统一表示本身亦有贡献。
5.6 路由行为分析
α=0 时各域模式分布：Math 19%/50%/31%（三模式并用）；Code 84% 多轮；Knowledge 72% 单轮；Reason 99% 智能体式；Recall 96% 单轮。学到的分布与人类直觉高度一致：逻辑谜题需要规划-验证结构，事实回忆一次调用足矣，代码需要迭代修复。
六、效果优势的根源解释
6.1 根源机制与证据链
因果链一：范式可路由 → 组织方式与任务匹配 → 五域一致领先
- 方法差异：固定范式路由器的动作空间被限定为"换模型"；RouteWeaver 把范式变成首个动作，动作空间扩展为"换组织方式 × 换模型"。（论文实验设计支持）
- 机制变化：策略可以为 Reason 任务生成"规划-执行-验证-总结"的四角色工作流（99% 智能体式），同时为 Recall 任务只发一次调用（96% 单轮），避免小任务上多调用的成本浪费与大任务上单调用的能力不足。（论文路由行为分析已支持，图 4）
- 指标提升：五域相对提升 5.20%-12.52%，且各域最强固定范式不同的事实证明这种匹配增益无法由任何单一范式复现。（Table 1 已支持）
因果链二：双层优势 → 信用归因清晰 → 保住差异化模式选择
- 方法差异：标准 GRPO 给模式 token 与执行 token 同一轨迹优势。（方法对比，论文自述）
- 机制变化：低分轨迹可能是"模式错"或"执行差"，统一信号让两类 token 互相背锅——模式选择 token 收到的梯度噪声大。COMET 的 A_mode 用"所选模式组均值 vs 全组均值"隔离模式责任，A_inner 用"轨迹 vs 同模式均值"隔离执行责任，且分解满足恒等式不丢失信息。（机制分析已支持；恒等式论文附录已证明）
- 指标提升：去掉 COMET-GRPO 后模式分布从 .35/.41/.24 塌向 .13/.82/.05，Knowledge 掉 5.8 点——正是最依赖模式区分的域受创最重。（Table 2 已支持）
因果链三：渐进探索 → 模式覆盖训练充分 → 防完全塌缩
- 方法差异：从头自主选模式。（方法对比）
- 机制变化：早期偏好形成正反馈——某模式被多选→该模式执行学得好→奖励更高→更被多选，其他模式陷入"缺乏训练所以表现差所以更不被选"的马太效应。强制阶段保证每种模式获得等量执行学习机会；支持惩罚在过渡期给低支持模式托底。（机制分析属阅读者推测，塌缩现象论文实验已支持）
- 指标提升：去掉渐进探索完全塌缩（1.00/.00/.00），Code -9.6、Reason -8.4 点——恰是单轮范式最吃亏的两个域。（Table 2 已支持）
反事实推理：两个消融变体仍超最强基线，说明统一表示贡献了基础增益（约 +0.3~+3.5 点），而两组件各贡献约 +2.6 与 +5.8 点——执行层面组件的贡献大于表示层面。
6.2 相关工作检索与对照
本次未执行外部检索，因果链基于论文自身实验与机制分析。以下对照采用深读提取清单（g2_extraction.md 第 12 节）中的对比信息：
| 研究谱系 | 相似尝试 | 相关结论 | 与本文的差异 | 对根源解释的影响 |
|---|---|---|---|---|
| GiGPO（NeurIPS 2025） | 回合级+步级双层相对优势做智能体 RL 信用分配 | 分层相对优势改善多轮信用分配 | 层级按时间步划分，本文按决策性质（模式/执行）划分且施加于不相交 token 集 | 支持"按决策层级分解优势"有效（方法相似） |
| GDPO（arXiv 2601.05242） | 分奖励分量归一化避免联合归一的偏置 | 分量解耦改善多奖励优化 | 本文借用其思想于 task/eff 混合，创新在 mode/inner 维度 | 支持"解耦归一化"路线（结论相近） |
| Router-R1（NeurIPS 2025） | RL 训练多轮路由+聚合 | 多轮自适应优于单轮固定 | 范式仍固定为多轮；本文将其纳入统一动作空间并全面超越 | 其存在反衬统一动机：它是 Math/Code/Knowledge 最强但 Reason/Recall 弱 |
| MasRouter（ACL 2025）/ GraphPlanner（ICLR 2026） | 学习协作结构与角色分配 | 智能体式组织有效但成本高 | 范式固定为智能体式；本文让它与轻量范式公平竞争，仅在 Reason 类任务占优 | 支持"组织方式需与任务匹配"的因果链一 |
| Dr.GRPO / DAPO | 修正 GRPO 偏置、稳定训练 | 组相对优势家族持续有效 | 均为标量轨迹级改进，未触及层级分解 | 限定：GRPO 家族改进与本文正交可叠加 |
6.3 综合判断与未决问题
多研究共同支持的机制：(1) 分层/分解式相对优势优于统一轨迹优势（GiGPO、GDPO 与本文消融三方一致）；(2) 组织方式与任务类型的匹配带来真实增益（三范式基线各有所长的事实与本文路由行为分析一致）。
仍属合理猜测的机制：渐进探索防塌缩的"马太效应"解释目前只有消融终点（完全塌缩）佐证，缺中间训练动态曲线；模式 token 数量少导致梯度稀释的假设有分段归一化的工程必要性佐证，但无直接梯度范数测量。
适用条件：优势成立的前提是任务分布确实异质（若部署场景 95% 是事实问答，统一策略的额外训练成本未必划算）；Worker 池需有真实能力差异（匿名 ID+能力描述的设计依赖池内互补性）。
可能的失效条件：任务分布漂移到训练未见的新形态时模式选择可能失准（held-out 实验缓解但未消除此虑）；Worker 池更换后能力描述与实际不符会破坏"能力-任务匹配"学习；智能体式 8 调用上限约束了超长推理任务的潜力。
七、必要知识反推
假设让一个完全没有背景的人完成这项工作，最少需要掌握什么？
7.1 领域知识层
- LLM 路由的全貌：三种执行范式的定义、代表工作与各自优劣。不理解"范式固定"这一行业惯性，就无法发现"范式可路由"这个空白。
- Worker 池生态：主流开源/闭源模型的能力光谱与价格体系（论文附录 Table 7 的参考价格表），这是设计成本奖励与匿名化机制的前提。
- 任务基准版图：五域九基准的题型差异——为什么 SATBench 上的逻辑谜题需要验证角色而 TriviaQA 不需要。
7.2 方法论知识层
- GRPO 及其变体谱系：组相对优势的计算、Dr.GRPO 的偏置分析、GDPO 的分量归一化——A_mode/A_inner 的设计是这些知识的直接组合。
- PPO 裁剪机制与 KL 正则：双重裁剪（c=3）处理负优势大比率 token 的技巧来自 DAPO 系实践。
- 课程学习/探索策略：理解"先强制后放权"的训练动力学，以及支持惩罚为何要设计成单侧（只罚低于地板的，不奖高于的）。
7.3 工程知识层
- 统一动作序列化：把异构执行结构写成共用 XML 语法并施加模式专属约束，需对 LLM 结构化输出的鲁棒性有经验（论文附录专门处理输出截断与格式纠正）。
- 奖励工程：终态无效 (-1,-1) 的设计、基础设施失败与策略错误的区分排除（前者不计入组统计）、C_ref 取 95 分位成本做归一锚点。
- 评测协议设计：域内不重叠的 train/test 划分、匿名 ID 防泄漏、固定种子与温度的解码控制。
7.4 知识融合的关键节点
真正的创造性节点有三个：(1) “范式 = 首 token"的表示洞察——把系统架构决策压缩为策略词汇表的一个选择，这是统一得以成立的数学前提；(2) 恒等式驱动的优势分解——发现 A_mode + A_inner = A_GRPO，使得分解不引入信息损失，这是 COMET-GRPO 的理论支点；(3) 塌缩现象的预判与预防——意识到统一策略的失败模式恰是模式塌缩，并设计课程+支持惩罚双保险。三者分别对应表示、优化、探索三个层面，缺一则整体不成立。
八、论文中可以提取的通用性灵感
灵感一：把"架构选择"降维为"可学习动作”
- 核心思想：系统中任何原本由设计者预先固定的结构性选择（执行范式、模块组合、流水线拓扑），都可以变成策略的第一个决策 token 交给数据决定。
- 论文证据：范式可路由后五域一致超越固定范式基线，且学到的模式分布与任务特性高度匹配（Reason 99% 智能体式、Recall 96% 单轮）。
- 推广场景：(1) RAG 系统中检索策略（单跳/多跳/混合）的学习；(2) 数据管道中选择批处理/流处理拓扑；(3) 编译器后端指令选择策略；(4) 多模态模型选择早期融合/晚期融合路径；(5) 数据库优化器学习 join 顺序与算子。
灵感二：按决策层级而非时间步做信用分配
- 核心思想：当一条轨迹中混杂着"结构性决策"（影响全局组织）与"参数性决策"（局部执行）时，用不相交的组统计量分别评估两层责任，且分解应满足守恒恒等式。
- 论文证据：A_mode + A_inner = A_GRPO 恒等式；去掉双层分配后模式分布塌缩至 .13/.82/.05。
- 推广场景：(1) 自动化交易中"资产配置决策"与"择时决策"分账；(2) 机器人技能学习中"技能选择"与"技能内控制"分层评估；(3) 组织管理 KPI 中战略层与执行层考核分离；(4) 多智能体系统中编排者与执行者的奖励塑形。
灵感三：训练后期的失败模式是"探索塌缩"，课程化放权是通用解药
- 核心思想：当策略需要学会在多个互斥"模式"间选择时，完全自主的早期训练会让初始偏好自我强化直至垄断；先强制遍历、后逐步放权、过渡期托底能保住多样性。
- 论文证据：去渐进探索后 100% 塌缩到单轮；支持惩罚的批级设计允许查询级差异共存。
- 推广场景：(1) 多任务学习中防止任务坍缩到单一梯度方向；(2) mixture-of-experts 路由器的负载均衡；(3) 推荐系统探索-利用中防止兴趣窄化；(4) 自动架构搜索中防止搜索空间早熟收敛。
灵感四：短决策序列需要独立的归一化权重
- 核心思想：在联合优化中，token 数量少的决策（如模式选择只有几个 token）若与长序列统一平均，其梯度贡献会被长度稀释；按决策类别分别归一化是必要的保护。
- 论文证据：论文明确以"模式 token 通常远少于执行 token"为由做分段归一（N_mode/N_inner 分别计数）。
- 推广场景：(1) 多任务损失中低频任务的加权；(2) 联合训练中稀有事件/长尾类别的损失平衡；(3) 混合精度训练中对小梯度分组的缩放。
灵感五：匿名化能力描述迫使策略学习"能力匹配"而非"身份记忆"
- 核心思想：当决策依据应该是实体的内在属性（能力、价格）而非身份（品牌、名字）时，匿名化+属性描述能强制策略学到可泛化的匹配规则。
- 论文证据：路由器只见 worker 1-6 的匿名 ID 与能力描述，不见模型名与价格，held-out 基准仍 +18.28%，说明学到的不是"某品牌模型好"而是"什么能力适合什么任务"。
- 推广场景：(1) 供应商选择系统防止品牌偏置；(2) 招聘筛选中匿名化简历强制能力评估；(3) 缓存/服务调度中按实测延迟而非硬件型号路由。
总结：RouteWeaver 的真正贡献不是又一个更强的路由器，而是证明了一个结构性判断——LLM 路由的自适应上限不取决于"选模型选得多准"，而取决于"组织方式能否与任务共同变化"。执行范式从超参数降格为动作，这一步的价值被消融实验中"完全塌缩"的反面案例反衬得格外清晰：统一不是免费的，它需要双层信用分配守住选择多样性、需要渐进课程守住探索覆盖。对做 Agent 系统的工程师而言，“把你的固定架构变成策略的第一个 token"是值得直接抄走的设计模式。
附录：关键训练配置速查
以下配置来自论文附录 C.1-C.3，供复现参考。
| 项 | 值 | 说明 |
|---|---|---|
| 路由器 | Qwen3-4B-Instruct-2507 全参微调 | 唯一被训练的模型 |
| Worker 池 | 6 个冻结模型 | 匿名 ID + 能力描述暴露 |
| batch / rollout | 32 查询 × 8 rollout = 256 轨迹/步 | 单次 on-policy 更新 |
| 训练步数 | 90 步 | 冷启动 1-25、过渡 25-75、自主 75+ |
| 学习率 / KL 系数 | 1e-6（恒定）/ 0.001 | KL 参照冻结初始路由器 |
| 裁剪 / 双重裁剪 | η±=0.2 / c=3 | 负优势大比率保护 |
| 支持惩罚 | λ0=0.002、地板 δ=0.05 | 仅过渡期生效，系数随 ρ_b 衰减 |
| 解码（训练/测试） | 温度 0.8 top-p 0.95 / 贪心 | Worker 温度 0.2、种子 42 |
| 长度预算 | 提示 6,144 / 多轮回复 12,288 / 模式声明 64 / 观测 2,048 token | 训练与评估一致 |
| 成本参照 C_ref | 0.0070716653 美元 | 冷启动检查点 1,024 条轨迹成本的 95 分位，全程冻结 |
另一个值得记录的实现细节是 Worker 参考价格表（附录 Table 7）：两个 8B 模型 0.020/0.050（输入/输出美元每百万 token），Qwen3-30B-A3B 0.100/0.300，Gemma-3-27B 0.119/0.200，Llama-3.3-70B 0.100/0.320，Gemini-2.5-Flash-Lite 0.100/0.400。该表仅用于成本度量与效率奖励，且全程冻结——这保证了 α 扫描中成本-准确率曲线的可比性。
关于数据构成再补一笔：训练 3,200 查询（Omni-MATH 700、APPS 400、LiveCodeBench 300、SuperGPQA 600、SATBench 700、TriviaQA 200、PopQA 300），每批 32 查询按域配额（7 Math / 7 Code / 6 Knowledge / 7 Reason / 5 Recall）；评估 1,060 题中 8 个数据集各 120 题、TACO 100 题。域配额的均衡设计避免了某域主导梯度。