预期式准备的两面：Librarian Agents 与 LM2LM 合读 精读

题目区

论文 1：Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries

  • 论文链接：https://arxiv.org/abs/2610.22273
  • 代码：https://github.com/teresaz05/librarian-agents （项目页 https://librarian-agents.github.io/ ，MIT License）
  • 机构：斯坦福大学 + 卡内基梅隆大学（CMU），前三作同等贡献
  • 时间：arXiv 2610.22273v1，2026 年 10 月 15 日提交

论文 2：Language Models Learn to Improve Language Models（LM2LM）

  • 论文链接：https://arxiv.org/abs/2610.23344
  • 代码：原文未提及公开仓库
  • 机构：宾州州立大学（PSU）+ UC Santa Cruz + Emory + UC Santa Barbara + Amazon
  • 时间：arXiv 2610.23344v1，2026 年 10 月 16 日提交

合读立意：这两篇论文从两个不同战场回答了同一个问题——当"未来的计算"极其昂贵时，能不能把它变成"提前学好的东西"？Librarian Agents 面对的昂贵计算是每次查询都要重新做的跨文档检索与关系发现，它的答案是让一个 builder agent 在查询到来之前把语料整理成可复用的文件系统结构，并且用强化学习让"怎么整理"本身成为可优化的策略。LM2LM 面对的昂贵计算是每次评估一个改进提案都要完整训练一遍目标模型，它的答案是让一个冻结的大模型充当"研究世界模型"来廉价预测提案增益，再用少量精准投放的真实执行来校准这个预测器。前者学的是结构（为未来的查询准备地图），后者学的是判断（为未来的改进准备品味），合起来恰好是"预期式准备"（anticipatory preparation）的两个正交维度。

一、论文背景

1.1 Librarian Agents 的背景：长上下文推理的"重复劳动"问题

先从最基础的概念说起。大语言模型（LLM）的上下文窗口是它一次能"看见"的文本长度上限。企业知识库、软件仓库、用户聊天记录这类语料往往远超窗口上限，而且关键信息分散在多份文档里——回答一个问题可能需要把 A 文档的结论和 B 文档的数字拼在一起。

目前的主流方案是检索增强生成（RAG）：来一个查询，就去语料里搜相关片段，把片段塞进上下文，再让模型作答。这个范式的根本特征是反应式（reactive）：每次查询都触发一轮新的搜索，模型被迫在推理时"现场"重新发现文档之间的跨文档关系。如果同一个语料要服务一百个查询，同样的关系发现工作就要被重复做一百次。

另一类方案是预计算结构，比如知识图谱（GraphRAG）：提前从语料里抽取实体和关系建好索引。但这类方法通常绑定一套僵硬的抽取模式（比如只抽命名实体），查询恰好对上索引时很有效，查询需要新的任务特定中间产物时就不自然了。

论文抓住了一个有趣的不对称性：现在的 agent（比如 Claude Code）非常擅长导航已有的文件系统去完成手头任务，却几乎没有被训练过构建面向未来使用的可复用工作区。就像图书管理：读者（answering agent）很会查目录找书，但没有人负责把散乱的新书提前编目、分类、做摘要卡片。Librarian Agents 要训练的正是这位"图书馆员"。

1.2 LM2LM 的背景：自动化 AI 研究的"研究判断力"瓶颈

另一个背景是 AutoResearch：用 LLM agent 自动化 AI 研究的完整循环——提出想法、实现改动、跑实验、分析结果。一个最有意思的应用方向是语言模型开发（LM development）：让 agent 探索架构、优化器、训练目标的改动并实测其对模型性能的影响。这条路线的终点愿景是递归自我改进（RSI）——模型学会改进模型。

但论文观察到核心瓶颈不在执行力而在研究判断力（research judgment）：agent 能跑通复杂实验，却判断不好"下一步该试什么"。而有效的选择高度依赖目标模型和训练配置——对 A 有益的改动对 B 可能有害。

从过去实验中学习听起来自然，但有两大障碍，这两大障碍正是全文的骨架：

障碍一：真实反馈太贵。 评估一个提案的质量需要真的把目标模型训练一遍。论文给了一笔账：训练一个 486M 参数、8B token 的模型约需 45 个 B200 GPU 时；一个 GRPO 风格的 RL 设定（100 次更新 × 每次更新 32 个训练态 × 每态 8 个提案）需要 25,600 次提案评估，全用真实执行约 115.2 万 GPU 时、超 1600 万美元。奖励收集本身就不可行。

障碍二：代理反馈会随训练漂移而失真。 用便宜的"代理"（比如一个预测器）代替真实执行，早期可能挺准，但 RL 会不断把策略推向代理打分最高的区域——策略生成的提案分布变了，代理的记录却没覆盖这些新区域，于是 RL 专挑被高估的提案强化，代理奖励涨了、真实收益却没涨。这就是经典的 **reward overoptimization（奖励过度优化）**问题。

1.3 两篇论文的共同出发点

把两个背景并排看，结构是同构的：

  • 都存在一个"每次都要付的昂贵计算"：Librarian 里是查询时的跨文档检索推理，LM2LM 里是提案评估时的完整训练运行；
  • 都有人尝试"提前做点什么"：预计算的知识图谱 / 提前收集的实验记录（ICL）；
  • 这些提前方案各有致命伤：抽取模式僵硬不适应查询分布 / 记录固定不适应策略漂移；
  • 两篇论文的解法都指向同一个方向：让"提前做什么"本身变成可学习、可优化的对象，并且用下游真实效果（答题正确率 / 实测增益）作为优化信号。

二、论文定位和关联工作

2.1 Librarian Agents 在检索谱系中的位置

如果把"如何服务未来查询"的方法铺成一条谱系，两端分别是：

  • 纯反应式端：Embedding 检索 + Reranker、Late Interaction Embedding、Agentic RAG（多步推理与检索交织）。它们的共同点是每个查询从零开始。
  • 纯预计算端：GraphRAG（实体图 + 社区摘要）、RAPTOR（层级摘要树）、HippoRAG（图结构记忆）、AutoCompaction / Reasoning Cache（把读过的内容持续压缩成笔记）。它们一次性做完全部跨文档推理。

Librarian Agents 的定位在中间但偏预计算端，关键差异在于：结构本身是学出来的决策，而不是固定管路的产物。GraphRAG 的实体抽取模式在人设计它的那一刻就定死了；Librarian 的 builder 自己决定建什么文件、怎么分层、合并什么、删除什么，并且这个决策过程被直接以下游答题正确率为奖励做 RL 优化。论文在 Related Work 里明确写道：“Librarian Agents 是第一个把语料组织当作以下游答案为优化目标的策略来训练的工作。”

它与长期记忆工作的区别也值得注意：MemGPT、MemoryBank、A-MEM 等工作关注 agent 保留自己的历史交互；Librarian 处理的是提前写在外部语料上的记忆，且消费者是另一个 agent。它也自觉归入"计算重分配"（compute reallocation）文献脉络——与 Sleep-time Compute（把推理计算挪到空闲期）、Dynamic Cheatsheet 等同属一个家族，但首次用于语料组织。

2.2 LM2LM 在自动化研究谱系中的位置

LM2LM 周围有四条相关线索：

  1. AutoResearch agent（ResearchAgent、AI Scientist、AIDE、AlphaEvolve 等）：展示 LLM 能生成想法并端到端跑实验，或用执行反馈迭代候选方案但 agent 本身不变。
  2. 用执行反馈训练 agent（如 Frontis-MA1、execution-grounded AutoResearch）：直接拿真实执行结果做 RL 奖励——正是 LM2LM 指出"太贵而不可扩展"的路线。
  3. LLM 世界模型：用 LLM 预测动作后果以支持规划（web 导航、文本模拟等）。LM2LM 依赖的前置工作是"Language Models as AI Research World Models"——证明冻结 LLM 以真实实验记录为上下文能较好预测研究实验结果。
  4. 最需要仔细辨析的并发工作 WMRL：同样用冻结 LLM 当世界模型给 RL 发奖励，但它的校准方式是每一步用真实执行拟合一个单调映射来重标度奖励；LM2LM 则是把少量 top-rated 提案的真实结果直接加进世界模型的上下文记录。一个是改输出刻度，一个是改知识内容。

与 SFT/RFT 等微调路线的对比也构成定位的一部分：LM2LM 的实验显示直接在几百条历史提案上做 SFT 或拒绝采样微调（RFT）都学不出有效的提案能力——这说明"研究判断力"不是模仿几百个样本就能获得的，需要能探索、能被相对好坏信号塑造的 RL 过程。

2.3 合读视角下的定位

两篇论文在各自的谱系里都占了同一个生态位：在"昂贵的真实反馈"与"廉价但会失真的代理"之间，引入一个可被真实信号持续校正的可学习组件。Librarian 的可学习组件是 builder 策略（校正信号是下游答题探测），LM2LM 的可学习组件是 proposer 策略 + 被上下文校准的 RWM（校正信号是 top-rated 提案的真实执行）。可以说它们分别把"预期式准备"应用在了**外部世界（语料）和自身能力（研究判断）**上。

三、问题定义

3.1 Librarian Agents：预期式工作区构建的形式化

是什么：给定一个原始文档语料 D = {d1, …, dn} 和一个未来查询分布 Q，要求在任何查询到来之前，把 D 变换成一个结构化的、面向回答的文件系统工作区，使得未来查询的期望答题准确率最大化。

论文把外部记忆表示为一个基于文件系统的工作区 F：文件 + 目录 + 节点类型和父节点元数据。初始工作区 F0 就是根目录下的原始文档。一个增广操作 A 是对工作区的一次编辑，迭代 H 次后得到最终工作区 FH。

好的预期式工作区要满足三条设计准则（desiderata），这三条是理解全文的钥匙：

  1. 覆盖与高效导航（coverage with efficient navigation）：合成产物要覆盖查询分布 Q 的可能区域，并且答题 agent 能通过浅层遍历找到它们——比如按抽象层级命名的目录。
  2. 忠实回退（faithful fallback）：任何有限记忆都无法预期所有查询，合成层可能丢掉事后才关键的信息，所以必须保留指向原始文档的引用链接。极端情况是"大海捞针"式查询——答案依赖某个局部细节，几乎不可能在压缩中幸存。
  3. 摊销复用（amortized reuse）：构建成本要在多次下游查询中收回。一份发布时间线可能同时服务回归、路线图、客户话术等许多问题；一次性的答案草稿只服务一个请求。

然后是 MDP 形式化：builder 策略 πbuild(A|F) 的每步状态是当前文件系统 Ft，动作是四种增广（详见第四部分），奖励定义在下节。注意一个精妙的角色分工：answering agent πans 是冻结的——这把学习问题隔离出来，builder 必须学会构造"对别人有用"的记忆，而不是让自己答得更好。

3.2 LM2LM：提案生成的研究态 MDP

是什么：给定一组 LM 开发任务 E（每个任务指定模型家族、规模、训练预算和带参考验证损失 be 的参考配置），训练一个 proposer πθ，使其在每个研究步生成"实验增益"高的改进提案。

一个**研究活动（campaign）**按步推进：第 t 步，proposer 观察研究态 st = (e, ht)——ht 是历史提案及其结果的记录——生成提案 at；一个 builder B 把提案转成可执行的配置修改；训练运行产出验证损失 ℓt；实验增益定义为

g(st, at) = be − ℓt

g > 0 表示比参考配置更好。提案和结果追加进历史，进入下一步。

目标函数是期望实验增益 J(θ) = E[g(s, a)]，在训练任务上最大化，希望迁移到 held-out 任务。注意这里的 verifiable reward 与常规 RLVR 不同：数学题的对错检查几乎免费，而这里的"验证"需要一次完整的模型训练——可验证但不可负担，这正是全文矛盾的核心。

还要注意两个角色的边界：proposer 决定"试什么"（被训练的角色），builder 只负责忠实实现提案（“build exactly what the proposal states”，不判断好坏、从不运行训练），这个解耦让归因干净——提案质量的差异全部来自 proposer。

四、问题解法

4.1 Librarian Agents：四个动作、一个势函数奖励、一套 GRPO

动作空间：builder 被限制为四种离散动作，这个刻意收窄是为了压缩优化时域（原则上可推广到 touch/mkdir/mv/rm 等原子文件命令）：

  • CreateFile：从若干原始文档和/或已有合成文件 consolidate 出一个新合成文件，文件带指向来源的引用链接；
  • MergeFiles：把一组相关合成文件聚合为更高层的摘要或目录式产物，引入层级；
  • Delete：从活跃的面向回答的工作区里移除冗余/无用的合成文件——永不删除原始文档，保住回退路径；
  • Stop：结束构建，交出当前工作区。

奖励设计：先定义工作区 F 的期望答题成功 S(F)，再加导航成本得到效用 U(F) = S(F) − λtok·Ctok − λread·Cread（主实验取 λ = 0，即纯准确率）。朴素的稀疏目标 rsparse = U(FH) − α·ΣCost 只在最后打一次分，对长编辑序列的信用分配太粗。理想稠密奖励是每次增广的边际效用差 rdense = U(Ft) − U(Ft−1) − α·Cost(At)——在无折扣回报下求和会伸缩（telescope）成稀疏目标减一个常数，这正是经典的势函数奖励整形（potential-based reward shaping，Ng et al. 1999），保证不改变最优策略。

但每步都评一次下游效用太贵，所以实际训练用代理：每 8 步做一次可答性探测（answerability probe）（一条构建轨迹最多 4 次），把相邻探测间的可答性变化作为中间奖励，加上终端答案正确性奖励。探测用的查询是从 Q 里采的 minibatch，对 builder 隐藏——builder 从不知道具体要答什么问题，只从奖励里学到"什么样的结构对查询分布有利"。

优化与实现：GRPO 优化 builder（Qwen3.5-4B + LoRA rank 32，学习率 4e-5，batch 8，rollout 组 4，最大 32 个 builder 回合；单次生成限 1024 token，完整轨迹限 60000 token）。CreateFile/MergeFiles 的内容执行委托给一个固定的 Qwen3.5-35B-A3B，过长的 builder 历史由固定的 Gemini 3.1 Flash Lite 压缩——builder 学的是"决策"，苦力是冻结的。语料原文始终保留在 raw_docs/ 下作 fallback；合成文件系统在 synthetic_fs/ 下；README.md 向答题 agent 解释工作区约定。

4.2 LM2LM：一个世界模型、一套奖励工程、三轮精准校准

支柱一：可扩展的反馈——研究世界模型（RWM）当验证器。

RWM 是一个冻结的 LLM（GPT-6-sol），以真实实验记录 M（每个记录是（任务 e, 提案 a, 实测增益 g）三元组）为上下文证据，预测新提案的增益：ĝ(e, a; M) = W(e, a; M)。评估一个提案从"一次完整训练运行"变成"一次 LLM 调用"。预测目标是条件中位数（q50），提示词里明确要求区分"经验类比"与"机制外推"并给出主要不确定性——这是把预测器的认知诚实设计进了 prompt。

直接拿 ĝ 当奖励有两个问题：跨任务量纲不一（大增益尺度任务会主导优化）、高预测分不等于有用（提案可能无效或重复）。于是奖励工程分三层：

  1. 归一化与截断：r = clip(ĝ/τe, −c, c)，其中任务尺度 τe = max(σe, 1.4826·MADe)——σe 是参考配置三次运行的种子噪声，MADe 是 RWM 对该任务预测增益的中位绝对偏差（鲁棒_std）。跨任务可比，极端预测被限幅。
  2. 有效性与重复性判罚：builder 无法实现的提案判 invalid 得 −c；复现参考配置或历史提案的判 repeated，得"组内最低有效分减 δ"，确保重复提案永远排在所有有效提案之后——重复提案不提供新实验信息却可能拿到高预测分，必须堵死。
  3. 机制方向多样性奖励：bi = λσG·d̃i，鼓励组内少见机制方向的提案，防止 RL 过早收敛到单一方向。

用这套奖励跑 DAPO（GRPO 的改进版，非对称裁剪）：Qwen3.8-27B proposer，96 步，每 8 步刷新 rollout，256 个训练态、每态 G=8 个提案，组均值中心化优势（不除组内 std，保留跨组奖励离散度）。此外 RWM 还兼职扩展训练态：RL 中采样的（状态, 提案）对配上 RWM 预测增益作为"合成结果"加进历史池，缓解训练态不足。

支柱二：可靠的反馈——on-policy 校准。

论文把真实目标分解为 J̄ = Ĵ_M + Δ_M：前项是 RWM 预测的期望，后项是当前策略下的预测偏差。RL 只优化前项、看不到后项，于是 Ĵ_M 可以在 Δ_M 悄悄变负时继续上涨——这就是 reward overoptimization 的数学面目。

对策是on-policy 校准：在每个 RL 训练段之间，选出当前策略采出的、RWM 打分最高的 Bu 个提案（“top-rated"选择，公式上是组和最大的组合优化），真实执行它们，把实测结果加进 RWM 的上下文记录。三批共 31+38+31 = 100 次真实执行（加初始 100 条记录共 200 次真实运行）。关键机制在于选哪里校准：RL 即将强化的正是高分提案，高估也藏在那里——把真实执行精准投放到"RL 马上要上当的地方”，一次校准能纠正一整个方向的错误强化。而 RWM 通过上下文更新而非重新训练，校准成本与 RL 采样提案总数无关。

两根支柱合起来读：RWM 提供规模（cheap but drift），校准提供保真（expensive but targeted）——用最少的真实执行买回最大的反馈可靠性。

五、评估指标与实验证据

这一部分不只罗列数字，更要讲清实验设计为什么能证明论点。

5.1 Librarian Agents 的实验设计

任务与切分：主战场 BrowseComp-Plus（深度研究型网页任务语料），680 个语料级任务训练、50 个 held-out 语料评测。关键控制有三条：(1) 构建期间 builder 只见文档、从不见评测问题——证明"预期"而非"作弊"；(2) 答题 agent 全程冻结（Qwen3.5-4B 与 Gemini 3.1 Flash Lite 两个型号）——性能差异只能来自记忆工件质量；(3) 报告的是"含失败的二值语义正确率"（构建失败、生成失败都留在分母里），不是挑好的子集。

结果一：分布内性能（Figure 4）。Qwen 侧 Librarian 0.75 vs Embedding 0.42 / Reranker 0.44；Gemini 侧 0.77 vs 0.30/0.42——平均超最强基线 33 个百分点。GraphRAG 仅 0.36（构建成本 11,923 token），AutoCompaction 崩到 0.04（却花了 501,637 token——把"压缩成笔记"当预期式记忆是灾难性的），未经 RL 的 base builder 0.28。Librarian 的构建成本 178,926 token，处于两者之间。NoFT 消融是关键证据：同一个框架、同样的动作空间、没有 RL 就只有 0.28——证明收益来自策略优化而非框架本身。

结果二：摊销分析（Table 1/2 与 A.4）。为测"一次性成本能否摊销"，作者扩展数据集成 443 个合成查询 × 50 个语料（每语料 7-10 问）。RL builder 0.637 vs base builder 0.242；答题时每问读 26.9 个文件、9,346 token（base 只读 2.7 个文件、1,238 token）。因为答题 agent 读的是更丰富的工作区，原始每问 token 反而更高——所以论文额外报告按准确率归一化的成本：10 问/语料时，每期望正确答案的 token 数 RL/Base = 0.662（95% CI [0.504, 0.836]），省 33.8%；盈亏平衡点在 31 问/语料（配对 bootstrap CI 18-54）。这个分析诚实地区分了"每问 token"和"每正确答案 token"，避免用对己方有利的口径糊弄。

结果三：零样本迁移（Table 3）。builder 只在 BrowseComp 上训练，直接在 BRIGHT 的三个域（AOPS 数学竞赛 / 生物学 / StackOverflow，各 50 问、每域一个共享文件系统）上构建。pass@1 平均 52.0%、pass@3 66.8%；最强基线 Dense 只有 20.8%，GraphRAG 6.3%，AutoCompaction 4.5%。StackOverflow 上 85.5/93.5 尤其惊人。9 个额外 BRIGHT 域上全胜 base（如 Earth Science 26.3%→73.8%）。这证明学到的是可迁移的组织启发式而非对训练分布的过拟合。

结果四：结构本身有效的因果证据（A.5）。在 435 问、49 个语料上做两个内容保持的干预：Flatten（压平层级）保住准确率（55.86%→57.70%）但导航 token 从 3,635 涨到 5,497；Shuffle（打乱语义放置）导航成本不变、准确率掉到 51.72%。层级省钱、语义定位值钱——两个干预分别孤立了"层级"与"语义组织"两个因素。

行为统计：RL builder 在 BRIGHT 上平均产出 53.4 个活跃合成文件、组织成 45.4 簇、8.0 次合并，base builder 只有 4.8/4.2/0.6——RL 从根本上改变了构建行为（更广覆盖、更深层级），配合定性案例（base 留下碎片化难导航的结构，RL builder 产出聚焦、人体工学的组织）和溯源回退案例（合成层漏掉细节时答题 agent 沿引用链接回到原文恢复答案）。

5.2 LM2LM 的实验设计

环境与数据：8 个模型家族（4 个自回归 AR：OLMo-3/Qwen3/NanoChat/Marin；4 个扩散：E2D2/E2D2-SW/MDM/BD3LM），40 训练任务 + 10 held-out 任务，60 AR + 18 扩散共 78 个 held-out 研究态（全部用真实实验历史构造，held-out 记录绝不进入训练/RWM/校准）。先在训练任务上真实执行 300 条提案记录（覆盖 40 张机制卡的方向，226 条单机制 + 74 条双机制），其中 100 条作 RWM 初始记录 M0。评测一律真实执行：每个 held-out 态生成 4 个提案、逐个真的训练目标模型测增益——评估本身不留任何代理空间，这是"用真金白银证明"的设计。

指标：AR 用 BPB（bits per byte，跨分词器可比的验证损失），扩散用 NLL；报告 Avg@4（4 提案平均增益）、Best@4、负增益率 Neg、成对胜率。增益单位是 10⁻³ BPB / 10⁻² nats per token——都是"参考配置损失减提案损失"，正即改进。

主结果（Table 1）：AR 上 LM2LM Avg@4 = 17.06、Best@4 = 23.40、负增益率 70.4%→39.2%、对 Base 胜率 93.3%；对比之下 Base −7.94、Base-ICL（+300 条记录）4.04、GPT-6-sol 6.51、GPT-6-sol-ICL 6.15、SFT −12.19、RFT-Real −22.95。扩散上 LM2LM 7.10/9.93，负增益率 59.7%→7.6%，对 Base 胜率 100%。两个细节值得咀嚼：(1) AR 上 LM2LM 负增益率（39.2%）其实高于 GPT-6-sol-ICL（29.6%），但 Avg@4 高出近三倍——它学的是"探索高收益提案"而非"保守避免负收益"，这是奖励设计里归一化+截断+多样性奖励的取向使然；(2) SFT/RFT 为负说明直接模仿几百条历史提案（甚至只模仿正收益的那些）反而学坏——正收益提案的浅层模式会误导策略去复制表面特征。

成本分析（Figure 3 与 G）：M3（200 次真实运行）时数据生成成本 $40.1k、343 小时，vs ICL K=300 的 $60.0k、510 小时——省 33%；即使算上 RL 训练成本（$16.1k）总成本 $56.1k 仍更低，而 Avg@4 从 6.15 涨到 17.06。步 40→96 之间只花 $11.8k 额外成本，就用 69 条校准记录给超过 14,000 个采样提案供了奖励——这就是 RWM 的"批发价"。

零样本家族泛化（Table 2）：把整个 Qwen3 家族从训练和 RWM 记录里完全剔除，LM2LM 在其上仍达 Avg@4 53.72 / Best@4 86.69，最强基线 GPT-6-sol-ICL 只有 21.63/25.27。同时 Base-ICL（2.97）几乎不超过 Base（3.53）——家族外记录的直接 ICL 用处有限，而把记录"消化"进策略参数的 RL 路线能用起来。这是"学到的判断力 vs 塞在上下文里的记录"的最干净对照。

消融：校准与校准策略（Figure 4）。同为 200 次真实运行：top-rated 校准 17.06 vs 静态+100 随机记录 14.76 vs 随机校准 10.84。随机校准的问题不只是慢，还可能主动引入误导记录（案例 H：随机批次里一条在训练任务上碰巧 +1.43% 的 OLMo 注意力改动，让 RWM 开始奖励它，held-out 上它的真实均值是 −16.4×10⁻³ BPB，把 OLMo Avg@4 从 7.39 拖到 −6.37）。

机制解剖（Figure 5 与附录 I，全文最精彩的部分）：在 held-out AR 态上逐 checkpoint 真实执行，度量 RWM 反馈质量随训练的演化。静态 RWM 的优势余弦从 0.69 一路跌到 −0.42（预测优势与真实优势负相关），成对排序准确率从 0.72 跌破随机（0.37），预测-真实奖励差在步 64 后飙到约 2.0；LM2LM 全程维持余弦 0.50-0.71、成对 0.61-0.69、差 <1 且第四轮校准后降到 0.17。还有一个"控制变量"式的补充实验（I.2）：用 M0 记录和校准记录给同一批 LM2LM 提案打分，成对准确率 0.44-0.49 vs 0.61-0.64——提案完全相同，差异只能来自记录本身。案例研究（M-UPD-72：一个被 RWM 高估 +0.7~+1.25、真实 −1.46 的 NanoChat 优化器改动）展示了校准的时效性：top-rated 在第一次校准就执行了 7 个此类提案（5 个劣化），RWM 立刻改口 −1.66，提案份额从峰值 45% 落到 8%；随机校准要迟到第二轮，期间份额一度冲到 80%。

统计稳健性（F.2）：以任务种子噪声 σe 为单位，LM2LM Avg@4 = 7.29σe（基线至多 4.91σe），50.8% 的提案增益超过 2σe（Base 22.5%），相当于把参考损失降 1.28%。逐家族分解（F.1）的诚实报告：LM2LM 在 OLMo-3/Qwen3/E2D2/BD3LM 上双指标第一，但在 Marin 和 E2D2-SW 的 Avg@4 上输给 GPT-6-sol-ICL/Base-ICL，NanoChat 上所有方法空间都很小（Best@4 至多 1.23×10⁻³ BPB，唯一 Avg@4 为正的是 GPT-6-sol-ICL）。

六、效果优势的根源解释

本部分建立"方法差异 → 机制变化 → 指标提升"的因果链，拒绝"因为做了 RL 所以变好"式的表面归因。

6.1 Librarian Agents：为什么 RL 训练的"整理"能赢 33pp

因果链第一步：方法差异——与所有基线的本质区别不在"有没有预计算"，而在结构选择是否是以下游效用为目标的学出来的决策。

因果链第二步：机制变化，分三环：

  1. 奖励把"组织"对齐到"查询分布"。Embedding/Reranker 优化的是"给定查询找相关片段"这个代理目标，与"跨文档关系要被合成出来"的真实需求脱节；GraphRAG 优化的是抽取覆盖率（人定的模式）；AutoCompaction 的"笔记"是为压缩率服务的、与查询无关的流水账（501,637 token 换 0.04 准确率的惨败说明：面向压缩的记忆几乎不含答题所需的结构）。而 Librarian 的奖励直接是隐藏 minibatch 查询上的可答性变化——builder 被迫学到"什么样的中间产物对回答有边际贡献"。NoFT 消融（0.28 vs 0.75）证明这个对齐只能来自 RL：base 模型会建文件，但不知道建什么才有用——这正呼应了引言的不对称性论断（会导航 ≠ 会构建）。
  2. 结构统计的突变解释"为什么对未来的查询有用"。RL builder 产出 53.4 文件/45.4 簇/8.0 合并 vs base 的 4.8/4.2/0.6：覆盖面（对查询分布的宽覆盖）+ 浅层级（几步遍历可达）+ 溯源链接（可验证、可回退）。三个 desiderata 全部被奖励间接塑造出来——主实验里并没有显式的结构奖励（λ = α = 0），组织形态是追求可答性的副产品，这比直接奖励"多建文件"的做法高明得多（避免指标游戏）。
  3. 摊销机制解释"成本上为什么划算"。RAG 的成本是线性于查询数的；Librarian 是"一次构建 + 每问低导航成本"。因为 RL 工作区更好用（0.637 vs 0.242 的准确率），按正确答案归一化的 token 成本在 10 问/语料时就省 33.8%、31 问/语料达到盈亏平衡。注意这里有个隐藏的机制细节：答题 agent 读的文件更多（26.9 vs 2.7）——好结构鼓励更深的探索，单位 token 的信息获取效率才是提升的本质。

因果链第三步：指标提升——上面的机制直接对应观测：分布内 +33pp（对齐到查询分布）、零样本 BRIGHT +31pp（学到的是域无关的组织启发式：分簇、分层、溯源，而非域内知识）、Flatten/Shuffle 消融（层级→导航成本、语义→准确率的分解）与溯源回退案例（fallback 保底不砸手里）。

一个反向校验：如果优势只来自"多算了 token"，那么 AutoCompaction（50 万 token）应该最好，实际它最差；如果只来自"预计算"，GraphRAG 应该接近，实际差 41pp。排除法之后，剩下的解释就是"结构选择本身被学出来了"。

6.2 LM2LM：为什么 27B 能翻盘前沿模型 + 300 条记录

因果链第一步：方法差异——与所有基线的区别不在"用不用历史记录"（Base-ICL 也用 300 条）也不在"训不训练"（SFT/RFT 也训练），而在反馈信号的构造方式：RWM 把记录"编译"成对任意新提案的可微可用奖励，校准让这个奖励跟随策略分布走。

因果链第二步：机制变化，同样分环：

  1. 为什么 RWM 反馈能引导 RL（而非误导）：DAPO 优化的是组相对优势，所以只要 RWM 的相对排序够准就能给出正确的学习方向——Figure 5 显示训练全程优势余弦 0.50-0.71、成对准确率 0.61-0.69（随机 0.5）。这是"预测不必处处准、只需排序够 informative"的工程智慧，与 GRPO 家族算法天然咬合。
  2. 为什么必须 on-policy 校准：静态记录的 RWM 会被 RL 的分布漂移反噬——策略越来越爱生成 M0 没覆盖的提案类型，预测优势与真实优势的余弦从 0.69 翻转为 −0.42，也就是说 RL 在主动寻找预测器的盲区（高估区）并强化之。校准把真实执行投向 top-rated（= RL 即将强化的）提案，等于每轮把"盲区地图"更新一次。两个对照钉死这个机制：(a) 同预算下随机记录 vs top-rated 校准 = 14.76 vs 17.06（选哪里很重要）；(b) 随机校准 10.84 且会引入误导记录（碰巧好的个案被 RWM 泛化成普遍规律）。案例 M-UPD-72 给出微观过程：高估 → 静态变体把该改动份额推到 79% → 校准变体一次真实执行（5/7 劣化）→ RWM 改口 −1.66 → 份额落至 8%。校准的价值不是"多了一条数据"而是"掐灭了正在形成的错误强化回路"。
  3. 为什么 RL 学出的判断力超过 ICL：ICL 把记录放在上下文里，模型每次都要现场重新"读表推理"，容量与泛化受限于注意力对记录的利用；RL 把记录里的规律固化进策略参数。零样本 Qwen3 家族实验是最有力的证据：家族外记录的 ICL 几乎无用（Base-ICL 2.97 ≈ Base 3.53；GPT-6-sol-ICL 仅比 GPT-6-sol 多 1.4），而 LM2LM 在完全没见过 Qwen3 的情况下拿到 53.72——策略学到的是"如何从机制推理增益"的通用判断，而非"记住哪条记录说了什么"。
  4. 奖励工程防住了两条退化路径：重复判罚堵住"复读高分提案"的捷径（否则 RWM 的每次高估都被永久 exploiting）；多样性奖励维持机制方向的覆盖（否则 96 步内会坍缩到一两个方向，校准的"探照灯"就照不到别处了）。

因果链第三步：指标提升——AR Avg@4 从最强基线 6.15（GPT-6-sol-ICL）到 17.06、扩散从 4.94 到 7.10、负增益率减半、成本省 33%，每一条都由上面的机制环节支撑：排序质量（环节 1）支撑"RL 有正确方向"，校准（环节 2）支撑"方向不随训练腐化"，参数化（环节 3）支撑"跨家族泛化"，奖励工程（环节 4）支撑"探索不塌缩"。

一个反向校验：如果提升只是"多了 100 次真实执行"，那么 M0’（M0+100 随机）应该追平，实际 14.76 < 17.06；如果只是"用了 GPT-6-sol 当裁判"，那么 GPT-6-sol-ICL 自己应该最强，实际只有 6.15。真正的因果核是"top-rated 的真实执行 × 上下文可更新的世界模型 × 组相对 RL“三者的组合。

6.3 合读：同构的因果骨架

抽掉领域细节，两篇论文的优势根源是同一个骨架：

把昂贵的真实反馈（下游答题 / 完整训练）稀疏地用在最值钱的位置（可答性探测 / top-rated 校准），用一个廉价的中间层（builder 的局部奖励代理 / RWM）把稀疏信号扩展成稠密的学习信号，并保证中间层与真实目标的对齐关系（势函数整形不改最优策略 / 校准维持优势余弦为正）不被优化过程侵蚀。

而它们各自防住了对方的死法：Librarian 的中间层是奖励整形（数学上保证策略不变性），LM2LM 的中间层是上下文校准（经验上维持排序质量）。一个靠定理，一个靠探测与修正——因为前者可以精确计算边际效用，后者的世界模型只能被近似校准。

七、必要知识反推

想真正读懂这两篇（而不是只看懂结论），需要以下前置知识，按依赖顺序反推：

第一层：LLM 基础概念

  • 上下文窗口、token、验证损失（BPB/NLL——为什么用 bits per byte 而不是 loss per token：跨分词器可比）；
  • RAG 的基本流程（embed → retrieve → rerank → generate），以及 Embedding/Late Interaction/Reranker 各自是什么；
  • 文件系统导航工具调用（list_files/read_file），这是 Librarian 动作空间的原材料；
  • LoRA 微调是什么（两篇都只训小参数量适配器）。

第二层：强化学习核心

  • MDP（状态/动作/转移/奖励/时域）——两篇的问题形式化都是 MDP；
  • 策略梯度与 GRPO/DAPO 家族：组内相对优势（不用 value 网络）、组均值中心化、非对称裁剪（εlow ≠ εhigh）——LM2LM 的机制分析全部围绕"组相对优势的对齐"展开，不懂 GRPO 读不懂 Figure 5；
  • 势函数奖励整形（Ng et al. 1999）：为什么 U(Ft) − U(Ft−1) 求和等于终端奖励减常数、且不改变最优策略——这是 Librarian 稠密奖励合法性的理论支柱；
  • reward overoptimization（Gao et al. 2023 的 scaling law）：代理奖励与真实奖励的差随优化发散——LM2LM 的 J̄ = Ĵ_M + Δ_M 分解就是它的即时版。

第三层：领域地图

  • 长上下文/记忆侧：RAG 变体谱系、GraphRAG/RAPTOR/HippoRAG 等预计算结构、MemGPT 式记忆管理、Sleep-time Compute 与 Dynamic Cheatsheet 等计算重分配工作；
  • AutoResearch 侧：AI Scientist/AIDE/AlphaEvolve 的能力边界、execution-grounded 训练路线（太贵）、前置工作"LLM as AI research world models”（RWM 的直接来源）、并发工作 WMRL（用单调映射重标度 vs LM2LM 用上下文记录校准——这个差异是审稿人必问的）；
  • 评测侧：BrowseComp-Plus 与 BRIGHT 的任务形态（为什么后者是"推理密集型检索"的好试金石）、pass@k 的无偏估计。

第四层：实验方法论素养

  • 读懂消融的"控制变量"逻辑：NoFT（隔离 RL 贡献）、Flatten/Shuffle（隔离层级与语义贡献）、静态/随机校准（隔离"top-rated 选择"贡献）、同提案不同记录打分（隔离记录本身的贡献）；
  • 读懂成本口径：数据生成成本 vs 总成本、每问 token vs 每正确答案 token、盈亏平衡点的 bootstrap 置信区间；
  • 读懂 held-out 的严格性：构建期不可见查询（Librarian）、held-out 家族记录彻底剔除（LM2LM）——两种"防泄漏"设计。

八、通用性灵感

最后跳出论文本身，提炼可迁移的思想。以下每条都尽量给出"离开原始设定还成立"的形态。

灵感一：把"重复的推理时计算"变成"一次性的可学习结构"。 任何"同一份输入要服务多个未来请求"的场景——代码仓库的维护、个人知识库、多租户文档问答——都可以问 Librarian 式的问题：与其每次现查，能否训练一个 builder 提前把"中间产物"（摘要、索引、时间线、跨文档对照表）建好？关键设计模式是：动作空间刻意收窄（四个动作而非全部文件命令，压缩 RL 时域）、苦力外包（内容合成交给冻结的更大模型）、原文永不删除（保住回退）。

灵感二：奖励直指下游，结构作为副产品。 Librarian 最漂亮的地方是没有显式奖励"文件要多、层级要深"——组织形态完全是追求可答性的涌现结果。任何"指标会被 gaming"的场景（评价体系设计、中间产物质量评估）都值得抄这个作业：奖励最终效用，让中间形态自己进化。

灵感三：昂贵验证的"批发-零售"分层。 LM2LM 的成本结构是普适的：零售价（真实执行）极贵、批发价（RWM 一次调用）极便宜，但批发货源会随需求漂移变质。解法是用零售校准批发——而且校准要瞄准"即将被大量采购的货"（top-rated 提案）。这个模式可以直接搬到：昂贵仿真的代理模型、人工评估的预测器、A/B 测试前的离线预估——凡是"代理打分 + 策略优化"的组合，都应该问一句"我的代理在策略的新分布上还准吗？我在哪里投放稀缺的真实测量？"

灵感四：相对排序比绝对预测更耐用。 RWM 的绝对预测会漂（reward gap 到 2.0），但组内排序长期高于随机（0.61+）——而 GRPO 恰好只消费相对排序。设计系统时让消费者（优化器）的需求与供应者（预测器）的可靠面精确咬合，是比"提升预测器绝对精度"更便宜的工程路线。联想到很多场景：推荐系统的序数学习、评测的 pairwise 判比、lint 规则的相对严重度。

灵感五：上下文即模型——可被"追加事实"校准的冻结系统。 RWM 不重新训练、不微调，仅靠往上下文追加真实记录就完成校准。这意味着知识更新与参数更新解耦：任何冻结 LLM 承担裁判/预测器角色的管线，都拥有一条零训练成本的纠错通道——前提是像本文那样把"选哪条事实加进去"当成一个优化问题（top-rated 而非随机）。

灵感六：“预期式准备"是测试时计算扩容的正交轴。 现在大家谈 test-time compute 都在谈"推理时多想一会儿”；这两篇指出另一个方向——在请求到来之前把想清楚的东西沉淀下来（结构或判断），请求到来时用更少的在线计算拿到更好的结果。对个人和组织的类比直白：与其每次接需求都突击，不如把高频问题的答案做成资产；资产的质量要用"未来被用的频率 × 每次省的功夫"来度量（Librarian 的盈亏平衡分析就是这套账）。

灵感七：诚实的失败面报告是可信度的来源。 LM2LM 逐家族报告了自己输给 ICL 基线的域（Marin、E2D2-SW、NanoChat），Librarian 报告了原始每问 token 反而更高、盈亏平衡要 31 问。这种"把适用边界画出来"的写法在方法论上的价值不亚于正面结果——它告诉读者因果链在哪里断掉（家族特异的记录依赖、查询密度不足时摊销不成立）。

灵感八：通往 RSI 的阶梯感。 把两篇放在"AI 自我改进"的宏大叙事里看：Librarian 是 AI 改善 AI 的工作环境（外部记忆），LM2LM 是 AI 改善 AI 的决策质量（研究判断力），两者都不直接改权重——这暗示了一条渐进路线：先把"改进的周边"（环境、判断、验证）自动化并学到位，最后才动核心能力。递归自改进不必从"模型重写自己"开始，可以从"模型学会为自己铺路"开始。

（完）