今日精读补充：Auto-RecSys 与 ActReview——把"自主研究"装进工业 harness 与学术评审
上篇：Auto-RecSys——当研究 Agent 遇上"训练一轮要几天"的现实
题目：Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender Systems 链接：https://arxiv.org/abs/2609.10922 团队：Meta（Ming Li, Dai Li, Bo Sun, Rui Li, Yi Zhang, Silvia Gong, Xuan Cao, Cornelia Carapcea, Qunshu Zhang, Zhigang Wang, Yinglong Xia, Xue Feng, Andy Wang 等）+ UIUC（Xuying Ning）
背景与定位
自主研究 Agent（AI Scientist 系）在学术基准上进展迅速，但 scaling 到工业级推荐系统模型遇到两个学术环境不存在的硬约束：(1) 长反馈环——单次模型训练以天计，串行迭代慢到不可接受，必须并行探索多个研究方向；(2) 系统复杂性——巨大配置空间、脆弱的基础设施依赖、多日 GPU 作业，任何一处失败都会烧掉数天。
方法核心
三大 harness 设计直接对准两大约束：
- 分布式异步执行：多个实验并行跨服务器推进，每个 idea 走同一下游管线（对齐的 baseline 与训练日期窗保证公平 A/B）；全局注册表跟踪哪个 agent 会话在做哪个 idea，防冲突+统一仪表盘。
- 集中式跨服务器记忆：实验历史持久化且可恢复（跨会话、跨故障）——agent 不需要"记得"上次的假设，读档案即可。
- 认知-程序分离：自然语言 skill 文件引导 LLM 推理（怎么想），确定性脚本强制操作正确性（怎么执行）——研究认知与工程操作解耦。 外加双环自演化：idea 过滤（对照实验历史：哪类 idea 有效过、失败过、如何在部分成功上构建）+ 按"预期指标影响/实现复杂度/回归风险/新颖性"排序。
关键观察
论文的评测哲学值得注意：用"每个 idea 的人类带宽消耗"而非端到端周期时间作为主指标——训练时长是物理约束，系统价值在于把人从"盯着实验"中解放出来。这与 RSI 综述 L3-L4（经验获取/部署适应自治）的分级判据一致：Auto-RecSys 内化了实验编排与经验管理，但 idea 的最终验收仍在人类研究者。
下篇：ActReview——用 rebuttal 教模型写"能落地的评审意见"
题目：ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation 链接：https://arxiv.org/abs/2609.09076 团队：Yale（Yilun Zhao, Arman Cohan）× University of Chicago × 腾讯（Yiling Ma, Sihong Wu, Ziyu Chen, Manasi Patwardhan 等）
背景与定位
同行评审是学术系统的瓶颈，LLM 生成的评审意见普遍"说得对但没用"——能复述论文弱点却给不出作者可执行的修改方向。可行动性（actionability）的监督信号从哪来？论文的洞察：rebuttal 是天然的标注——作者对评审意见的回应暴露了哪些意见"可行动"（作者据此修改/澄清）。
方法核心
- ActReview-40K：从评审-rebuttal 对齐管线构建训练集——评审分段→弱点-rebuttal span 映射→rebuttal 引导的增强（把"作者后来证明如何解决"的信息注入评审意见生成目标）→局部证据检索。
- Rubric 奖励 GRPO：多任务 SFT 后，用候选感知、弱点特定的 rubric 奖励做 GRPO——奖励锚定"诊断质量+修改有用性"而非表面流畅。
- ActReview-Bench：1,000 例人策基准，评诊断质量与修改有用性双维。
关键结果
实验显示 ActReview 在可行动性与接地（grounding）上超越先前专用评审生成模型，与强 prompt LLM 保持竞争力；人工评估确认修改有用性提升，同时诚实暴露技术准确性仍有差距——幻觉技术缺陷是剩余风险。held-out 零样本弃权测试（对论文中不存在标签的意见弃权）验证了可靠性设计。
合读洞察
- “自主研究"的分水岭在 harness 不在模型。Auto-RecSys 的三大设计（异步/记忆/认知-程序分离）没有一个是模型创新，全部是系统工程——工业落地的瓶颈是"研究流程的操作系统”，这与本周 harness 工程学化的主线（Show-Harness、Harness Engineering）第三次收敛。
- 对抗性文档是高质量监督的富矿。rebuttal 之于评审=作者的现场反驳；代码评审的"评审-修复"对、需求工单的"工单-实现"对同构——任何"主张-回应"档案都能蒸馏出"可行动性"标签。
- 两篇合起来看 AI 化的学术流程全链路：Auto-RecSys 自动化"做研究"，ActReview 自动化"审研究"——夹在中间的"写论文"已被写作 Agent 覆盖。当三段都成熟，瓶颈移向"想法本身的充分性"（IdeaAMBIG 的 9.6% 提醒：这一段还是黑洞）。
通用灵感
- 多日任务系统的记忆设计：与其让 agent 在上下文里"记住"一切，不如建外部档案库（实验历史+假设+部分成功），agent 每次冷启动读档——Auto-RecSys 的集中记忆是长任务 Agent 的参考架构。
- 用"回应质量"训练评论系统：代码评审意见的价值可以用"开发者据此提交的修复"来度量——你的评审 Agent 的奖励信号就藏在 issue 的后续提交里。