Continual Learning Mechanisms Compose for Long-Horizon Memorization 精读

让模型依次学 100 个知识任务且不留旧例、不给任务 ID——‘长程记忆化’设定下,任何单一持续学习机制都崩盘(保留率普遍个位数)。Johns Hopkins 的系统学研究证明机制要’组合’:锚点类型(data 复演/function 蒸馏/权重正则——保留什么)×低秩分配(merged LoRA——保留在哪)两维设计,任务级逐次减半搜索组合空间+因子实验量化交互。最优组合(三锚点+merged LoRA)把最终保留率从 1.2% 拉到 34.9%(28 倍),且 data 锚点×merged LoRA 在三个数据集上一致超可加——遗忘来源互补,组合解决结构问题。HF 日榜 281 赞当日第一。

September 17, 2026 · 2 min

State of Thought Enables Endogenous Reasoning 精读

测试时推理的现有范式要么给模型套外部推理程序(CoT/Plan-and-Solve),要么暴力扩展搜索(Self-Consistency/MCTS)——控制信号都是外生的。NTU 提出 State of Thought(SoT):从模型内部信息传递提取紧凑动力学-几何状态,582 参数控制器在冻结 backbone 上按当前推理状态选择性激活历史推理支持——推理变成’证据上的状态条件化过程’。16 数据集×3 LLM:量化/通用/符号代码/长上下文推理平均提升 1.34×/1.62×/1.76×/2.51×,同时 token −62.6%、延迟 −44.6%;training-free 与 embedding-only 设定下仍保留 38.2%/36.5% 增益,证明内生状态信号真实存在且可低成本利用。

September 17, 2026 · 2 min

Atria Dawn: The Dawn of Agentic Superintelligence 精读

上海人工智能实验室发布 744B MoE 开源 Agent 基座 Atria Dawn Preview:以 Verifiable Experience Pipeline 把训练信号锚定在可执行环境与外部可验证结果上,16 基准中 5 个登顶(Terminal-Bench 2.1 = 90.2、SWE-bench Pro = 74.7);更独特的是把自身 769 条任务记录的 R&D 过程作为人机协作案例研究——1/3 任务被人类评为无 AI 不可行。本精读覆盖可验证经验管线的设计逻辑、五榜登顶的机制根源、以及模型报告与 HAI 研究双重身份的方法论价值。

September 16, 2026 · 2 min

Salesforce Koa: An Enterprise Language Model for Agentic Tool Use 精读

企业 Agent 工具使用模型的开放权重范本:Salesforce 基于 Nemotron-3-Super-120B(NVIDIA 开源基座)GRPO 后训练出 Koa,在 Dreamforce 发布并作为 Agentforce 平台可选模型。核心是 simulation-to-reward 管线——把工作流规格展开为 persona 条件多轮任务、以成功工具使用为基础的任务解决奖励;企业域用 Agent Script 声明式语言书写规格,训练零客户数据。Tau2Bench 69.41 超基座,且揭示 SFT/RL 的能力分工:BFCL 多轮上 SFT 反降分(54.12→53.25)而 RL 提升。本精读覆盖声明式规格→模拟器→奖励的生成管线与开放权重的企业模型经济学。

September 16, 2026 · 2 min

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search 精读

ZGCM-1 技术报告解读:中关村人工智能研究院 + DeepSeek-AI 系作者的全开放高效基座——7B-8B 级 14 个推理基准平均第一(AIME 2026 = 75.0%、MATH-500 = 97.1%、HMMT 2025 = 70.4%),Agentic Search 与大数量级前沿模型竞争。配方亮点:混合 RL + Agent-SFT(verifier-successful 15,748 轨迹子集)与 AI-Native R&D——用 30B token 代理模型做混合物搜索,把配方探索成本降一个量级后再全量训练。本精读按’开放配方’口径解读其训练经济学与开放科学价值。

September 16, 2026 · 1 min

Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work 精读

Accio-Lab 的开放 35B-A3B co-work 模型技术报告:基于 Qwen3.6-35B-A3B 再训练,核心主张是成本效率路线——日常 co-work 的多数步骤(状态追踪/协调/恢复/跟进)不需要前沿级推理,执行接地的数据与环境(可重放长时程轨迹+多 harness 采集)+ 分阶段后训练,在 12 个 benchmark 四能力域上做到同规模最强、部分任务比肩 GPT-5.6 Sol 级大模型,价格协议明示的性价比优势。

September 15, 2026 · 2 min

Nemotron IMO Gold 精读:开源模型金牌的完整配方——自然语言证明生成与测试时搜索管线

NVIDIA 公开 IMO 2026 金牌系统全部配方:Nemotron 3 Ultra 基座上 SFT+RL 两个专精 checkpoint,加验证器/评分器构成生成-验证-精炼迭代搜索与高算力终选,全程纯自然语言(无形式化证明器/外部工具/互联网),得分 30/42 达金牌线。全套 artifact 开源:两个 checkpoint、SFT/RL 训练数据、训练与推理代码、提交的证明、Nemotron-IMO-Bench(200 道新题)。同日 25 位菲尔兹奖得主联合声明使本文的伦理语境格外微妙。

September 13, 2026 · 1 min

X-AuT 精读:渐进剪枝+跨尺度蒸馏的语音编码器压缩,18→16 层错误率不降反升

小鹏汽车提出 X-AuT:短行为探针选择可恢复的层组合,渐进式剪枝 Qwen3-ASR-0.6B 音频塔 18→16→14 层,表征对齐+跨尺度蒸馏(教师强制+计划学生策略)+LoRA 恢复,解码器骨干全程冻结。18→16 层宏平均错误率 5.61%→5.27%(不降反升);14 层 5.75%、参数 -20.7%、车载加速器延迟 -21.4%;渐进剪枝 5.75% vs 直接剪枝 6.73%。

September 13, 2026 · 1 min

Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails 精读

harness 进化后,让弱模型模仿更强专家的轨迹——这个’显然正确’的配方在七个企业任务上全部翻车(平均 -14.9 分),而同样的做法在未进化 harness 下却有增益。论文定位出根源:模仿让弱模型学会了专家的知识,却也继承了专家的规划风格,破坏了它与’围绕自身原生风格进化出来的 harness’的拟合。解法是 on-policy 专家修正:meta-MLE agent 定位失败 turn、专家只重写那一轮,平均 +1.7 分且规划失败桶保持地板水平。本文精读拆解’模型-harness 拟合’这一新概念与其共进化配方。

September 10, 2026 · 3 min

Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation 精读

弱到强泛化的核心矛盾:常规蒸馏把弱教师当优化目标,学生的上限被教师的容量天花板钳死。OPRD 的解法优雅而克制——在学生 rollout 上提取弱教师相对其参考策略的’政策偏移’方向,只放大学生自身 verifier 梯度在该方向上的投影分量,不建立任何教师匹配目标。理论上保住了策略优化的不动点,实践上比 GRPO 少 33–67% 更新达到教师水平、最终超越教师,多教师场景比 Mix-RL 省 55% 更新。本文精读拆解其梯度投影机制、不对称缩放调度与’加速而非转向’的证据链。

September 10, 2026 · 3 min