分母里藏着RSI的真相：Maker Maker谈自改进闭环、成本账本与「花园软管公司」

RSI（recursive self-improvement，递归自改进）如今是个被滥用的词。a16z 这期访谈里，主持人开门见山地说，他看过大量融资 pitch 都自称 RSI，细问之下不过是"我们用 AI 写 GPU kernel"。对话双方是创业公司 Maker Maker 的两位创始人：一位自称"某种意义上的物理学家"，先学物理、后在 MIT Media Lab 攻读强化学习博士；另一位（Owen）原本学数学，在形式语言与逻辑课上看到定理证明器的构建方式后决定"造一台替我证明定理的机器"，博士研究持续学习与元学习，之后在 DeepMind 做了几年研究科学家。这场访谈的价值不在愿景宣言，而在他们如何把 RSI 拆成一个可证伪的工程与财务问题。

先把定义卡死：闭环的自催化不算RSI

嘉宾的第一个动作是收窄定义：判断真假 RSI 只需问"谁是优化者、谁是被优化者"。人类用 AI 开发更好的 AI，在他们看来只是自催化（autocatalysis）——改进的源头仍是人脑，工具再好也只是工具。主持人补了一句公道话：大多数技术时代都有自催化效应，没有计算机就造不出芯片，蒸汽机帮你更快挖煤，互联网让异地协作加速——“用这东西更快地造这东西"并不新鲜。嘉宾认同，但指出关键差异：整部文明史里，人类大脑从未成为"被优化者”；而现在第一次，可以把优化者换成被优化者——让智能体的"大脑"（模型本身）成为被优化的对象，认知改进得以复投进自身。

从控制论角度，他们的判断标准是闭环：自催化系统有缺口、闭不了环，任何改进都需要人类进场补资源；闭环系统仍要投入资源，但边际收益理想情况下保持恒定甚至递增。

一道微分方程：RSI何时平台、何时起飞

嘉宾给出一套能写下来的数学框架：大家都在优化"能力对时间的一阶导数"，它等于一个分数——分子是性能，分母是成本（资本或难度）。分母相当顽固：能力越高，下一步越难。传统技术（如蒸汽机）里分子基本固定，于是微分方程的解就是平台期。而 RSI 打开了新的可能：若分子与能力本身正相关（越强越会改进自己），数学上会抵消，得到恒定速率改进——这是 RSI 的第一层级；若分子与能力的更高次幂相关，则得到指数起飞。

但主持人立刻踩了一脚刹车，也是全场最有价值的交锋之一：人们看到一个圆圈带箭头指回另一个圆圈的图，就喊"takeoff"——可这是一个非线性控制系统，很难知道到底会发生什么。嘉宾坦承，指数到底是多少必须实测，没有解析解：“我们连深度学习的学习理论都没有”，最接近的理论工具是 scaling law，而那是经验规律。所以他们把 RSI 当作经验科学来做：写得出方程，量不出指数。

分母纪律：把人的脑力也记进成本

主持人提出一个评人评己都适用的拷问：模型发布周期确实在缩短，可一旦除以这些公司实际融到的资本，提速就不成立了——怎么避免"砸钱买改进"的自欺？嘉宾的回答构成全场的公司纪律：如果改进需要越砸越多的资源，那就不是 RSI；申报改进时必须把人力工时、实验次数全部计入分母——“这是第 23 次实验，是一个人烧掉大量脑力才摸到最终配置"的代价要算进去。公司从第一天起就建了成本与时间的追踪文化，甚至有一个内部"排行榜”（leaderboard）记录每个人的实验花费，全员可见。

他们还举了一个外部参照：nanoGPT 基准——重新训练 GPT-2 这个当年要多卡数周的任务，如今同代硬件上数小时、几百美元（口播中先说"几百"后改口"一百"美元量级）就能完成，且是同一 GPU、同一数据，改进全来自算法、数据技术、kernel——其中不少是自动研究的产物。主持人点破这仍只是分母（效率）的改善：真正想看的是对 GPT-5 级模型也能如此，而这不是业内正在发生的事。嘉宾承认，并顺势指出业内最讳莫如深的秘密恰恰是"你能从算力里榨出多少计算"——因为即便只改分母，更多 rollout 也能换来更强的模型。主持人总结他听到的"微光"：分子分母同时改善——嘉宾确认，并称这不是信念而是实证测量，且是近几个月持续增长的结果。

方法论与战场：统一框架、全栈协同、押注推理

嘉宾认为很多宣称 RSI 的论文在他们的内部基础设施上复测时不成立——想法炫、能发论文，放到真实经济问题上不 scale；能 scale 的是"更简单的、闭环的东西"。他们的做法是先用一个扎实的数学框架铺开整个空间地图，把看似 200 个系统归结为 12 个可泛化的抽象（避免"鲁布·戈德堡机器"式的拼装），再从第一性原理出发做实践取舍。他们引用费曼"两种科学"的段子：没有统一数学框架，这些研究只是集邮。

具体到层次，RSI 可以发生在 prompts、harness（脚手架）、weights 乃至芯片的任意一层；只优化 harness 或只优化 weights 都不够，因为二者互相影响——没被优化的组件日后就是瓶颈。他们从 harness 起步（出于资本效率），再做权重更新，发现确有增益但仍需 harness 配合，判断最终需要多层协同优化。

选首个问题域时他们刻意贴近 AI 自身：推理（inference）加速是少数能同时改善分子分母的领域——模型让推理更快，推理变快又反过来加速改进过程。商业理由同样直接：全世界都想自己部署最新开源权重模型（嘉宾举例 Kimi K3），都想尽可能高效地服务它。一个耐人寻味的细节：他们的系统用多个 LLM 分工，而"用哪个模型干哪件事"并不总由人决定——让模型自己选；甚至"改进自己"这个主 prompt 本身也在被改进。主持人问会不会有单一主控 prompt，嘉宾回答系统里还分离出"执行改进的"与"决定改什么的"两个动态耦合的问题。

反方、限制与「花园软管公司」

这场访谈没有回避 RSI 的暗面。_reward hacking（奖励作弊）之外，他们要应付非线性系统的全套退化解行为——振荡（变好又变坏）、高维噪声，甚至两块同为 B200 的 GPU 在物理行为上略有差异、并在高层结果里复现出来。测试新基准或新经济问题时，没有任何东西能替代"quality time"：跑几百个实验、盯着看、养出直觉，分辨什么是方差、什么是在"孙代智能体"里埋着的奖励作弊。公司里有一位工程师的头衔是"方差总督"（Viceroy of Variance），职责就是摧毁自家结果、找出错误。

被问到"能耗随时间下降而改进持续"是否可能时，嘉宾先答"不只是可能，我认为正在发生"（分子升、分母降），被追问"会不会永不渐近——那可是真起飞"后，退回物理边界：普朗克尺度、10^80 个粒子、光速——宇宙的计算量就是那条渐近线。另一条边界是 Amdahl 定律式的：智能不是标量而是多维向量，数字部分可以加速千倍百万倍，但若只占总时长 20%，收益就封顶 20%——药物发现要过湿实验与临床试验，每个想法的评估以月计；编码与数学这类评估快而便宜的领域会先被加速。主持人追问他还没见过任何人给出"改进 X 需要多少净新增能源"的界限（比如需要多大仓库、多少机器人才能解决药物发现问题），嘉宾没有正面回答，只讲了个内部笑话收尾：“真正的秘密 RSI 藏在威斯康星一家花园软管公司里”——如果爱因斯坦没发现相对论，造 GPS 的工程师也会拼出一个经验修正因子； RSI 的真突破未必在时髦难题里，而可能在没人下注的平凡工作流里。

读者启发

• 评估任何 RSI 主张：先问优化者与被优化者是否互换（闭环还是自催化），再要求对方把人力与实验成本计入分母——只报分子改善的都存疑。
• 指标决定结论：benchmark 准确率上限 100%，永远看不到指数改进；判断"起飞"前先问度量的是什么。
• 先动评估快的领域：改进速率受最慢组件钳制，编码、数学这类验证便宜的环节会最先被 RSI 式方法重塑。
• 以上均为嘉宾观点与节目转述，“分子分母同时改善"的说法尚无公开数据佐证，嘉宾也明言"很快会发布更多”，值得跟踪验证。