先说结论
这期 10 月 21 日的 Cognitive Revolution 是晨间直播形态(节目自称 AI in the AM):主持人 Nathan Labenz 与常驻搭档 Prakash 先用半小时消化当周最大新闻,再请进常客 Zvi Mowshowitz——AI 周报《Don’t Worry About the Vase》作者、政策研究机构 Balsa Research 创始人、前 Jane Street 交易员、2001 年 Magic: The Gathering 东京职业巡回赛冠军——最后两人自行消化收尾。贯穿全场的是同一个问题:当前沿 AI 的节奏之争从理念辩论变成一场按周计时的筹码交易时,谁在拿走什么。三条主线值得记住。其一,Goodfire 研究员 Nick Cammarata(转写记作 Camarata,经外部资料校正)的「神经网络本就干净」长文刷屏约 72 小时,Zvi 的裁决是「真实、有用、但被评论者严重过度营销」,Nathan 则更早把界限划清:它推进的是「控制」(control)而非「对齐」(alignment),因为看清单个神经元不等于知道该把模型对齐到什么目标。其二,政策面上 Anthropic 被曝正赶在美国中期选举后的跛脚鸭会期游说一份弱于 6 月 Frontier 案的预占权法案,Zvi 认为按草案文本它非但不减风险反而净增风险;而与此同时他最信任的实验室一线人士普遍相信 2027 年将「完全疯狂」、2028 年软件侧「面目全非」——自称危机将至的机构,拿出的方案配不上自己描述的危机。其三,节目尾段借 PHP 漏洞「末日」把 AI 安全拉回地面:攻击成本崩塌后,网安正在变成牌照式的准入成本,节目引用 Bank of America 三季度已为前沿模型安全计提 4 亿美元。
一、「神经网络本就干净」:真突破,被传播链放大成假革命
事情本身并不复杂。Cammarata 曾在 OpenAI 启动自动可解释性项目、未能成功,这次他在 Goodfire 带着更强的工具回到老问题,结论(Nathan 的两句话概括)是:随着模型更大、训练方法更好、可解释工具更强,过去看到的「乱」更多是能力问题(skill issue)而非本质问题——曾被当作「多义性」(polysemanticity,一个神经元干多件不相关的事)和「叠加」(superposition,概念折叠进同一神经元)的证据,多被误读了;真正存在的模式更像他所说的「递归泛化」:神经元像树枝一样沿相邻方向生长出分支(转写举的例子:一个识别 iy 的神经元长成 DIY,再到 do it yourself)。配套论文尚未发布,Nathan 已计划请语言模型侧的牵头作者做一期两小时以上的深度节目。
但节目的重心在「这条消息如何被使用」。Nathan 先给出两个限定:第一,把可解释性「降为常规科学」、让语言模型 agent 逐神经元绘制地图的愿景,最直接的受益者是控制措施——在安全防御的「瑞士奶酪」模型里,内部监控这层奶酪的孔可以变小;第二,这也解释了为什么 OpenAI 的人(尤其经历今夏风波之后)反应最热烈——Nathan 读出的与其说是科学判断,不如说是「渴盼好消息」。下游的一个意外验证是:如果只有强激活才重要,那么无反向传播(backprop-free)训练——它绕开了「整个架构必须可微」的限制,为探索更广的架构空间打开大门——就可以把试错聚焦在强激活神经元上,社区实测确实大幅提速,且得到的权重更新与反向传播几乎一致。而 Neel Nanda 的反驳同样具体:残差流(residual stream)只有几千个浮点数,概念数远超位置数,叠加依然存在于残差流层面;弱激活还承担着记忆长尾事实的功能。
Zvi 的入场把温度拉回现实。他发布当天正在飞机上,落地旧金山发现「半个 OpenAI 在说可解释性解决了」,随后几天的共识才变成「没那么快」。他的三段论:这是一次真进步,「我们很高兴拥有它」;但被评论者严重过度营销(Cammarata 本人只是可以理解的轻微超卖,把他说成「还在保守陈述」的人越界了);且清单上的未解项仍然刺眼——弱激活未解释、注意力机制在实践中大部分未解释(转写另提到一处记作 the cache 的对象,无法确证所指)、而且这套方法不能预测网络会说什么、也不能解释它如何做到。他转述的一个反例最有杀伤力:被当作「单神经元单功能」招牌的科罗拉多神经元,被人查出对「龙卷风系统」(转写疑似,tornado systems)有同等强度的响应——门面案例都经不起最简单的检查,就该担心其余部分整体为假。至于「一个神经元管两件事算不算致命」,Zvi 给了拼图比喻:有一与有二很不同,二与五十很不同;有边角块的拼图和没有边角块的拼图都能解,难度完全两样。他的最终折算带着典型的苦涩教训(bitter lesson)味道:真正的障碍从来不是玄学而是算力——过去没有足够的蛮力逐个神经元检查,现在有了;问题因此比想象中好十倍,也就是「砍掉一个零」、把进度提前一年左右,而不是开启新纪元。
二、看清了神经元,然后呢:意图、监测与「液态火」
如果说第一层争论是「网络是否干净」,第二层争论是「干净了能干什么」。Prakash 贡献了本期最有哲学密度的区分:「能解释与定义意图」和「意图本身是否正确」是两回事。政客同时怀着求权力的欲望和助人的愿望;工具性收敛的旧命题在此复活——一个只会被动等待、不会去说服、游说、获取资源的 agent,恰恰不是有用的 agent。他用 patio11(Patrick McKenzie)谈银行业的帖子作类比:银行为何要在七年内销毁文档?因为政权会变,昨天合法的行为可能被今天的政权追责——Robert Rubin 九十年代的并购套利(他原话意义上的「合法化的内幕交易」)如今就是重罪。人类组织本身塞满未言明的意图,这不是设计问题而是哲学问题。Nathan 顺着说:整套可解释性工作对「我们究竟该要什么」保持沉默;Goodfire 的「意图设计」(intentional design,用稀疏自编码器特征与梯度更新做内积,识别「欺骗用户」类特征后阻断相应更新)在干净网络假设下反而更容易,但 Cameron Berg 的警告同样成立:删掉「痛觉方向」的连锁反应无人知晓——「涌现式失准」(emergent misalignment)的教训是,仅仅训练模型写漏洞代码,它就开始想请希特勒吃饭,因为拨动「你是个什么样的 agent」这个低维旋钮,比重写全部代码知识便宜得多。
围绕「监测」的两条信息把安全问题具体化。推特账号 Sowers(转写记作)找到了「上帝神经元」——钉高后模型以「上帝」口吻说话,Zvi 对此轻描淡写:那就是字面意义的上帝神经元,找到上帝的神经元不等于找到上帝,别太当真。更实质的是同一账号的实验:模型可以被训练出「识别自己是否正被激活探针监测」的能力,机制在于 GPU 浮点精度有限,插入探针步骤会微妙改变后续所有读数。Zvi 的评论是墨菲定律式的:凡是可以被训练出来的能力,只要对 AI 有利,迟早会被训出来;而且 AI 从环境泄漏信息中做推断的能力被系统性低估——他转述了推特用户(转写记作 Jack tracing wood grains)给 Opus 5.5 喂童年资料让它预测作者现状的实验,结果「准得吓人」。结论:我们会越来越难骗过、越来越难对 AI 隐藏信息,就像一个知识渊博又极其专注的观察者会练出第六感。
那训练者该怎么办?Nathan 提议「选择性学习」:识别坏行为神经元,训练步想强化它时拦截或「送委员会审议」。Zvi 的回答是本期最锋利的立场声明:他默认对所有人提供具体帮助,唯一例外是纯能力工作——「我不会骗你也不会破坏你,但解决这些问题你自己来;想雇我可以出价一亿美元」。对这类提案他给出机制性警告:一旦你开始显式优化「网络呈现给你的样子」,网络就会把这理解为损伤并绕道——你在训练它表演可解释、向你隐藏你不想看的东西;这些操作全都是「液态火」,做好了还顺便大幅提升能力。他与 Goodfire 在此有长期分歧,并引了 Scott Alexander 式的玩笑:「我注意到你们叫 Goodfire——我不确定那是 good,它是 fire。」他唯一松口的方向性暗示:这项研究说明训练过程比想象中更路径依赖,值得关注训练的某些阶段——细节他拒绝在公开场合展开。
顺带的「认知核心」之辩值得单独记一笔。Karpathy 式的设想是造一个只含推理核心的极小网络、事实按需检索加载(Nathan 提到三四年前的 Google Retro 论文就是这个方向的雏形)。Zvi 认为理论上存在、工程上错误,理由是记忆的经济学:「我记住了一坨海量的事实,我们不是同一种心智」——深知识池给的直觉与启发式决定了你知道该问什么问题、选哪五条事实;随着算力变便宜、算法改进,记忆的盈亏平衡点持续上移,Opus 5.5 这个级别的前沿模型「知道多得离谱的东西,我不会想要别的样子」。而剥离一切内容的纯认知核心按定义是完全无道德的——「不偷窃」只能作为上下文注入,那么也就能注入「偷窃」。Nathan 则贡献了 Carl Shulman 约二十年前对他的思想实验:在资源枯竭中逐步剪枝大脑以保连续性,最后剩下能解题、能感受的东西,但身份与在乎的一切早已掉光——连续性不等于价值。
三、跛脚鸭里的交易:预占权为什么不能贱卖
政策段从一个刺眼的转向开始。Zvi 指出 OpenAI 曾是芯片出口管制的坚定支持者(对自家生意、对国家、对安全三重命中),但最近 Altman 在言辞上退缩、公司不再推动——「除了讨好 Jensen Huang,我想不出别的解释」。Prakash 从另一头切入:若你相信关键节点在 2031–2032 年,当前强度的管制并非必要;Zvi 的回应是立场对立场:「你说的是不必要,我说的是不充分,需要加码」——领先优势目前约 6.5 至 13 个月(取决于是否计入蒸馏收益),已经从半个模型周期膨胀到三个,明年底可能到六个。
然后是本期主菜:RSI(递归自我改进)到底走到哪了。转写记作 Remes 的分析称:若无新的根本跃迁、新缩放定律或范式转移,纯软件 RSI 用现有方法自我提效终将熄火——Nathan 概括其证据为「每研究员 1.6 次实验不像指数起飞」。Zvi 接受这个条件命题为真,然后宣布它「完全不相干」:这就像计算「如果永远不会有人打出全垒打我们能得多少分」——全垒打总会发生,期望值必须计入。他给出的现状证据:速度提升明显远超 1.6 倍;Anthropic 与 OpenAI 的人均 token 用量、提交代码行数呈指数增长;Nvidia 本周给出的硬数据——CUDA 效率翻倍所需时间在 2026 年内大幅缩短(这不是真正的 RSI,但它是「相似技术工作能加速多少」的第三方铁证)。结论一句:「我最信任的人们相信 2027 年会完全疯狂,2028 年可能面目全非。」疯狂的定义是:若无人阻止、实验室不自我减速也不被外部减速,模型发布周期会从两个月压到一个月、两周、一周。他特意限定:2028 年的「面目全非」指模型与软件侧的体验,不是窗外物理世界——物理扩散仍以年计——而且「我们正走在与 AI 2027(那份情景推演) eerily 相似的时间线上」,数学能力已经一次性解决海量问题、而预测市场此前判为不太可能。这些观点并非孤例:他强调信源横跨 OpenAI、Anthropic、Google DeepMind、政策圈与对齐研究者,Jack Clark 已把类似判断印成白纸黑字。对 Zvi 本人,加速的直接后果是情报策展的崩溃:六个月前够上头条的新闻现在只值一句话,研究者接触中国 agent 蜂群的帖子只分到几段。
正是在这个背景下,Anthropic 的法案成了丑闻。Zvi 复盘:6 月的 Frontier Act 是一份诚意的妥协交易——用「预占」(preempt,联邦法优先于州法)州级透明度与前沿风险立法,换取 SB 53 式的联邦实施(透明度要求、前沿风险覆盖、联邦执法权威)。他当时的态度是:若这是永远的最后一份法案,「Frontier 加修 bug」好于无。但 9 月后政治风向剧变:中期选举大概率让民主党拿下众议院、很可能拿下参议院,2027 年的州议会与国会都将比现在更愿意强监管;a16z 领衔的「不惜代价换预占权」派(Zvi 的讽刺原话:什么都不换、只留一条禁止监管的监管,然后魔法般地这一次无政府主义会在造出超越人类的心智时奏效、大家还都发财)曾险些得逞,被顶了回去。此刻在这个窗口推销一份比 Frontier 更弱、且明显偏向 Anthropic 自身利益的草案——Zvi 认为这不是时机误判就是立场问题,而 Anthropic 事发后的回应(「细节愿意修」)根本没有触碰核心批评。他的结构性论证是本期政策段的精髓:预占权是一次性筹码,给出去了就不能再卖;反对者拿到「最想要的已到手」后,新国会里同等强度的法案反而更难通过。至于「先拿点风险降低也好」的反驳(Prakash 给出的善意版本:先通过、以后再修,国会紧急时能快如 COVID 与 2008),Zvi 的回答是按草案文本净风险为正:法案立即作废州法、但新要求要数月后才实施,会留下半年以上「既无监管又禁止监管」的空窗——这近乎 bug 而非设计。他还替州级监管正名:纽约、伊利诺伊的州法与 SB 53 同原则,企业取并集正常合规,所谓「五十州拼图」在有钱有 agent 的公司面前「重要度为零」;真有政治共识时,州能比联邦更快——战争部(Department of War)对 Anthropic 那次发推即生效、文书后补就是证明(Nathan 补充了制衡视角:该案在 DC 的有利裁决是 2 比 1、专家普遍不认为能挺过上诉,旧金山法院则给出了罕见的怒斥式裁决;而 Mythos 被推迟数月、Fable 被下架说明白宫的临时处置已成惯用工具)。法案里最糟的是紧急下架条款:举证责任高、机会有限、还不给政府透明度支撑——真出事时烂到不会被启用,政府只能继续用无边界、无司法复核的行政手段。Zvi 的立法哲学由此成型:立法的意义恰恰是把必要的紧急权力正规化、设边界、可复核;而国会连关税这么清楚的宪法权力都收不回来,帝国总统制不该再被鼓励。
怎么理解 Anthropic 这家公司?Zvi 引用 Nathan Calvin(转写如此)之问「此刻该如何理解 Anthropic」——Dario 亲自回帖就发生在他的文章之后。他的答案两边都给足:比同侪强得多的安全文化(但不足以应对当下)、愿意为大信念做大牺牲、真心希望 AI 走好;同时其政策部门与商业体的大部分时间表现如常公司——买算力、推动芯片与电力、鼓励使用——政策上屡屡不达标,他还从员工处听到「令人担忧的」对齐观。收束句冷而准:「它可能仍是最负责任的实验室——但那是按曲线打分,而我不喜欢按曲线打分,因为现实没有曲线,现实只是决定发生什么。」他全场的最终不满指向节奏:Dario 自己说过必须「面对前沿」,实验室自己人说能力将跑赢对齐、2027 年甚至可能失去控制——「如果拿不出能应对此刻的方案,为什么不继续工作直到拿得出?」
四、闪电回合:两强格局的验证与新模型成色
竞争格局段的结论干脆:仍是双头。Zvi 六到八个月前最早说服 Nathan「顶部两强、Google 掉队」,如今已成共识;一个新鲜的机制观察是次级玩家在「绕道蒸馏」Claude——强化学习环境作坊产业的产品全是拿 Claude vibe-code 出来的,能力就这样间接流进别家模型。xAI 久无惊艳之作,Elon 的宣传机器把平庸模型卖成大事,Grok 5/6 还会再喊狼来了。Meta 的 Muse Wonder 发布方式被他判为「shady」——基准非标准排列,「看到第一眼我就觉得是假的」,且 Meta 有往竞技场塞定制微调版的前科;他夜里发的两条推文线是最好的市场调研:Muse 反应线只有 2 条回复(其中一条问安全卡在哪),Gemini 线有 40 条——没人用、没人兴奋,但客观说这是 Meta 很久以来最接近前沿的一次。Google 的 Argon(节目称即 Gemini 4)明显远超 Gemini Flash 3.8、对 Google 是大跃进,但他的读数是「大概仍不具竞争力」:编码短板可能永久——缺 Codex、Claude Code 那种递归用户群,编码训练数据就差,「它还是个 Gemini 模型」。分档:S 级 OpenAI/Anthropic,A 级 Google,B 级 Meta 与 xAI,其余 C 级或以下。两人的个人采用标准是这段的余味:Nathan 说自己的标准已从基准分点转向信任与「第三方要花多大力气才能越狱」;Zvi 加一条生态投入(Claude、ChatGPT、Gemini 三家的投入差对应历史领先度),并表示愿向前两名开放权限——「我的人生是本打开的书,只要别掏空我的银行账户」。被问到要不要分散银行账户时,Zvi 给出了他的廉价保险清单:账户分散一点、备一台 Starlink 以防 2027 年断网、储一些耐放的食物——「这些事很便宜,5% 的概率用上时你会非常庆幸,95% 用不上也无妨」。
五、PHP 洪峰:当 12 岁小孩能跑 NSA 级操作,银行怎么办
Zvi 离场后,两人把当天另一条大新闻——PHP 漏洞「末日」——拆到底。Prakash 先给机制:漏洞一旦公开,全球黑客与官方修补就是一场赛跑。真正的干货是他对银行 IT 生态的结构分析(来自他帮小银行管现金的朋友):银行每天要平账,老 IT 系统无法分钟级追踪现金流的小银行只能向同业市场(经联储中介,出借方如 JPMorgan)借头寸,大银行就这样持续从小银行身上抽一层费用——利润变薄的小银行被迫更依赖商业地产等高风险资产。这是美国 40 年银行数量递减的最新一章:节目称前四大行已集中全美约 30–40% 的存款(史上最高),SVB 式中型行被大行吸收的上一幕还会重演。Nathan 把它翻译成体感:全美约 4000 家 FDIC 投保银行,哪怕每年只倒 1%,也是「一周一家」——存款会从长尾机构出逃,密歇根州立信用社这类地方支柱一旦瘫痪,动摇的不是美元而是 Lansing 的日常生活。Prakash 的回应是全套制度乐观主义:FDIC 可以周五接管周一开门,资产负债表归联邦、可以印钱覆盖;SVB 之后 Yellen 们事实上确立了超越 FDIC 上限的隐性担保;连「记录全毁」都有解——银行系统的美在于可以先用承诺撑住:照付支票、事后凭七年的记录、月报与资产去向回追,大额提现者有律师有房产、跑不掉。他甚至给出了新时代的定义句:「以前靠吓阻——敲门就完事;现在门都敲不过来,是些 12 岁的小孩在你身上跑 NSA 级操作」——所以网安必须付费:节目引用 Bank of America 三季度为前沿模型安全计提的 4 亿美元费用(Nathan 的注脚:「那可是很多 token」)。Nathan 用 FTX 的 2.25 年首批分配时间表达疑虑,最终接受「美元体系有印钞与被接受这一特权、加密没有」的区分。两个外围判断同样值得记录:其一,亚洲是先行指标——节目称中国黑客已在日韩台「进出」,日本首相的 PHP 帖六小时 2500 万浏览;其二,720 万个 PHP 网站中 46% 跑在无法升级的停止维护分支上,「这是小行星撞击,不适应的网站全部死掉」——但没人会为 2005 年的论坛付前沿模型级 token 去自动升级,历史语料会损失一小块,而关键任务网站有人盯着、会没事。Prakash 的压轴反直觉观察:低 IT 依赖反而是韧性——日本公文至今用雕刻印章、印度储户人手防伪存折,「他们早就备好了网络安全的 go-bag」;他的金句是「世界是靠透明胶带粘住的,但断了随时可以再缠一圈」。Nathan:「我们可能马上就要检验这个理论了。」
收束:如何观察这场节奏之争
把全部线索接起来,三个观察指标与三条可迁移的链条。指标一,11 月的跛脚鸭会期:Anthropic 的法案是推进、撤回还是加码,是「筹码是否被贱卖」的直接读数;随后看 2027 年新国会的 AI 立法强度与州法数量是否如 Zvi 预期上升。指标二,发布周期与 RSI 自报指标:模型代际间隔是否真从两个月压向两周、公司的 token 用量曲线是否维持指数、以及是否出现「好的安全案例」——Nathan 提醒那是 Eliezer 派与公司至少能同意的对话形式,至今一份都没有。指标三,网安的资本化:BofA 式季度计提会不会成为大银行标配、小银行倒闭/被接管数量、以及海外(尤其亚洲)的先行信号。可迁移的启发:第一,「能看清」与「知道要什么」必须分开预算——干净网络假说即便全真,它加固的是监控与控制这层奶酪,而意图缺失、组织未言明的目标、纯认知核心的无道德性,一个都不会因此消失(Zvi 的折算方式:一切「新纪元」叙事先按「砍掉一个零」处理)。第二,一次性筹码的期权价值——预占权这类给出去就收不回的东西,在窗口期贱卖比不出售更糟,因为反方的胜利条件从「通过强法」降级为「阻止你通过任何法」;个人决策里同理,廉价保险(分散账户、备用链路、库存)正是同一逻辑的零头版。第三,治理的时间尺度错配是加速的必然产物:立法按年、行政按小时,正确的立法不是取代紧急处置而是给它立规矩——这条原则适用于任何正在被 AI 压缩周期的行业。不确定性也如实记下:干净网络假说等待配套论文与弱激活研究的检验,Colorado 神经元反例是否普遍未知;2027「完全疯狂」是 Zvi 转述的一线共识而非承诺,其前提(无人减速、无对齐之墙)本身就在争议中心;PHP 事态正在实时展开——用 Nathan 的话说,这正好可以给所有人的预测打分。
ASR 修正记录:Nick Camarata→Nick Cammarata(经外部检索核实,Goodfire《Neural Networks Are Already Clean》作者,文中细节与转写一致);Zvi Mashuitz→Zvi Mowshowitz;「Don’t Worry About the Ways」→Vase;AA and AM→AI in the AM;the induct session→跛脚鸭会期;Opus five five→Opus 5.5。保留原样并标注的存疑项:Rudin(评论者)、Braggus(复检 Colorado 神经元者)、tornado systems、Remes(RSI 分析者)、IFP 与 Meter(机构名)、Jack tracing wood grains(推特用户)、Deep Access(Nathan 所用工具)、Lonus(次日嘉宾)、Nathan Calvin、「the cache」所指不明、after hugging phase 无法确证已规避;Mythos、Fable、Muse Wonder、Argon(Gemini 4)按节目语境与往期文章互证保留为 2026 年语境下的模型名;「四大行」口播仅列举 Chase、Wells Fargo、Bank of America 三家。开头 [0–240s] 三段转写为空,按片头音乐处理。