Jeremy Howard:AI 编程是台老虎机——偶发的赢是「伪装成赢的输」
先说结论:这是 Machine Learning Street Talk 的一段 65 秒短片(转写全文仅一个时间段,视频标题标注嘉宾为 Jeremy Howard;本片为片段而非完整访谈),核心主张一句话可以概括——AI 编程的使用体验被自然塑造成了赌博机的形状:你有控制感的错觉,结果是随机的,而行业实际交付量的数据远低于叙事。这不是一个「AI 无用论」,而是一个关于度量方法与心理机制的提醒。
老虎机类比拆开看:三个心理构件
嘉宾的类比展开(据转写全文):
- 控制感错觉:你可以精心打磨 prompt、挑选 MCP 列表、配置 skills—— Inputs 层面的一切都由你掌控;
- 随机回报:但拉杆之后,回来的结果是随机的。「樱桃、樱桃」,没中?「下次我改一点 prompt、多加点上下文,再拉一次」;
- 偶发强化:偶尔你会赢——「哦,我赢了一个功能」。而这种情况,嘉宾认为「具备了『伪装成赢的输』(loss disguised as a win)的全部特征」。
他点破:这些恰恰是博彩公司刻意在赌博机房里工程化出来的心理特征——随机性、控制感错觉、偶发赢奖。AI 编程工具的使用循环天然复刻了这套变率强化机制。
他给出的证据:「没人在产出 50 倍的高质量软件」
嘉宾称其团队「刚刚完成了一项研究」,结论是:没有任何人在实际产出比以前多 50 倍的高质量软件;人们实际交付的东西(what people are actually shipping)只有极小的上升(a tiny uptick)。「这就是事实。」
按本博客底线需注明:这是嘉宾在片段中的口述结论,未附方法论细节(样本、度量口径、时间窗),引用时宜标注来源为本片口述,不当作独立验证过的研究结果。
嘉宾自己划的边界
片尾一句很关键:「这些都不意味着 AI 没有用——但天哪,很难说清楚(到底有没有用)。」(none of that means that AI is not useful, but gosh, it’s hard to tell)也就是说,他反对的不是工具本身,而是用赌博机心理加幸存者偏差来评估工具。
机制链条与读者启发
信号 → 机制 → 得失 → 二阶影响 → 观察指标 → 启发:
- 信号:「感觉上的生产力」与「实际交付」之间出现度量缺口。
- 机制:变率强化是最强的行为粘合剂;prompt 迭代天然构成「再拉一次杆」的循环,每次微调 prompt 都是一次新的下注。
- 得失(嘉宾视角+写作者推断):工具方获得留存与增长叙事;个体开发者支付的是注意力、以及对「我到底赢了多久、输了多久」的判断力钝化。
- 二阶影响:如果行业普遍用 vibes 评估 AI 编程,资源配置会系统性偏向「赢的感觉」而非「交付的软件」。
- 观察指标:看交付物度量——合并率、缺陷率、上线周期、维护成本——而不是单次成功演示。
- 启发:把「我赢了一次」升级为「我赢的频率和成本是多少」;只有基线对比和控制组能区分老虎机与杠杆。本片 65 秒内没有展开方法论,这恰好留给读者一个可执行的动作:给自己的 AI 编程工作流记录成功率账本。
交叉参照(写作时联想,非本片内容)
恰在同批处理的 The AI Daily Brief 节目引用了 The Information 订阅者调查:35% 称其组织从 AI 投入中获得倍数级回报,但近半数机构称招聘实践毫无变化——「感知 ROI 上升」与「组织层面可观测变化」之间存在缺口,与 Howard 的「交付只微增」主张互为两面参照(一个来自个体心理机制,一个来自机构自报数据;两者均非受控实验,置信度有限,并存呈现)。