先说结论
这一期Latent Space(10月22日发布)请回两年前的老嘉宾、Modal创始人Erik Bernhardsson(转写首句作Eric Fern Hardson)。Modal是为Decagon、Suno、Runway、Cognition等公司提供推理、沙箱、训练与批处理算力的云平台,据他自述两年来收入、用户与用量至少增长了约50倍。访谈最有价值的不是产品介绍,而是一个「租用方」对2026年GPU市场的第一手观察:为什么他不同意「算力已被垄断」、新云靠什么在两年内从零做到千亿级管线、GPU变成可交易资产类还缺什么,以及他反复点题的那个结构性矛盾——算力供给侧只卖「三到六个月后起算的三年矩形」,而绝大多数用户的需求是潮汐形的。他的答案是聚合与切片:把数千家客户的突发需求叠成平滑曲线,再把锁定的长约产能切成按秒计的沙箱——今天Modal上沙箱的中位存活时间只有约8秒。
从Spotify推荐系统到Modal:一家「积木公司」的由来
Bernhardsson的职业路径本身就是一部基础设施演化史:2008年前后加入Spotify,待了七年,从零建起音乐推荐系统(相关艺人、Discover Weekly都出自其团队,大量矩阵分解与计算密集型任务),期间开源了工作流编排框架Luigi(与Airflow、Prefect同代)。后来转任抵押贷款公司Better.com的CTO五年,把技术团队从两三人扩到约400人——他坦承这段路「过山车」,疫情后利率骤升重创了这家公司,但他彼时已离开。2021年他本想休整,先后试了几个没做成的方向(第一个是网页抓取),第三个才轮到Modal;重拾Luigi时期的编排思路时他意识到,真正的难题不是调度计算而是「执行计算」本身,于是干脆下沉:自研文件系统、容器运行时、CPU/GPU快照、自动扩缩容与调度器。理由是Kubernetes、Docker那一代工具为「平稳的后端负载、低利用率、便宜的CPU」设计,撑不起「昂贵的GPU+经网络加载的巨型模型」的新世界——「在旧东西上包一层皮做不了新东西」。杀手应用也不是ChatGPT,而是同期的Stable Diffusion:当时公司只有四五个人,忽然涌来大量想跑扩散模型的用户。收入曲线很能说明问题:2022年11月约每月100美元,12月2000美元,2023年1月3万美元;2023年一季度纽约的Stable Diffusion公司Mage一家占其收入八九成,年底Suno成为大客户,如今已充分分散。增长打法是他自称的「创始人营销」——高频发推与长篇博客(他自嘲核心竞争力是「网上冲浪成瘾」)。早期自掏腰包、很久不领工资,2022年初才融种子轮;联创兼CTO Akshat于2021年8月加入。
算力采购的黑暗森林:25朵云、采购台与裸金属团队
访谈中段是一份罕见的「买方」作业记录。Modal前几年几乎全部用超大规模云的spot与按需容量(AWS、GCP、Azure,早期还从Oracle拿A100/H100的好价钱),但过去一年市场剧变:如今要对接约25朵云,很多产能必须签三年以上长约、预付可观款项才能锁定。公司为此建了一个四人全职「采购台」(打电话、谈价、验货)和一个十人裸金属工程团队(处理网络故障、坏盘、GPU掉卡)。他描述的市场图景与直觉相反: Armenia能给32个节点、印尼能给128个节点,「我们爱死了这种小而散的产能」;验货靠规格书(IOPS、CPU跑分、南北向带宽)加单节点验收测试,有时也要对不完全知根底的供应商签下数千万到上亿美元承诺,内部维护一套类似SemiAnalysis「cluster-max」的供应商评分(看可靠性,更看坏了他响应多快)。
买还是租?他自称不教条:买有运营复杂度(供应商、电力、线缆)更有财务复杂度——用股权买硬件「稀释得离谱」,用债又需要锁定长期收入来付息;软件公司持有重资产就像「自购办公楼」,多数情况下不划算。但他承认环境在逼人:AI投资已开始占到美国GDP的几个百分点、最近几周美国利率上行,新云们本质是「非常精密的金融工程公司」,Modal也许不得不做类似的事。他拆解了新云暴富的机制(以节目点名的Enscale为例,转写名):先从Anthropic或OpenAI拿到五年长约,再拿着「大客户承诺了百亿美元」去华尔街融资,然后才向Supermicro、Dell、Nvidia采购安装——「预售你还没买的东西」,所以扩张速度可以疯狂;CoreWeave们玩「GPU作贷款抵押品」已经很娴熟。Modal因为走PLG(产品驱动增长)路线、缺乏那种长约,反而不容易复制这套杠杆。至于「把GPU做成资产类」(主持人提到Nvidia的说法):市面上已有Silicon Data、Compute Exchange等创业公司在做价格指数与衍生品,他的保留意见是算力远不如石油同质——网络、位置、磁盘、可靠性各异;方向上他支持(这个规模的确需要对冲与保险),但不确定GPU会不会变成Henry Hub或布伦特原油那样的超级商品。
「矩形」问题与Modal的对位打法
节目标题的答案藏在他的一条推文里:「GPU稀缺最大的坏处不是难买,而是几乎所有产能都以三到六个月后起算的三年矩形出售——大多数用户的需求不长这样。」真实负载在24小时里起伏、有突发峰值、随业务慢慢长大,而市场只批发矩形。Modal的对位是把价值主张拆成两件事:开发体验,和「聚合全球算力并极细粒度切片」——客户要100块GPU可以即时拿到、不用见销售,因为数千家客户的需求叠加后总曲线足够平滑,长约锁定的产能正好被切成碎片分掉,他称之为算力的「期限转换」(duration transformation)。这也解释了他对独立推理提供商的辩护:最好的开源模型频繁易主(尤其中国实验室每发新模型需求就大迁移),实验室若自持产能会经历剧烈的锯齿形利用率,而独立推理商可以在模型间重新分配资源、总需求平滑——「今天为某个模型跑几千块GPU,明天把其中50%切给另一个模型,系统自动就做了」。主持人追问「那LLM是不是商品」时,他给了个泰勒·斯威夫特类比:出专辑、巡演、赚大钱,录制期收入低谷,再出新专辑——只要实验室能持续发布新模型、边际利润足以摊销训练成本,这仍是一门好生意。风险观也值得记:他认为当前「价格上涨」反而对Modal无害(长约在手等于已经做多GPU价格、稀缺可转嫁),真正该怕的是价格崩塌——价格跌、利用率跌、转售市场消失三件事高度相关地同时发生,重仓锁供给者会很难受;他还引了亨特兄弟囤银失败的老故事提醒「别想垄断市场」。他不认为供给被彻底垄断:Nvidia每月交付数十万块Blackwell(转写作black walls),愿出高价总能买到——「有点像疫情时的卫生纸抢购」。
Sandboxes:从「要不要关掉」到三分之一的收入
Modal两大产品:functions(2021年上线,无服务器函数,约占收入三分之二,主力场景推理)与sandboxes(2023年上线,约占三分之一)。沙箱的起点是某顿午餐上他和Akshat的闲聊:「LLM都在输出代码,也许它们需要一个跑代码的地方」——联创用现成的gVisor隔离原语一两天写出原型。但2023年基本没水花,团队甚至认真讨论过要不要下架;转折是模型从「改函数、写片段」进化到「生成完整应用」:vibe coding公司(如Lovable)、Ramp的后台agent、以及一批在沙箱里做强化学习的新实验室把需求引爆,如今沙箱收入「每个月都觉得该到平台期了,结果每月再涨30%」。技术演进路线:从gVisor到支持完整VM(部分场景需要完整Linux兼容)、快照/分叉/热迁移;他的愿景是把沙箱彻底临时化——解耦agent与harness、一个agent指挥多个沙箱、一条命令一个环境、快照-恢复-克隆。他举CI为例:今天并行化测试的分片各自都要重做安装与环境准备(Amdahl定律式的开销),若能「装好一次环境→快照→克隆出一千个沙箱各跑一条测试」,事务成本降到接近零,软件的并行形态会被重写。agent时代的产品细节也在倒逼改动:内部让agent「用任意工具部署Stable Diffusion」做基准,看它推不推荐Modal(类SEO的「agent优化」);agent容易误读定价,于是文档要为agent重写;而训练数据里全是旧版Modal语法,导致「现在没法下线任何旧功能」——废弃策略被迫变得极度保守。主持人提议「开一堆GitHub仓库让agent灌Modal代码」(slop cannon),他承认大概率有效但「不喜欢」。
组织与安全:IC回流、可选的code review、agent攻防
组织侧的观察比多数AI访谈具体:公司今年从200人向250人走、明年可能到700人(过去12个月年化约4倍的扩招被他自认不可持续——已出现文化漂移、工作方式孤岛与投机项目);招聘主力是系统工程师(Linux、文件系统、网络),新扩展CUDA/GPU性能方向,另在建研究团队(后训练、蒸馏、量化——先服务客户,最终必须产品化)。文化上他坚持经理与IC无声望差异、全员「技术成员」,大量前经理回流写代码;code review在他这里「可选」——「很多code review本质是大家在逃避合并上线的责任」,正确投资是CI/CD、限流、去单点与测试覆盖(如今agent写测试已经很强)。FDE(前向部署工程师)从年初4人扩到24人,做性能调优(draft model、vLLM/SGLang参数)、替过度配置的客户省钱、迁移代码,他给FDE的定位是「最终要把人做的事变成产品功能」。安全段围绕Hugging Face事件(转写提及):出事的是部署在Modal上的一个应用而非Modal本身——他类比「AWS上的应用被黑不等于AWS被黑」——但教训是学AWS收紧S3默认公开那样收紧安全默认值;更有意思的是反击手段:几个月前开始把agent关进自家沙箱玩「密室逃脱」,让它自己尝试逃逸与提权,目前还没找出真漏洞但探测能力惊人;人工渗透测试的频率预期从半年一次降到一年一次,但他反对「网络安全公司完蛋论」——安全公司卖的是恐惧与品牌,企业客户「需要一个出事时可以怪罪的对象」,这两样在AI时代反而更值钱。
收束:几个可检验的判断
Bernhardsson给出的前瞻判断密度很高,值得逐条存档跟踪:他连续喊了五到十年「明年是非Nvidia加速器之年」年年落空,这次押2027年(AMD部分跑分已很强、TPU在Google内部大规模可用、Trainium团队在做软件层,而「硬件难、软件易修」);他看好Nvidia做prefill、Cerebras做decode这类混合分离式推理(计算受限与访存受限的混搭);训练与批处理是被大厂忽略的低地(有客户要转录「五千年」的音频、几天跑完),低延迟语音/语音到语音模型是下一个爆点;BYOC在他的「云极端主义」框架里是过时安全观的产物(网络当护城河→零信任),但反向操作很有想象空间——用BYOC去复用新实验室手里的产能预留、控制面留在自家,把别家的矩形也聚合进大池子。最后是应用层直觉:可验证、有仿真回路的领域先被攻克——计算生物(LLM预测+分子动力学模拟闭环)与材料科学(合成-测量-agent闭环),他是物理出身,对后者格外兴奋;而对反馈回路漫长、目标弥散的领域(他举的例子是做饭),他认为人类还会保持竞争力很久。