基于播客「对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷？【硅谷101播客】」完整转写整理（音频6760秒，约112.7分钟，57个时间段全覆盖）。本期分两次录制、按「先Afra后Vitalik」顺序播出：主持人（开篇自称「易文」，转写存疑）与「红军」（转写，疑为节目主理人泓君）先与以太坊联合创始人Vitalik Buterin及其朋友、科技记者Afra（转写名，存疑）对谈，再单独补录Afra的背景梳理。Vitalik虽是加拿大人但中文流利，全程以中文受访；人名机构名多以英文出现，系口语原貌。除注明外，人物观点均归各说话者，事实与数字为节目口径，未经独立核实；转写疑似错误文末统一标注。本系列前作：AI助理争夺战篇（OpenAI与Anthropic的竞争细节可互参）、跨境支付篇。

先说结论

这期《硅谷101》借Anthropic的招股书把一个哲学问题推到了台前。按主持人的梳理：这份文件用近百页篇幅披露风险因素，除常见金融与市场风险外，还包括「前沿AI带来灾难性甚至威胁人类生存的风险」的表述，Anthropic自陈无法保证安全措施一定有效；「safety」一词出现248次、「AI安全」36次；上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权，一个名为「长期利益信托」的机构有权选举董事会多数成员，而创始人还可提前指定自己失去履职能力后的投票权接替人——名单保密。主持人由此抛出贯穿全期的疑问：如果AI安全的警告成真，公众是否有权知道谁在代表人类做决定？节目回答这个问题的路径是思想考古加上当事人证词：科技记者Afra梳理了有效利他主义（Effective Altruism，下称EA）从蚊帐慈善、长期主义、FTX崩塌到AI安全时代的四段历史，以及它与理性主义社群「认知论训练」与「道德主张」的分野；以太坊联合创始人Vitalik Buterin随后以未来生命研究所（FLI）史上最大捐赠者的身份，复盘了自己从2.5万美元狗狗币到4.7亿美元慈善款的完整捐赠链条，以及他与EA的决裂点——FLI拿到钱后放弃多元的风险防御、全押AI政策。Vitalik给普通人的落点是：AI安全更像一个政治设计问题而非工程问题；与其押注某家「好公司」集中控制最强AI，不如投资检测、过滤、疫苗这类人人可参与的分散防御（d/acc）。

一、从蚊帐到招股书：EA的四段历史与两份思想谱系

节目用两条人物线索交代EA的来历。第一条是牛津哲学家威廉·麦卡斯基尔（William MacAskill）：他问的原始问题很朴素——同样一笔钱捐给不同慈善项目，挽救的生命可能相差很大，能不能用证据和分析找到最有效的选择？他共同创办了职业咨询组织「八万个小时」（80,000 Hours），逻辑是一个人一生的工作时间约八万小时，如何把这笔有限资源分配出最大的世界改变。Afra补充的细节是：MacAskill二十二岁遇到澳大利亚哲学家Toby Ord后当场承诺把财富「永久地」捐出去；2015年他28岁成为牛津最年轻的哲学副教授，同年八万个小时被YC接纳，EA全球峰会在谷歌总部举行、马斯克出席了AI小组讨论——用Afra的话说，那是EA渗透进硅谷最有钱、最有资源人群的某种顶峰。第二条线索是理性主义者Eliezer Yudkowsky：他八年级辍学、靠Peter Thiel资助，创建Less Wrong社区并写下海量「Sequences」文章，研究人为什么会有认知偏差、如何用贝叶斯式的训练想得更清楚；他从1995年起就认为AI至关重要，起初甚至是个加速主义者，直到想清楚两个概念后转向——value fragility（给聪明AI设目标时只要犯一点错，就可能出现「消灭所有人就没有癌症了」式的灾难解）与orthogonality thesis（智能与目标正交：聪明而善良、聪明而邪恶都逻辑可能，「善良不是宇宙的默认设置」，对人类好的AI需要非常努力才会发生）。

Afra把EA影响全球格局的十几年分成四段：蚊帐时期（用可量化的证据改善慈善效率，「每2000美元大约挽救一条生命」是Vitalik引用过的著名统计）、长远规划时期（2015年前后转向longtermism，研究存在性风险与未来世代的福祉，SBF等富豪资金大量涌入——Afra判断SBF可能是EA转向长期主义的决定性因素之一）、声誉崩盘时期（FTX倒台，MacAskill因「庇护SBF、反思不足」持续挨批，但同期ChatGPT诞生反而让AI风险成为大众议题）与当下的AI安全时期（EA成员进入前沿实验室、资金大量注入安全研究，整个圈子与政策圈、国安圈、华盛顿圈交汇——以至于美国国防部在社交媒体上公开喊出「美国主义，而非有效利他主义」，本月《经济学人》则把EA放上封面称为「本世纪最重要的思想」）。思想如何进入AI公司，节目给出的链条是：Nick Bostrom的《超级智能》是早期重要文本，Sam Altman公开推荐过并写过对超级智能风险的担忧；Dario Amodei很早参与有效慈善实践、与EA圈子联系密切，他与一批同事因「OpenAI对AI风险管控不够」而离开并创立Anthropic——Afra的滤镜判断是「Anthropic非常EA，OpenAI不很EA」；联合创始人Daniela Amodei的丈夫Holden Karnofsky正是GiveWell与Open Philanthropy的联合创始人。这里浮现第一条机制链：一套关于「如何有效行善」的哲学，经由职业组织、资助网络与人才管道变成行动力量 →「AI安全」被从边缘议题推成主流议程（Afra见过华盛顿传统智库招不到合格的AI政策分析员，因为年轻人才被EA资助的fellowship、grant与研究岗位虹吸——「只管给你钱，不怎么管你的研究方向」）→ 二阶影响是政策与公众是在一个「EA很多年前就规划好的现状」中讨论AI（Afra语）→ 对读者的启发：评估任何「安全/公益」主张时，与其看公开论点，不如看资金流向、岗位设置与激励结构——用Afra的话说，「当一个思想运动有了这么多钱，它不只是在发现最重要的问题，它也在参与决定什么问题会被认为是重要的」。

二、理性主义者与EA：认知论训练与道德主张的分工

两个常被混用的社群究竟差在哪？Vitalik和Afra给出了一致的区分：理性主义是一套认知论与方法论——贝叶斯认识论、认知科学、互联网文化，教你「怎么想得更清楚」，没有人到处自称rationalist；EA则是一套道德主张与身份认同——「我是一个有效利他主义者」类似于宗教式的自我命名，自带成员感、社交圈乃至投资人小圈子里的「alpha」信息交流。Vitalik的概括是：EA最核心的目标是「怎么最有效地帮助其他人」，理性主义是「怎么更有效地思考、为了帮助其他人」。这个分野解释了两个社群相反的演化：理性主义社群越缩越小（「天敌是猫」，放进机构就不开心），EA越做越大、越来越有影响力——因为一个求curiosity，一个求impact。理性主义者写博客、写小说（Yudkowsky写过六十万字的哈利波特理性主义同人HPMOR，Scott Alexander写过《Unsong》）、讨论nerdy的数学问题，「没有那么多4D象棋」；EA则是「拯救世界的战士」，严肃、认真、会strategic地优化公共形象（public perception）。Vitalik认为这恰恰是EA招致更多怀疑的原因之一：人们天然更喜欢genuine——「如果一个人很明显地隐藏自己在想什么」，信任就流失了。理性主义者内部也有怨气：Afra引述元老Zvi（newsletter「Don’t Worry About the Vase」作者）的说法，一部分理性主义者认为EA「抢走了」他们多年前就提出的AI安全洞察的功劳——Yudkowsky从不自认EA成员，却被EA圈引为自己人。而今天的AI安全研究者可能既不认同EA、也不认同长期主义、甚至没读过Less Wrong，只是担心系统性失控——领域已经从思想运动变成了具体的研究实践。

地理与场景的细节让这张地图更立体：伯克利自成体系，聚集了几十家AI安全组织与第三方审计机构；由六七栋独栋房子组成的Lighthaven被视为AI安全、EA与理性主义的大本营（讲座、自由社交、晚间篝火烤棉花糖）；而在旧金山，用主持人的话说，「你说自己不是EA，可能连很多活动都进不去」——尽管真正把EA挂在嘴边的人反而很少。Afra近期参加的两个会议代表了当下的两种气质：The Curve是前沿AI会议，去年有华盛顿国会议员与加州政府官员到场，「是华盛顿和硅谷最好的文氏图」；Progress Conference则更接近Ezra Klein《Abundance》的气质，讨论如何用现有科技营造更富足的社会。值得记录的是Afra自己的立场变化：与OpenAI和Anthropic的十几二十位研究员聊过之后，他「变得更加愿意去相信RSI（递归自我改进）的速度令人忧心」——有好几个研究员说过去一年AI的进步超过了他们自己的预期；他判断「现在前沿AI的发展是一个很严重的认知论问题」，因此「可能放缓AI发展、尤其放缓RSI，是件好事，让大家先坐下来相互说清楚到底发生了什么，能不能用人话解释清楚，再进行疯狂的AI race」。对以A16Z和Marc Andreessen为代表的e/acc（有效加速主义），Afra的评价是不对称：e/acc在很多人眼里只是一个meme、一个网上的hashtag，「没有形成真正的行动力量」，而EA是真正的行动力量——这也是为什么本期节目把EA而非e/acc当作解剖对象。

三、Vitalik的捐赠史：两万五的狗狗币如何变成四点七亿

Vitalik的口述提供了一份罕见的一手账本。他在2013到2015年间接触到理性主义与EA：读Yudkowsky的Sequences，被「2000美元救一条命」的疟疾蚊帐统计击中——他复述的思想实验是：从亚洲飞美国的商务舱机票若花到蚊帐上能救多少人？土豪的20万私人航班，等价于约100条人命。2016到2017年以太币涨了十倍，他卖掉一小部分，开始捐给买蚊帐的组织（Against Malaria Foundation）、Aubrey de Grey的longevity研究（「我们几乎有足够技术活到150岁、200岁，但几乎没人研究」）与全球健康领域，2017到2018年起加大力度。他的选筹逻辑是EA的经典概念neglectedness（被忽视度）：一件事重要、且思考它的人确实太少，才值得注入资源——他举例说「干净的水」很重要但已有大量全球公共卫生资源投入，再参与没有意义。值得注意的是他对当下地图的判断：十年前EA与理性主义相关的每个领域都还neglected，如今AI安全已经「非常高级」（过度拥挤），而全球公共卫生反而在2025年因为马斯克与美国政治变化导致的资助中断而受伤，「现在变得更值得支持」；他同时提醒，多数领域的问题已不是资源太少，而是「大家做的方法不对」——这类问题的解法与加钱完全不同。

全期最戏剧性的部分是一笔「从天而降」的钱。2016年Vitalik花2.5万美元买的狗狗币（Dogecoin）涨到了一千多万；2020年，柴犬币（Shiba Inu）的项目方把50%的币量直接打进Vitalik的公开地址——而那对应的是一个冷钱包：私钥只存在于两处，一台在多伦多的完全离线电脑，和两张各写有一个数字的纸（一张在多伦多、一张在他随身包里，两个数字相加才是私钥）。疫情中他一直没动，直到发现这批币的市值真到了80亿美元，判断泡沫一周内就会破：他在西雅图买了台新电脑，打电话让妈妈读出多伦多那张纸上的数字，两天内亲自审计完Gnosis Safe多签钱包的代码，建好安全钱包后把柴犬币卖出，换得约7000万美元的以太币，大部分捐给了AMF——理由是「这是我能拿出的最多的钱，应该给一个安全的、无争议的组织」；也有人觉得买蚊帐不管用，但「没有人觉得它是坏的」。市场深度不足以卖完全部持仓，他把剩下的币直接捐出：一半给印度的Crypto COVID Relief，一半给FLI（未来生命研究所）。FLI当时的介绍是「理论上最多能做到一个亿，两千万也能做非常多」。三个月后币价走势超出所有人预期——按节目口径，几家组织合计兑现约4.7亿美元；Vitalik对FLI具体到手金额表示不确定（「可能四个亿，可能六个亿」，口径含糊，存疑）；主持人补充，媒体按当时价格估计Vitalik在2021年的加密货币捐赠总额约15亿美元，其中捐给FLI的一批代币最终兑现约5亿美元，FLI明确表示Vitalik是其迄今最大的捐赠者。Vitalik的复盘很坦白：「如果我想过这个结果是有可能的，我会做的事情会非常不一样。」后续同样具体：他说服Crypto Relief的负责人（转写为「三D」，疑为联合创始人Sandeep，存疑）把一半资金还给他做疫情项目——过滤器、紫外线UVC、口罩研究，以及开源疫苗公司RaDVaC与Popvax（Popvax「上周」刚发文，进展良好）；他自述用两亿美元支持了空气传播疾病防护项目，Sandeep则用2.7亿美元「把印度的医疗制造能力整体升了一级」。

四、钱的方向变了：FLI的AI转向、Anthropic的两面与OpenAI的三次牺牲

捐赠者与受赠机构的分歧构成了全期的核心冲突。Vitalik说FLI在GPT-3出来后发生了两个变化：从研究所有存在性风险（生物、AI、核战）的机构，变成只关心AI；从研究态度变成行动态度——开始非常具体地支持某些法律与政策。他把FLI做的事形容为「我要么不认同，要么不是我的钱、我自己不会做的事情」，并两次三番向FLI介绍自己那两亿美元空气传播疾病项目的成果，希望对方diversify（他捐赠的初衷是支持所有反存在性风险领域），被拒绝——FLI把钱全押向AI中心、政策中心的方向。FLI背书的法案出台后，A16Z等硅谷投资者开始反弹，把AI安全当成了对立基准。Vitalik由此讲出EA进入政治领域的结构性困难：policy问题不像慈善问题——捐给机构A救10条命、机构B救100条命，你的挑战只是分辨哪个是10哪个是100；支持一项政策则可能好也可能坏，效果分直接与间接两层。他举的间接效果例子是：一个有钱人公开砸五亿支持某政治议题，其他人会觉得「土豪在影响我们的政治」，于是AI安全议程被贴上「只有土豪关心」的标签，反而招来反对。他用加拿大文学课的框架总结：EA的量化比较方法在man versus nature（对抗自然）的领域非常好用，但进入man versus man（对抗同样聪明、会做出反应的人）的领域后复杂度陡增——SBF没有被EA社群识别出来，就是这个转变未被消化的例子；EA机构化、政治化之后，原有的思维方式变得更容易犯错。今天的EA也早已不是铁板一块，Vitalik列出的光谱包括：支持Anthropic的EA、比Anthropic立场更激进的一派（此处转写破碎）、更民粹化、愿意与主流合作并直说「理性主义和EA都不好」的Pause AI，以及始终与EA保持距离的理性主义者——Dustin Moskovitz、FLI等各路资金「每一个都会说自己和其他的不一样」。

对Anthropic，Vitalik把正反论据都摆了出来。支持方的逻辑：AI危险，但「不做AI是不可能的」——世界上有无数团队、公司、国家在做，唯一的办法是让一家好公司赢，因为它赢的时候至少有更好的原则、会在最需要的时刻花更多精力做安全；从公开行为看Anthropic也比OpenAI干净，且真的在做安全研究（他讲了一个私人细节：他与Anthropic联合创始人Chris Olah上的是多伦多同一所只有45名学生的私立高中Abelard School，高他两级的Olah带他入门了Linux与开源，「至少Olah是个好人」）。反对方的批评则有三层：其一，激励——竞争会让人轻易找到「对自己有利的事情都是对的」的理由；其二，参与即加速——Vitalik转述的一个观察是：OpenAI在2025年曾有意放慢（没有把全部资源押在更强的前沿模型上，转做视频模型等），但今年对手的新模型（转写为Mythos、Fable，存疑）发布并给出Fable之后，风向转移、大量用户转向Claude，OpenAI随即砍掉side projects、聚焦最强模型——「不管Anthropic是不是更好，他们都把AI竞赛加速了很多，这个效果可能会超过他们所有安全相关工作的效果」；其三，「安全哲学」的权力问题——「我们应该有权利，因为我们好；你们不应该，因为你们不好」，那谁来裁决好坏？他引述一位DeepSeek人士的文章（转写语句破碎）以极端类比批评这种心态，并指出Anthropic今年起反对开源AI（「开源模型没人控制所以更危险」），但按他的理解，「到目前为止最危险的攻击都是通过GPT和Claude做的」。Vitalik的总结句是全期最锋利的一句：「他们做的事情，和他们提高自己权力的相关性高于90%」——而且他强调这不是profit motive（真相信AI的人不在乎利润），而是「谁会控制未来世界的最强AI」；「他们希望的结果，就是他们自己控制这个世界的最强大的AI。如果你的思想不是EA，你为什么会相信他们？我觉得这个问题还没有很好的答案。」OpenAI则被他用一句话盖棺：「先是牺牲openness换safety，然后牺牲safety换acceleration」——2020年以「GPT-3太危险」为由不开源，许诺的安全项目（包括对政府组织的承诺）因为「发展太不方便」最终没有兑现。主持人补充的背景是：OpenAI以非盈利组织起家，Greg Brockman早年每天带员工读Yudkowsky在Less Wrong上的文章（引自其看到的《纽约时报》报道）；在她看来，Sam Altman被逐出又回归的董事会事件，本质是OpenAI内部EA面与非盈利面的一次次抗衡。这里可以整理出第二条机制链：前沿实验室的竞争激励 → 安全承诺在竞争压力下让位于速度（放慢者丢掉领先，跟随者砍掉支线）→ 即便「更好」的公司也在结构性加速竞赛，其安全研究的边际效果被竞争效应抵消甚至反超 → 观察指标是各家「许诺的安全项目兑现率」与「资源向前沿模型的集中度」→ 启发：判断AI公司的安全主张，看激励结构而不是看文案——这与本系列AI助理争夺战篇观察到的产品侧竞争逻辑一致。

五、普通人怎么想AI安全：不确定性乘法、政治设计与d/acc

被直接问到「AI会不会毁灭人类」时，Vitalik给出的概率是0.1%（他自陈为什么不是0.03%、也不是0.3%），并强调这个数字建立在成串的不确定性相乘之上：AI发展多快（到达AGI可能要十年，也可能三百年）；对齐问题到底多难（现在的Claude和GPT「比较了解context、了解我们的含义」是十年前难以预测的变化，但Yudkowsky会说这只解决了对齐问题的一小部分）；以及政治不确定性——不同国家、公司各有目的，最危险的时刻恰恰是竞争最激烈、大家「只思考自己赢」的时刻。他甚至怀疑今天堆资源的AI安全研究本身：「我们大概需要用第N代AI去研究第N+1代AI的安全问题，所以三四年前做过的AI safety研究意义有限——核心的对齐问题并没有很多发展。」在他看来，更大的问题不是研究AI安全的人不够，而是AI公司的激励是坏的；安全已经从研究问题变成政策问题，而政策问题的最大挑战是你很难知道一个政策是好的还是坏的。

他的建设性主张有两条。其一，AI安全「更可能不像一个工程问题，而更像一个政治设计问题」：类比政府架构的制衡设计——不同的分支互相限制犯大错的可能，有的部分要快、有的要慢，既要有沟通也要有隔离；也许会有三种不同的目标设定方法互相限制彼此的风险，并且「知道什么时候应该重新问用户到底想要什么」。这样的AI安全会变成一个非常empirical的领域——与真实存在的AI合作、了解它们在什么情况下成功与犯错——而不是一个「数学家会喜欢的证明」。可解释性是其中一环：他说自己喜欢开源模型的原因之一是「能看到它们思考的那一步」，但如果AI不再用英文思考、改用只有自己懂的数百万个数字（Neuralese）思考，人类理解AI思想的能力会下降很多——下降多少，无人知晓。其二就是d/acc（转写为「DIAK」，即defensive、decentralized/democratizing acceleration）：技术进步重要，但要把更多资源投给防御技术（防AI黑客的网络安全、抗病毒、大流行预防），并且以不集中权力的方式做——赋能普通人，包括开源。他的地理类比很妙：欧洲中心的山地造就了瑞士这样的小国与自治传统，往东两千公里的一马平川则让大帝国与专制成为默认，「如果没有分散的防御，唯一的选项就是集中防御——一个组织控制一切」。落到病毒防扩散的例子上：现在的AI组织把80%资源放在「让模型不帮人制造更强病毒」上，这是集中防御——别国的模型不会用你的技术，风险仍在；而抗病毒研究者真正担心的是近期更可能出现的「中等强度病毒」，模型层限制对此作用有限。分散防御是更好的检测、更好的过滤、更快的疫苗、更快发现新病毒——更像公共卫生工作而非「玩电脑的问题」，需要的是大多数人没有的专业知识。「一边是更能成功，另一边是不需要你自己控制世界上的每一个AI才能成功。」第三条机制链由此成立：巨额资金涌入AI能力建设（Afra：研究员尚且无法用「人话」或数学解释AI有多强、想干什么——「幼儿园里一群哇哇大哭的小孩，房间里没有大人」；「低垂的果子会被摘完」的判断被不断涌现的能力推翻）→ 集中式的安全治理（模型层限制、单一机构审计、好公司赢）依赖「谁能做出最强模型、危险长什么样」的强假设，天然脆弱 → 分散防御（检测、过滤、快速疫苗、开源可解释性）不依赖单一控制点，是普通人可参与、可验证的路径 → 观察指标是防御性技术与能力型技术的资源配比，以及开源模型可解释性窗口（Neuralese化之前）能被利用多少 → 启发：个人与组织对AI风险的准备，应当更像备灾（冗余、检测、快速响应），而不是押注某个救世主。

Afra的近忧则更当下：美国民调显示普通民众对AI的恐惧在上升，一些政客（转写为Bernie，存疑）加入Pause AI行列；同时「AI民粹主义」盛行——AI被描述为「被科技亿万富翁掌控的精英技术，目的就是集中权力、取代普通劳动者」，叠加末日论与安全研究员的吹哨（转写为Jacob Coxon，九月从Anthropic离职，节目称其掀起了对审计机构资金链的质疑——独立研究者梳理出审计机构METR等的资助方同时也是Anthropic早期投资人Dustin Moskovitz，「独立评估实际可能与Anthropic的成功利益绑定」；Afra认为这类「阴谋论」里真实存在的议程只有一个——不让AI失控——但钱的问题确实需要回答），构成了一个「很奇怪的现象」。Vitalik给普通人的收尾建议是承认四个不确定：AI发展多快；一年、五年、二十五年后人在哪些领域仍更强；安全问题是否可解；OpenAI和Anthropic是否仍是最强（会不会是Google先到、中国公司追上）——以及AI究竟更像工具、人还是别的什么、会有并行agent还是单一agent。「四年前没人知道下一阶段是chain of thought。不说99%，也不说1%或者0——真的有很多可能发生的事情。Keep an open mind才是最重要的。」主持人的收束把话题带回起点：EA的原始问题一直都在——怎么用有限的钱和时间帮助更多的人；但当关怀对象从未出生的世代延伸到未来可能出现的智能，「判断什么是有效」必然越来越困难。理解EA，是为了更具体地理解今天的AI：谁在决定它的发展方向？谁在定义哪些风险值得关注？当有人以全人类的未来为名做出选择时，其他人有没有参与、质疑和纠正这些选择的机会？

尾声：下一步看什么

综合全期信息（写作者推断，非节目原话），有五个值得盯的观察指标：一是Anthropic上市后「长期利益信托」与50.1%特殊投票权的实际运作，尤其保密的投票权接替名单是否会因公众压力而公开——主持人开篇之问的制度化答案；二是FLI等EA资金在AI政策上的下一步背书，以及硅谷反弹的烈度——Vitalik与FLI的分歧（多元防御vs全押AI政策）哪条路线获得更多资金；三是OpenAI与Anthropic的竞赛节奏——「有意放慢」与「砍掉side projects聚焦强模型」哪个占上风，是检验「激励压倒原则」的直接窗口；四是防御性技术与能力型技术的资源配比，以及开源模型的可解释性窗口（在AI「Neuralese化」之前）能被利用多少；五是EA内部裂片（Pause AI、反Anthropic派、理性主义者）能否对前沿实验室形成现实制衡，还是继续碎片化。对普通读者，Vitalik那句话或许是最好的入口：AI安全不是选边站，而是承认不确定、盯住激励、投资不依赖任何单一控制点的防御。

归属说明：本文事实与观点均来自《硅谷101》本期节目。主持人（开篇自称「易文」，转写存疑）与联合主持「红军」（转写，疑为主理人泓君）负责开场梳理、追问与收尾；EA四阶段框架、社群区分、会议见闻、AI民粹主义等判断来自嘉宾Afra（写作者、科技记者，转写名存疑，曾获伦敦某AI fellowship资助一两万英镑——该资助事实由其本人陈述）；捐赠史、FLI分歧、Anthropic/OpenAI批评、0.1%概率、d/acc等主张均来自Vitalik Buterin本人。Anthropic招股书细节（248次safety、50.1%投票权、长期利益信托、保密接替名单）、《经济学人》封面、国防部口号、15亿美元估值、4.7亿美元兑现额、FLI「最大捐赠者」表态、Greg Brockman带读Less Wrong（引自主持人所述《纽约时报》报道）均为节目转述口径，本文未独立核实；「Coin Foundation累计拨款超70亿美元」（转写，疑指Open Philanthropy/Good Ventures体系）、Mythos/Fable模型名、Bernie、Jacob Coxon、Kevin Bus梳理的资金链等均为转写存疑项，按原话保留。Vitalik对FLI到手金额「可能四个亿，可能六个亿」与合计约4.7亿美元的口径不一致处，已如实并列。「写作者推断」处为本文作者基于节目信息的归纳。

转写疑似错误与校正表（本地ASR转写，Qwen3-ASR／Intel Arc GPU，120秒分段；附录已按「已确认」项机械替换，存疑项保留原文）：

已确认校正（附录同步替换）：

  • 人名：Mikasko／Macowski／Macausky／Mekasko／Macaskill／沃姆卡斯基→MacAskill；Eliza Yudkowsky→Eliezer Yudkowsky，Lizor Yekowski／Yudkowski／Yukovsky／Ukowsky／Yukowski／Huckowski／Hudkovsky／Yakovsky→Yudkowsky；Toby Orr→Toby Ord；Yang Zouon→Jaan Tallinn（Skype联合创始人）；Holden Karnowski→Holden Karnofsky；Dustin Moskowitz→Dustin Moskovitz；Carrie Tuna→Cari Tuna；Darrell→Dario（Amodei）；Christopher Ola→Christopher Olah；Arthur Klein→Ezra Klein（《Abundance》作者）；Kevin Rose→Kevin Roose，《Hard Work》→《Hard Fork》；Louis Kraus→Lewis-Kraus（纽约客作者Gideon Lewis-Kraus）；Alfr／Alfred／阿凡尼→统一作Afra（真名未证实，从主持人多数读法）；Yudkowsky首次介绍的代词「她」→「他」
  • 机构与项目：Meter→METR（AI安全审计机构）；Light Heaven→Lighthaven（伯克利活动场所）；Mirri→MIRI（机器智能研究所）；Radvac→RaDVaC；Open Philosophy→Open Philanthropy；The Abbot School→The Abelard School（多伦多小型私立学校，Vitalik母校）；「Star Codex」→Slate Star Codex，Astro Codex→Astral Codex Ten；What’s Wrong→Less Wrong；Zulu／组照会→Zuzalu（黑山，「network set」→network state）
  • 币种与术语：一泰币→以太币（ETH）；西巴ino→Shiba Inu（柴犬币）；DIAK／diact→d/acc；EX／EACC→e/acc；Andreas Harveys→Marc Andreessen；neuralist→Neuralese（AI内部表征语言）；Unson→Unsong；超级变病毒→超级变种病毒；fellship→fellowship；mem→meme；gnosis safe→Gnosis Safe
  • 词句：柳笑利他主义→有效利他主义；硅谷幺零幺→硅谷101；露露了→披露了；「买那个文章／买文章的／疟疾文章」→蚊帐（Vitalik口音致ASR误听，上下文为疟疾蚊帐与AMF）
  • 格式归一（不改变内容）：「E A」→「EA」、「A I」→「AI」、「Open A I」→「OpenAI」、「G P T」→「GPT」

存疑保留原文（未替换）：主持人自称「易文」、联合主持「红军」（疑为泓君）；Coin Foundation（主持人称「当下最大的慈善机构」，描述与Open Philanthropy/Good Ventures一致）；Coefficient Giving；Kevin Bus（梳理资金链的独立研究者）；Jacob Coxon；《A.I. Chronicle》（Kevin Roose书名）；Golf AI Fellowship（疑为牛津GovAI，Afra称其地点在伦敦Kings Cross、Will MacAskill列名导师）；杜塞尔；「Dropkick的公司」；Mythos、Fable（2026年模型名）；Aila、Whitehaven（伯克利活动相关人名地名，Whitehaven疑为Lighthaven）；Snow Moon（Vitalik科幻小说名）；Bernie（疑指Bernie Sanders）；「三D」（疑为Crypto Relief联合创始人Sandeep）；「希特勒的那个级别那样快」「十人的失败」「A Six等级」「比Anthropic更意愿的这个EA」等转写破碎语句；Vitalik所述FLI到手「四到六个亿」与合计4.7亿美元之口径不一。

转写原文（修正版）

以下为整份转写稿全文（57个时间段，覆盖0s-6760s全程），已按上方校正表中已确认项机械替换（MacAskill、Yudkowsky、Toby Ord、Jaan Tallinn、Holden Karnofsky、Open Philanthropy、Dustin Moskovitz、Cari Tuna、Dario、Christopher Olah、Ezra Klein、Kevin Roose、Hard Fork、Lewis-Kraus、Marc Andreessen、METR、Lighthaven、MIRI、RaDVaC、Abelard School、Slate Star Codex、Astral Codex Ten、Less Wrong、Zuzalu、network state、以太币、Shiba Inu、d/acc、e/acc、Neuralese、蚊帐、Gnosis Safe、Afra等及空格归一），存疑项（易文、红军、Coin Foundation、Coefficient Giving、Kevin Bus、Jacob Coxon、A.I. Chronicle、Golf AI、杜塞尔、Dropkick、Mythos、Fable、Aila、Whitehaven、Snow Moon、Bernie、三D等及破碎语句）保留原文；[起-止] 时间戳保留原样。原转写由 Qwen3-ASR（Intel Arc GPU，120秒分段，日志含 [load] xpu、无 [ERROR]）生成；人名机构名以英文出现系嘉宾口语原貌，中英混排非转写错误。

[0s - 120s] 我觉得热点是被 EA 创造出来的，就是我觉得我们现在生活在一个 EA 在很多年前就已经规划好的一个现状当中。他们做的事情，公开说的论点是很美好的，但是他们做的事情和提高他们自己的权利的事情的这个相关性高于百分之九十。那我们应该怎么想？他们希望的结果就是他们自己控制这个世界的最强大的 AI。Hello，大家好，欢迎回到硅谷101，我是易文。相信大家都看到了本周 Anthropic 提交的招股书，在这份文件里，Anthropic 披露了将近一百页的风险因素，除了常见的金融和市场风险之外，还包括了关于前沿 AI 所带来的灾难性甚至威胁人类生存的风险这样的表述。Anthropic 说他们自己也无法保证自己的安全措施一定有效。那我 Ctrl F 了一下，发现 safety 安全这个词一共出现了两百四十八次，其中 AI 安全这个字出现了三十六次。招股书还披露呢，上市后七位联合创始人将通过特殊股份掌握一般表决事项百分之五十点一的投票权。与此同时，还有一个叫做长期利益信托的机构，有权选举董事会的多数成员。这套安排的目标是让公司在追求商业利益时，也考虑人类的长远利益。但有媒体还注意到了一个细节，那就是创始人可以提前指定，在自己失去履职能力后，由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说，公众目前并不知道未来谁是有可能参与 Anthropic 决策的人。在消化 Anthropic 招股书巨大的信息量之后啊，我呢有两个初步的想法。第一就是 AI 安全对于 Anthropic 这家公司的重要性，很明显啊，再一次展现在了公众面前。但第二呢，我担

[120s - 240s] 心的是，如果他们的警告成真，那作为公众，我们是否应该有权知道谁能够代表人类来做决定呢？要理解Anthropic对于安全的重视，以及围绕它的信任和权力争议，就要提到一个近期反复出现的概念，那就是有效利他主义（Effective Altruism），简称EA。就在这个月，《经济学人》把EA放上封面，称它为本世纪最重要的思想。一些报道指出，围绕AI安全政策，EA的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论。美国国防部在社交媒体上直接喊出了一句口号：“美国主义，而非有效利他主义。”一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。EA并不是一个新的概念，要理解它，我们要先认识两个人，他们的名字也会在这期节目里反复出现。所以这一期的开头和我们平时的节目比呢，会稍微长一点，也是因为我想把这些人物和概念先给大家整理清楚，便于收听。第一位呢，就是William MacAskill，中文通常译作威廉·麦卡斯基尔。他是一名哲学家，曾任牛津大学哲学副教授，也是有效利他主义运动的共同发起人之一。他提出的问题很朴素：如果我们拥有的钱和时间都有限，怎样才能帮助更多人呢？比如，同样一笔钱捐给不同的慈善项目，能挽救的生命可能相差很大。那我们能不能用证据和分析找到最有效的选择？他还共同创办了一个叫做“八万个小时”的职业咨询组织。一个人的职业生涯大约有八万个小时，我们应该怎样使用这些时间，才能给世界带来更大的改变？很多人上一次听说EA，可能还是因为加密货币交易所FTX的创始人SBF，他曾经。

[240s - 360s] 你赚钱是为了捐钱的形象，成为这个运动最受瞩目的支持者之一。FTX崩塌后，关于EA，尤其是针对MacAskill的批评也随之而来。当一个人声称自己要为全人类谋福利，是不是反而更容易为眼前的伤害找到借口？但SBF的倒台并没有让EA的故事结束。这里呢就要提到另一位关键人物，就是Eliezer Yudkowsky，艾丽泽·尤德考斯基。他是一名长期研究AI安全的写作者，也是互联网理性主义社群的重要奠基者。他参与创建的Less Wrong社区，名字直译过来就是少错一点。他在博客里反复讨论的是人为什么会犯错，我们怎样发现自己的认知偏差，当新的证据出现时，又该怎样修正原来的判断。这里所说的理性主义是一套希望通过训练让人更准确的认识世界，在不确定中做出更好的决策的方法。这也能帮助我们理解他与EA的联系。理性主义关心怎样想得更清楚，判断得更准确。EA则是把证据和推理论在了一个具体的道德目标上，怎样更有效地帮助别人。两个社群呢有很多交集，但EA啊也有自己的伦理学来源，不能简单地说它是理性主义发展出来的一个分支。后来这两条思想线索在AI安全上交汇了。尤德考斯基很早就在追问，如果我们造出了比人类更聪明的机器，该怎样保证他追求的目标与人类的利益一致呢？而在一部分有效利他主义者看来，如果AI真的可能威胁整个人类的生存，那么防止这种灾难会不会比其他事情更值得投入资源？这些讨论也进入了AI公司的早期思想世界。Nick Bostrom的《超级智能》就是其中一本重要的书。Sam Altman曾经公开推荐过他，也写过自己对超级智能风险的担忧。Dario Amodei则很早就参与了有效慈善实践。

[360s - 480s] 与 EA 圈子联系密切。后来，他和一批同事离开 OpenAI，创立 Anthropic。对 AI 安全和公司方向的分歧就是其中的重要背景。Daniela Amodei 的丈夫 Holden Karnofsky 是 EA 慈善组织 GiveWell 和 Open Philanthropy 的联合创始人。在这个圈子里汇聚了很多有影响力的人物，包括以太坊的联合创始人 Vitalik Buterin。在中国，大家把他称为 V 神。Vitalik 长期关注并且资助全球健康等议题。二零二一年，他向未来生命研究所捐赠了一批加密货币。据他后来的回忆呢，这笔捐赠最终让机构兑现了大约五亿美元。但在这次采访里，你也会听到他对这个圈子的一些做法和 EA 的思想已经有了不同的看法。所以这一期我们请到了 Vitalik 本人以及他的朋友、写作者和科技记者 Afra。我们想和他们一起聊聊一个从怎样更有效的做好事出发的思想，如何走到了今天 AI 发展的中心。而当人们开始以全人类的未来为名决定资金、技术和权力的方向，我们又该怎样理解他们的理想以及其中的分歧？这期播客我们分为两次录制。我和红军先和 Vitalik Afra 一起聊了 Vitalik 参与这些社群和捐赠的亲身经历，以及他今天的反思。之后呢，我们又和 Afra 单独录了一场，请他从自己的观察出发，介绍 MacAskill、尤德考斯基这些关键人物，梳理 EA 与理性主义的关系，以及他们如何影响了今天的 AI 安全讨论。节目里呢，大家会先听到我们和 Afra 的对话，再进入和 Vitalik 的讨论。有了前面的背景，后半段提到的人物和事件也会更容易理解。另外，Vitalik 虽然是加拿大人，但中文很流利，所以这期节目全程用中文录制。最后，我们用英文提到了很多人物和机构。这些名词呢，我也列在了 show notes 里面，大家可以对照收听。那如果

[480s - 600s] 大家更希望对照字幕来听这期播客呢？可以去到我们的视频平台，包括YouTube和B站，就能看到含有字幕的播客版本。Afra，介绍一下自己吧。大家好，我是Afra，我是一个写作者，然后也是一个科技记者，主要报道是中国还有硅谷AI的一些故事。我们今天聊有效利他主义，要不我们就先从EA这个词的定义开始吧。就是Afra，你觉得你是怎么理解EA这个思想的？对，我觉得EA它字面意就是有效利他主义，怎么能够体现一个所谓的EA的逻辑，就不得不提到一个人，就是牛津的一个哲学副教授，叫做Will MacAskill。他之前创立过一个组织，然后我觉得这个组织其实能够体现很多的这种EA的精神。这个组织的名字叫做Eighty Thousand Hours，就是八万小时。这个组织它其实是帮助年轻人，就是正在寻找职业方向年轻人去找到一个对的方向，所以它有很多这种就是职业导师啊，然后有很多这种关于职业的资源，有很多这种job posting。现在Eighty Thousand Hours虽然已经变成了一个跟AI职业很有关的一个东西，但是我觉得这个项目的名字非常能体现一些逻辑，就是说一个人一生的工作时间加起来大概是八万个小时。那么你如何把这八万个小时当成一个有限的资源？你会怎么分配这八万个小时，才能给世界最大的改变？这个问题一旦问出来，整个EA的整套思维方式就在里面了。就是说，你在一个有限的你所拥有、你能够支配的这一套资源当中，如何能够最大化的去使用、去分配你自己可以去使用的这些资源？这些人非常有agency，他就非常有能动性，他们执行力很强，他们的野心也很大，因为他们经常就会在琢磨一些像是“我有八万个小时，我应该怎么做”这样的事情上。然后，但是我觉得这个问题其实很多人他不太会考虑的。所以我觉得EA某种程度上它精神还是非常启发人的。嗯嗯，你觉得总体来说就是有哪些话题是EA会比较关注的？

[600s - 720s] 我说呢，我其实需要把EA的就影响全球格局的这么十几年时间分成大概四个阶段，然后它其实每个阶段关注的重点都不太一样。第一个阶段就是所谓的这种蚊帐时期，然后这个时期就是你用非常详实的可量化的证据去改善做慈善的效率，然后去影响就比方说全球的健康指数，然后这是一种可以测量的善，它是一个这种证据来支持和数据来支持的善。因为在EA刚刚成立的那段时间里，许多人想要行善，许多人想要通过philanthropy去捐钱，但是philanthropy的这个效率非常低下，以及他们捐的钱就捐不到位。但是EA这群他们就想用一个能够可以量化的一个科学的方式把这个全捐到位，然后去最大化它的这个价值。然后所以就是这个蚊帐时代的来源，然后这个蚊帐也就指的就是蚊帐是一个你捐多少多少钱就能够挽救多少多少个生命的一个最最有效的方式。然后接下来呢，EA的下一个阶段就到了叫做所谓的长远规划时期，然后这个长远规划时期大概是在二零一五年左右发生的，就是这群人开始以不成比例的去研究这种存在风险和关于未来世代的一些问题，资金和机构也开始扩张，然后他其实也不再关心一个蚊帐能救多少人，而是关心未来几千年几万年人类的世世代代的子女这些人的这种生活质量和生活标准。然后所以就是大量的资金，同时也是就是S B F，然后以及很多其他的这些富豪的资金在这个阶段进入了社区。然后我觉得可能S B F是这个时代最极端的一个象征，因为他自己就是一个非常非常关注这种long termism问题的这样的一个人。就我读过一篇关于Will MacAskill《纽约客》的profile，然后里面就是读到的一个，我自己读完之后我的一个判断是S B F可能是整个EA转向长远规划这种long termism的决定性因素之一。然后接下来就是整个社群的声誉崩盘的这个时代出现了很大的信任危机，然后大家也开始去反思，就EA这群体到。

[720s - 840s] 出了什么问题？然后同时呢，ChatGPT诞生，然后也带来了一个AI的转折，所以之前AI还有理性主义群体讨论的这种AI风险生存问题，突然变成了一个更多人关心的问题。所以这个阶段呢，我觉得它是一个也有很多挫败，但是有很多曝光的一个阶段。就是首先它曝光出了非常多，比方说MacAskill本人的十人的失败，就是他自己本人一直被社群的批评，也是他现在仍然对SBF的反思不够，或者是以他当时一直在庇护SBF。但是这个时期也是一个真正的，就是让EA变成了一个，就像是经济学人所说的，一个对二十一世纪影响最重要的一个思想流派。然后再接下来就是我们现在熟知的AI safety era。然后我觉得是AI安全的这个时代，让大众，包括我爸、我奶奶这样的人都能够听说“有效利他主义”这个词，是因为AI safety成为了他们最核心的议题之一。然后整个EA的网也通过一是有很多的成员，就是在这种前沿实验室的员工，然后包括大量的资金去资助AI safety的这个事情，使得整个EA的圈子和政策圈和国家安全的圈子、华盛顿的一些圈子发生了交汇，然后也导致就是川大总统，比方说美国国防部会发推说啊，我们美国肯定不会变成EA的，EA不行，怎么怎么样？对，我觉得就是我们当下的这个阶段是一个EA的一个新的阶段，有新的挑战，但是它也是一个最进入到了这种公众意识当中的这样的一个时代。嗯嗯嗯，你刚也提到了理性主义这个社群，因为其实我们很多时候是把AI安全和理性主义者联系在一起的，是因为他们之前有Eliezer Yudkowsky这个人，然后他自认为是一个理性主义者，并且提出了很多反对EA思想的声音。但是呢，现在这两个社群之间又好像有一些重叠，能不能具体给我们解释一下，就是理性主义者和有效利他主义者他们有什么区别，然后有什么一样的地方？嗯，对你如何去最大化的行善，你最有效的做altruistic的就是这种利他主义的事情，这个思想的源泉其实。

[840s - 960s] 就是理性主义本身，这其实是一个大的合集当中的一个分级。Effective altruism它其实是在就是某套思想体系当中，rationalism肯定是占很主导的地位的。但是EA说白了，它是一套道德主张，但是rationalism它是一套认知论和思维的训练，这两个是不一样的。就是当你给自己冠上了就是我是一个EA，我是一个有效利他主义者的时候，这是一个有点类似于宗教或者说道德主张的这样一个词汇，就是你就变成了那样的一个人。但是rational其实是一个怎么去看这个世界，怎么去想这个世界的方式。然后他研究的是贝叶斯的认知论，他研究的是认知科学，甚至很多是互联网文化。这个群体他关心的问题更加像是一个思维方面的元思维的这种辩论，就是人如何在不知道自己不知道什么的时候做出更好的判断，就是人类为什么会有认知偏差，对吧？我们怎么去更新自己的信念？怎么在不确定的情况下做出更好的判断？其实rationalism他没有人会到处跟别人说自己是rationalism，但是我觉得EA它会给你有一个这种就是这种成员的身份感和社交感。然后它这是一套你自己要做很多事情，而且你做的事情需要有很大的回报，然后这个回报又返回来加强你自己是谁的这样的一个东西。所以就是你会看到rationalist这个community这个社群会变得越来越小，越来越微弱，但是EA这个社群会变得越来越大，而且越来越有影响力，其实就是因为他们想要做的事情是完全不一样的。对对对，就像你刚才说的，EA感觉是一种生活方式，或者就是是一种行动的指南吧，因为它本身是从一个慈善运动开始发源的嘛，所以就是如果你认同自己是一个EA，你是会去做相应的事情的。没错，我我我就是很多EA，比方说EA它成员内部本身有很多小圈子，大家都是天使投资人，然后相互会给对方喂一些讯号，说哎这个公司要融资，这个公司怎么样，然后要不要投，要不要投。其实EA也有一个自己赚钱的这些小圈子，然后EA也有非常多的alpha，就是说未来非常有潜力的。

[960s - 1080s] 这种公司的，比方说关于股票啊，或者是关于原始股的一些信息。然后其实很多EA的社群当中的人，他对赚钱这个事情是很敏感的，然后他对捐钱这件事情也很敏感。我觉得EA对我来说可能最大的一个感受就是它更像是一个社交的一个有点宗教性质的小圈子。而Rationalists的话是没有人要求你到底要不要对这个组织有什么忠诚感的，因为Rationalists它本身就是一套认知论和方法论。我觉得我们讲一下AI安全对这些Frontier Labs的影响吧，就是因为这是我们现在作为普通人关注到EA比较常见的一个方式嘛。你觉得这些包括OpenAI和Anthropic这两家Lab的创始人，他们是不是都在不同的程度上受到了EA思想的影响？然后这个具体是他们当时接触到了什么，包括什么样的文本、什么样的人，怎么样去塑造了他们对于做AI做Super Intelligence这件事情的最初的想法？嗯，在这里我就陈述一些我自己平时刷推或者是只言片语，或者是平时看书读到的一些东西。就是如果用EA的这个滤镜去审视Anthropic、OpenAI这两家公司的话，那么Anthropic是非常EA，而OpenAI是不是很EA的这个公司？我觉得这是一个很重要的区别，是因为Anthropic的七位创始人当时是都在OpenAI工作的，但是他们是看到的OpenAI不够有效的去管控这个AI可能带来的风险，然后他们都觉得忧心忡忡，他们觉得不行，我们不能在这家公司待下去了，因为他们对就是整个AI安全就是当时EA的一个非常强烈的一个主张不够重视。这几个OpenAI的员工，然后于是他们就决定就是自己出去单干。于是Dario就召集了一些他认为跟自己理念比较相同的人，然后就出去成立了Anthropic这个公司。Anthropic这个公司的本身的名字也是这个人本主义人本公司，然后也就昭示着他们成立这家公司的初心就是去做一些和OpenAI非常不一样的事情。然后Anthropic的里面的成

[1080s - 1200s] Dario本身是非常的EA，我知道，因为他之前就比方说给GiveWell捐钱啊什么的，然后他自己经常会在自己的博客里面提到他自己对于这种就是更加有效的用AI去制造全球的福祉的，他会发一些这样的文章，就比方说Machine of Loving Grace这样子的文章，然后这很能体现一个EA是怎么想事情，是怎么看待这个世界的同时，就是这个公司的另外一个创始人叫做Christopher Olah，也是对他那个影响很深的一个人，然后他自己应该也是一个很EA的人。Afra，不知道你最近有没有关注到就是Anthropic还有一些安全审计机构和EA的关系呢？呃，我们知道九月Jacob Coxon这个研究员从Anthropic辞职之后啊，其实有一个叫做Kevin Bus的这个独立研究者，他在X上梳理资金链，他主要看的就是Anthropic去安排给他做独立安全审计的这样一个机构叫做METR，他就说呢，METR还有其他的一些安全机构，他们的资助方同时也是Anthropic的早期投资人，他就是Coefficient Giving这个机构的创始人Dustin Moskovitz，呃，然后他呢持有大量的Anthropic股票，所以这个所谓的独立评估啊，实际上可能是和Anthropic的成功利益绑定的。那这样一来呢，其实网上就有很多声讨EA的声音，很多人呢开始质疑所有的安全机构的资金来源。我想知道你怎么看待这些质疑呢？就是因为Jacob这个tweet火了之后，大家才开始牵出来，就整个这个EA对于AICP的资金注入，然后其实大家就开始编造各种阴谋论。对于我来说，其实是一个阴谋论。你为什么觉得它是一个阴谋论？像很多传统媒体，他就会质疑说这些资金流向这些组织到底有什么目的，到底有什么隐藏的议程？在我自己看来，我觉得一定会有某种议程的投射，但是EA这群人的议程是什么呢？就是他不想让AI变得不可控，同时造成让人类无法承受的后果，这就是他们的议程，其实没有什么隐藏的议程。最近就是。

[1200s - 1320s] 是前《纽约时报》的一个很有名的记者，然后同时也是播客《Hard Fork》的主持人Kevin Roose，他写了一本书，这本书叫做《A.I. Chronicle》。这本书Kevin在写作的时候，他就拿了一些有EA背景的钱，于是就有很多人就质疑说，你这本书的钱的来源是不是不明白？是不是你是一个接受了EA的钱，你就要一定要去把这个议程写进书里的这样一个事情？但是我觉得最大的问题可能是，就是当一个思想运动有了这么多钱以后，他到底是在发现最重要的问题，然后他同时也是开始在参与，他决定什么问题会被认为是重要的。我们现在其实已经生活在了一个EA这群人的很早他就跟我们说过的，他们要做的这个事情的后果当中，就是他们很早就说AI安全这个问题是重要，他们很早就说过我们要往这个里面注入很多的钱，我们要创造影响力，我们现在就生活在这个影响力当中，对吧？我见过一些华盛顿的传统智库，他甚至很难招聘到合格的AI政策的分析员，因为年轻的这些人才，有能力这些人才，他都流入了这个EA赞助的各种智库和各种组织中。如果你是一个，比方说二十岁出头的一个年轻的研究员，你刚刚从学校毕业，拿了斯坦福的PhD，你想要研究AI的经济，然后你会发现，哎，AI alignment和AI safety这个领域有大量的fellowship，有大量的grant，有很多这种research positions，有很多给你的这种岗位，而且你能拿到很不错的这个年薪，而且这些机构只管给你钱，也不怎么管你的研究方向。而与此同时，其他的研究机构就没有这么多资源，也没有那么多的给你的自由程度。你在这个AI safety的这些机构当中，也没有人要求你改变信念。所以我就见过越来越多这样子的年轻人，逐渐被跟AI safety有关的这种所谓的带引号的EA机构所吸纳。嗯，然后我也见过越来越多就是因为跟这些机构就每天跟这些人不断的见面，然后讨论就是问题，然后从而被safety pull的一些非常聪明的人，但是。

[1320s - 1440s] 从我的观点来看，就是我认为被 safety pull，就是在现在这个阶段被 safety pull 是一个很正常的一个事情。即使你对 AI 安全问题不是那么关心，我觉得你就每天的各种普通的新闻看各种电视的报道，你也会被 safety pull。嗯，我知道你其实会经常去伯克利，还有旧金山一些 EA 的组织，或者我们把它叫做理性主义的组织。然后我还听说，就是在旧金山，比如说我们刚刚提到的 METR 的这家组织，如果你要进去参加一些类似于比如说 Anthropic 或者是研究员的活动，你说自己我不是一个 EA 主义者，就他们会问，就是你说你不是 EA，你可能连旧金山的很多活动你都进不去。我觉得 EA 也很有意思，就是你问一些人说你是 EA 吗？他们说，哎呀，我也不是 EA，但是我跟他们的人走得很近，就没有 EA 的人天天把自己是 EA 挂在嘴边的。其实有很多我的 EA 朋友，他们很 EA，但是他们并不觉得自己是 EA 成员。我觉得这个也是很有意思的。伯克利是一个怎样的氛围？我觉得伯克利是不是它更偏向于理性主义的社区？我知道有一个组织叫那个 Lighthaven，大家也经常聚会办活动，它跟旧金山的氛围还不太一样。对，我觉得现在伯克利它已经自成一个体系了，就是伯克利有非常多和 AI 安全呀、第三方的这种审计机构，或者像 METR 这样的组织，就是伯克利已经有几十家了，说实话。然后 Lighthaven 它其实是一个理性主义者和一些 EA 赞助的活动场所吧。然后它是在伯克利有大概六到七个独栋的房子组合而成的一个活动场所，就是你在那里面可以听讲座，然后在里面可以自由的 social，然后在晚上还有篝火什么的，然后你可以在上面烤这个棉花糖。Lighthaven 就是被看作是这个 AI safety 和 EA，还有理性主义的一个大本营。然后我自己会偶尔去 Lighthaven 开一些跟 AI 相关的一些会，然后去认识一些人。我两个星期前刚刚从两个会议回来，其中一个会议叫做的 Curve，然后另外一个会议叫做 Progress Conference，一个是关于 AI 成

[1440s - 1560s] 以这个Curve就是呈这种爆炸式的水平发展的这样一个跟前沿AI研究很相关的一个会，然后第二个会是Progress Conference，它更加主张的是要推动社会的进步，然后就很像是Ezra Klein写的Abundance这个富足，就是如何我们用现有的科技去营造一个更加富足的、更加有未来感的一个社会。它其实讨论的是各种前沿的科学研究，比方说如何教育下一代对未来更加有信心，就是讨论是这样的话题。你觉得这些话题就是大家在讨论的时候，对很多比如说推动事件的进展啊，推动AI是加速发展还是它应该慢一点？那在真正对事情的影响上呢，会有强大的影响力吗？呃，我觉得会。我记得去年The Curve就是关于这个前沿AI的会议，其实有很多华盛顿就国会的人在，呃，然后也有很多加州的政府啊，然后这些议员们在The Curve它其实带来的这种群体效应还是挺明显。它是一个华盛顿和硅谷最好的一个Venn Diagram，就是呃Venn Diagram就是这样两个圈圈碰在一起，然后一个圈圈和圈圈中间的那个相交的地方就是Venn Diagram。嗯，所以我理解他们的影响力可能是在推动政策、推动监管上。是的，没错。那理性主义的社区呢？呃，我觉得理性主义的社区就更佛系一点。理性主义人他其实不那么想要去寻求影响力，就是Impact。呃，所以理性主义社区那些人，他们还是像之前那样，大家就是写写博客，然后研究研究这个，研究研究那个，就他们没有那么多现在硅谷所说的就4D Chess，就是四D象棋，他们脑子里面没有那么多。哎，我今天要做A，然后可以达到B，然后所以我能最后达到我的目标Z。但是我要怎么怎么逆向工程一下这个事情啊？我怎么怎么样？Rationalist人他其实没有那么多宏大的计划。呃，Rationalist就是还是很可爱，就像是Vitalik说，就Rationalist他们就喜欢做自己爱做的事情，什么很多人对吧？写小说、写博客、讨论一些很nerdy的一些。

[1560s - 1680s] 数学问题，讨论一些很nerdy的AI的问题。然后我看你之前还去伦敦参加过一个叫做Golf AI Fellowship的项目。你是有见到我们刚刚提到的EA的一个精神领袖叫做Will MacAskill？你是有见到他，有跟他们交流吗？我见到Will那个MacAskill，应该是在The Curve见到的。其实他在这个Golf AI这个组织当中，他算是一个导师，但是我从来没有在办公室，因为那个我那个fellowship不就三到四个月，就是在伦敦的那个Kings Cross十字国王那个车站旁边。我本来当时还挺期待见到他的，因为就是在网站上他是导师之一，但是我反而是在加州见到了他，因为听说他要搬来旧金山了，就是在呃牛津待了十六年以后，终于要搬到旧金山了。对我就是第一次见到了Will，然后我跟他聊了十几分钟吧。我觉得他身上几乎浓缩了EA过去十几年的很多的思想变化。纽约客的Gideon呃Lewis-Kraus在二零二二年给他写过一篇非常好的profile，这篇profile大概七八千字，然后文章里面这个Will本人，尤其是刚刚开始创立EA的这些组织的时候，他有一点先知和那种苦行僧的味道。Gideon他自己作为一个作者，然后他自己有写到，就是说你在Will周围，你会有一种我应该去行善的道德压力，因为Will他的吃穿住行非常的朴素，而且他还不断的在捐自己的收入。你觉得他对整个EA圈核心影响是什么？就是一个精神领袖？对他算是一个EA的精神领袖，同时他也是创立了牛津的一些核心EA组织的这样的一个人。他在二十二岁那年的时候遇到了一个澳大利亚教授叫做Toby Ord的，两个人一拍即合，就是Toby Ord他是一个非常注重EA，然后也非常注重这种long termism的这样的一个人。Will就是当场就在二十二岁的时候，他就承诺说我要自己要力所能及，把自己的财富永久的捐出去，然后他非常愿意把自己的未来的自己绑住的想法，这也是。

[1680s - 1800s] 后很多人会不断的在批评的一点就是说，EA它有一个我和我未来一个更加富有的自己去签订合约去做我现在的自己想要做的事情。但是我记得Vitalik对于EA的这种理念的批评就是，你未来的自己永远会背叛你现在的自己，因为你十年二十年之后，你的想法会变，你的行为会变，你身边的朋友，你的圈子会变，你想做的事情会变，你怎么能够保证你未来为了今天你想要行的善而变得更加富有的自己能够执着的坚守你今天承诺的事情呢？但是这就是当时的Will，他说我要把自己的收入全部都捐出去。我觉得还有一个EA它其实在刚刚设立的时候，几年之后就出现了占领华尔街的这个运动。然后在占领华尔街如火如荼的时候，就是当时的这种道德主张就是，华尔街的这些人是吸血鬼，他们是造成了美国的很多中产和更加底层的这样的一些人的生活更加拮据，甚至毁掉他们这些生活的这些邪恶的人，对吧？但是当时Will在那个牛津大学发表了一场题为医生、非政府组织工作者还是其他什么，就是哪种职业能够更加造福社会的这样一个演讲，其实是在帮助当时牛津的这种刚刚毕业的学生去思考以后应该从事什么职位。同年呢，他也创立了八万小时的项目，他其实做的事情就是想要为一些本科生提供这种道德生活优化的一些建议。这个时候呢，他提出了一一个观点，就是说，就是你们这些牛津的这些精英院校的学生们，你呢如果想要去造福这个世界，你可以选择在贫困国家当医生，但是你这个医疗生涯当中，你八万个小时你能救多少人，对吧？你可能会拯救相当于一百四十条生命。但是呢，你也可以加入这个一非常邪恶的华尔街，然后你或者是邪恶的这个咨询行业，你通过明智的捐赠，你可能你拯救生命的数量可能是前者你在贫困国家当医生的十倍，因为你能够捐那么多钱，然后你能够买很多很多蚊帐，然后每个蚊帐可能都可以救很多。

[1800s - 1920s] 多人，所以在当时，在华尔街最有道德污点、最臭名昭著，然后最没有办法去吸引到精英学校学生的时候，其实是有些人听了Will的这个道德建议而去投身进了华尔街。就是我觉得，之所以有效的利他主义能够被SBF像Jane Street这样的一些交易者所吸引，其实也是他们其实，在试图用EA去弥合某种道德错位感。他们会经常可能会扪心自问说：“哎，我做这件事情真的是有意义的吗？”就是这种疯狂的不断的做量化交易，然后去赚钱，通过各种杠杆啊，各种措施去赚钱，我真的做的真的好吗？但是，哎，如果我把这个全捐出去，那么我做的事情就是好事儿了，对吧？EA的这套主张会给很多在华尔街做一些最大化利益的一些人提供了一个借口。这个借口就是我其实是过来是做善事的。这个借口是一个非常会被人利用，或者是被很多人去剥削的一个事情。哦，这个点很精彩。对对，然后呢，在二零一五年，Will MacAskill受聘成为了牛津大学的最年轻的哲学副教授，他当时只有二十八岁。在同年的夏天，他的八万小时项目也被Y Combinator就YC所接纳。然后，有效利他主义的这个全球峰会在谷歌总部举行，想从伊隆马斯克，然后到很多其他的这种硅谷富豪都出席了其中的一些panels。然后，比方说马斯克就出席了当时关于人工智能小组的这个讨论。我觉得可能二零一五年的这个EA是某个方面的一个顶峰吧。可能在在Will MacAskill的眼中，可能这是一个顶峰，因为他其实EA的这套哲学思想已经渗透到了硅谷最有钱，然后最富裕，然后也是最有资源、最能推动社会往某个方向走的这一群人。对我注意到EA整个的起源是在牛津大学，但是它后面的发展，包括你刚刚提到了像今年Will MacAskill已经搬到硅谷来了，这说明了什么？我觉得这说明就是EA本身的核心的主张和核心的想要做的事情，已经完全变成了AI。

[1920s - 2040s] Safety和之前已经不是很一样了。之前的所有做的事情，比方说预防全球的疾病啊，或者是提高行善的效率啊，关注其他意义上的生存风险啊，就是到现在其实已经很难找到了。就基本上所有的EA的这种关注点和精力，其实都已经放在了AI Safety，或者说AI Safety已经不成比例的被放大了。我怎么觉得EA也在追热点？我觉得热点是被EA创造出来的。就是我觉得我们现在生活在一个EA在很多年前就已经规划好的一个现状当中。啊，有意思。就是EA其实在很多年前就已经说过了，说是我们就是要花这么多钱去做这么多的Impact，我们现在就是要Impact Maxim。然后我们现在已经活在了EA所创造的他们Impact Maxim的世界当中了。嗯，你会对外说你自己是EA吗？我不会，因为我真心觉得我不是。我很关心AI Safety，但是我不是EA。比方说，我不会捐钱。我觉得我自己现在做的事情还不到我自己能够去捐钱，或者说过度的去考虑全球范围内的一个我应该行怎样的善这样一个地步。我自己最感兴趣的是EA的哲学和他们的这个Intellectual的世界。我对他们来说，就可能是一个想写一群很有意思的人的这样子一个知识上的一个吸引。就像是我自己也会很关注，比方说在旧金山认为AI会替代人类的这样的一群人，就我会很喜欢关注这些奇奇怪怪的这些群体。但是你有接受过EA的钱吗？就比如说你刚刚提到这个伦敦的Fellowship的这件事情，他们应该是有一个资助的，还是说这个要自费去的？呃，这个是有资助的，这个其实也没有那么多钱，大概就是一两万的英镑。因为我当时在伦敦，我不需要在伦敦付房租，所以这个钱我并没有拿来付房租。但是这个钱，然后如果是让一个年轻人在伦敦住四个月的话，其实甚至都不是很够房租的钱。在伦敦这个物价，这点钱是算不了什么的。嗯嗯，所以我觉得很有意思，就是你刚刚说你不是EA，是因为你觉得从EA的核心理念来看，你可能还没。

[2040s - 2160s] 有到你可以把你的钱捐赠出去的这样的一个实践者，但是其实你同时又是被EA的思想吸引的，就是你觉得这里面的很多在知识上的东西，它是有带给你在精神上的，不管是愉悦感，还是你觉得你可以有很多的东西去探索。我在想，这是不是也是很多我们接触到的EA群体，大家一个比较共性的画像跟吸引他们的点？嗯嗯，我觉得EA它有一点很吸引我的地方，就是我其实，在某种程度上，我想要在形式上更加EA一点点，是因为我觉得EA这些人他能够把自己想要做的事情和自己想要对这个世界带来的影响，能够转化成对自己要做什么的某种激励，就是说有点类似于就是先做人再做事，有一点点燃的是你自己心里面的一个火苗。因为我会发现，就是很多EA的人他自己想要做的事情，他其实并不先管我想赚多少钱，而是先管就是我想要做什么事情，然后再去想要我怎么去搞到这些钱，或者我怎么去实现这个事情。就我觉得这是一个很有意思的点，就像是我同样也会被AI创业的这种氛围所吸引一样，或者硅谷这种Founders这种文化吸引一样。很多Founders他其实也是这个理念，对吧？我想要创建一家什么样的公司，然后我再去想融资这件事情，然后我再去想就是我怎么去具体操作这件事情。就是我觉得这很多逻辑是很像的。Maybe这也是为什么硅谷和EA一拍即合的原因，对吧？硅谷很多这种亿万富翁和被EA的这种理念非常吸引的，因为我觉得EA它首先它做的事情是让你很有野心的去在你心里面去画一个你对未来的图景，然后你再回到现实，让今天的自己去实现那个你画出来的图景。我觉得这是一个很有意思的一个思想和行动的一个指南。嗯，其实我们知道现在在整个EA里面，大家关注AI safety，大家的主流立场是我们应该尽量去减缓AI的发展，就是至少说我们在保证安全以前，AI它不应该那么快速的发展。那相对应。

[2160s - 2280s] 跟他立场相反的就是我们说的e/acc派，就是以A16Z为代表，他们是希望能够加速AI的发展的。所以刚刚其实你有提到，比如说在二零一五年，然后有效利他主义它的全球峰会是在谷歌举行的，伊隆马斯克他也出席了他们的活动。但是我觉得今天站在这些创始人各自不同的立场上，可能有些人认为我们还是要去让AI加速发展，因为它已经变成了一场竞赛了。但是同时安全问题也是大家关注的一个非常重要的点。所以你觉得我们应该因为AI安全的问题，现在减缓AI的发展速度吗？嗯，我首先先想要回答你刚刚说的，就是e/acc和EA之间的一个张力，就是e/acc这群人他其实和EA是很不对称的。e/acc他其实完全没有形成一个真正的力量，就是所谓的A16Z那群人认为自己是有效加速主义者，是e/acc，它其实是一个没有那么清晰的现象。就是e/acc其实在很多人眼里是一个meme，它是一个在网上的一个hashtag，它其实不是一个真正的行动力量，而EA它是一个真正的行动力量。其次就是对AI safety这个事情呢，我觉得我过去的在开完这个The Curve还有The Progress Conference就是这两个会之后，然后我自己也和OpenAI还有Anthropic的十几二十个researchers聊了天之后，我就自己对于AI safety有了非常多新的理解吧。我变得更加愿意去相信RSI，也就是AI的自我迭代、自我进化的这个速度和现在的RSI的进化曲线是一个让我觉得有点忧心忡忡的事情了。然后有好几个研究员都跟我说，就是过去一年AI的进步甚至已经超过他们自己原本的预期。对我觉得现在就是一个前沿的AI发展是一个很严重的认知论的问题。然后这个认知论我不知道该怎么解，所以我觉得可能现在放缓一个AI的发展，尤其放缓RSI的这个发展，可能是一个好事儿，就是让大家大家先坐下来相互说一说，就是到底应该怎么办，到底发生了什么，我们能不能用人话把这些事情解释清楚。

[2280s - 2400s] 然后再去进行这个疯狂的AI race，嗯，哦，非常精彩，最后这一段。那谢谢Afra，好，谢谢。刚才和Afra聊下来啊，我们看到了EA怎样从一场讨论如何更有效的做好事的运动，逐渐影响了今天的AI研究资金流向，甚至政治议程。这些思想能够产生今天的影响，也离不开背后巨额资金的支持。比如当下最大的慈善机构Coin Foundation，从2014年以来累计推动的拨款已经超过70亿美元，其中多数资金来自这对夫妇Facebook的联合创始人Dustin Moskovitz和妻子Cari Tuna创办的Good Ventures，资金流向了全球健康、动物福利、疫情规范以及AI安全等领域，也支持了一批研究机构和人才培养项目。另一位重要的捐赠者呢，就是Vitalik。2021年，他曾经向多家慈善机构捐出一批加密货币，媒体按照当时的价格估计约15亿美元，用途涵盖疫情救助、全球健康和科研等领域。不过，加密货币价格波动很大，账面价值与机构最终拿到的钱呢，可能相差很多。其中，他捐给未来生命研究所FLI的那批代币，据他后来回忆，最终兑现了大约5亿美元。FLI也明确表示，Vitalik是他迄今最大的捐赠者，远超其他人。所以接下来与Vitalik的对话，也是与一位重要捐赠者对自己选择的回顾。他当初为什么支持这些机构？当他们后来的方向与自己的期待出现分歧，他又是怎么看的？这个特别巧，因为是我问Afra，就是我们想做一期关于有效利他主义的节目，然后问Afra有谁可以跟我们一起聊一下。Afra直接说，要不就直接叫Vitalik来聊一下。所以你为什么觉得Vitalik非常适合聊这个节目？对我觉得Vitalik比较适合做这期话题的嘉宾，是因为我之前看他的一些博。

[2400s - 2520s] 博客，比方说教人们怎么更加有效的做一个digital nomad，就是你应该去打包什么行李。然后在这个打包的行李的这篇文章当中，他就有讲解，就说他从来不做商务舱。但是在那个时候，如果这篇博客是三四年前写的话，那他其实已经是一个身家好多好多个亿的人了。但是他不做商务舱的其中一个很大的原因，就是因为他觉得做商务舱的一张机票其实可以挽救很多人的生命。这其实是一个底层逻辑非常就是有效利他的很EA的一个逻辑。之后呢，在三年前的二零二三年，我参加了Vitalik在黑山组织的他自己的这个network state，叫做Zuzalu。在Zuzalu的两个月当中，我就认识了很多EA这个群体的一些成员，然后包括接触他们的很多哲学思想和他们当时很在乎的一些议题。就其实当时已经开始的有一个对于AI安全的整体的转向。对我觉得就是其实我对于EA，对于这个rationalist所有的思想逻辑，所有的ideology，其实都是从Vitalik这边来的。嗯，那Vitalik，你要不要讲一下你最初接触EA是什么原因？当时他是什么吸引了你？大概我第一次听到那个理性主义和EA这两个概念，可能是一三年和一五年之间。那个时候两个都很早期。Eliezer Yudkowsky他是在理性主义的那边，但是他有一个博客叫Less Wrong，写过很多很多的文章叫Sequences，他们在谈关于什么物理学、道德、所有的有意思的话题。那Effective altruist的这个群有人说，其实我们大部分人做的慈善，大家的目的是非常好的，是大家的心是非常好的，但是大部分的效率是很低的。他们在那个时候讨论了很多，就是在非洲健康的话题，就是他们有一个。

[2520s - 2640s] 很出名的一个 statistic 就是，如果你用那个时候是两千美元给一些在非常穷的非洲国家的人买那个蚊帐的时候，你可以帮助很多人，不让他们得疟疾，那就可以生很多很多人的命。他们的那个 statistic 就是，你每一次付两千块，你就可以救一个人的命。其实大部分的人他们会花两千块做什么？那有可能是一个工厂的一个机票。如果你是一个非常非常的那个土豪，那有可能你会买一个私人机，比如从亚洲去美国，可能会需要二十万块。你可以想一想，就是第一个选择二十万块，那你可能十二个小时，可能二十四个小时更舒服。第二个选择就是你可以救一百个人的命。哇，那如果真的是这样子的，那我自己也必须的是花自己的钱的这样的话题。一六年和一七年的时候，以太币涨了十倍，就是我把一小部分的我的以太币都买掉了，捐了给那些组织。就是有时候是捐给非洲的那些买蚊帐的，有时候我也捐了一些其他的，就是我也特别支持 Aubrey de Grey 的那些 longevity 的话题。他说我们现在几乎有足够的技术，就是可以活到一百五十岁，或者两百岁，或者还更多。这个话题是很重要的，但是几乎没有人研究。所以我大概就是我自己用了同样的那个算法，我就是说好，就是现在。

[2640s - 2760s] 呃，这个领域有的钱可能是一百万，可能是三百万。如果我自己给一百万，那我可能会加速一个月，那就可以救可能一百万个生命，还可能更多。那所以我往这个方向就开始思考了，我就开始捐很多自己的钱给这些领域，包括那些 global health，包括那个 longevity，还有更多。所以，我大概从二零一七年和一八年开始就给他们比较多自己的钱。所以， Vitaly，您刚开始关注 EA 的时候，其实您关注的话题主要是像 global health，然后刚才提到的这些 longevity，就更多是健康方面的这个议题。嗯，对。OK，那大家因为刚才提到了理性主义，我们要不要讲一下 Yudkowsky 他的核心思想是什么样的？然后包括 Scott Alexander，因为他是做了 Slate Star Codex 这个博客嘛，然后也是在这个圈内影响非常深的这样一些，算是思想的源泉吧，还有文本。我们能不能聊一下理性主义和有效利他主义的区别？然后这两位关键的人物，他们的核心思想是什么样的？我可以简单的说，EA 最核心的目标就是帮我们了解怎么最有效的帮助其他的人的一个生活。那理性主义是帮我们更有效的思考，怎么更理性的为了帮助其他的人做事情。所以，在那个 Less Wrong？那个 Yudkowsky 会有很多文章关于很多很多的哲学的话题，就是人是怎么错误的思考，然后你怎么能思考的更正确的？你怎么能犯就是少一点的错误？就是在生活的每一个方面，可能十年后有一个人在呃做了一个书，呃那个。

[2760s - 2880s] Rationality from AI to zombies.那也是 from AI to zombies.这个名字他是故意选择的。就是AI是因为他那个Yudkowsky大概从一九九五年开始他就知道了AI是一个非常重要的话题。那其实他一开始认为，那AI会对人类非常非常好的，所以我们应该非常快的让一个非常强大的AI进来帮助我们解决我们的所有的问题。但是他自己多思考了这个话题，他也发现了这个AI alignment problem是很难解决的。如果你做一个非常聪明的AI，那你怎么能保证它的目标是跟你的目标是相同的？有一个很简单的例子就是，如果你有一个非常聪明的AI，那你给他一个目标，比如这所有人的癌症，就是做一个没有人有癌症的一个世界。如果这个AI不够了解你的一些含义，那他可能会觉得那好，那我可能把整个世界就毁灭了，就是这个世界没有人就没有癌症。这是一个非常简单的例子，但是它有一个这个核心的概念，就是个value fragility。如果你在设置一个非常聪明的AI的目标的时候，如果你只犯一点点的错误，那还是有风险会有这种结果。对，所以value fragility是一个话题。第二个很重要就是他说的一个orthogonality thesis。很多人他们会说，那一个更聪明的AI，他一定会也会比我们更好。但是他思考了这个话题好多，他最后他发现了，其实这个理论是错误的。就

[2880s - 3000s] 其实，你的思想的能力和你的目标是两个完全不相同的的事情。有可能有一个很善良的，但是很笨的AI；，有可能有一个善良的和聪明的；，有可能有一个邪恶的和笨的，但是邪恶的和聪明的也是有可能的。善良的这个概念不是一个宇宙的一部分，呃，这是一个人的一个进化制造的概念。所以，如果我们要做一个对我们好的AI，并不是一个会自动的by default发生的一个事情，就是我们需要非常努力这么做。对，所以他了解了这两个之后，他发现了他之前的设想，因为他之前可以说是一个accelerationist，是非常笨的。如果他自己是那么长时间没有意识到这些概念，那这个意味着帮助人能够更好的思考是非常重要的。所以，他开始学很多的文章，他开始做网上的一个community。所以，这是AI变得更rational的一个很重要的原因。就是如果你在用不对的思想开始做super intelligent AI，那最大可能就会发生非常大的错误。那Scott Alexander他是一个第二个一个重要的一个人物，他有很长时间有一个blog叫“Slate Star Codex”。那那个blog二零二一年的时候，他看到了就是另外一个blog，现在叫“Astral Codex Ten”站。然后在里面也有复杂的故事，但是他的文章也有很多非常聪明的。但是他关于政治说了比较多，他关于那些culture war，就是我们现在会说的那些woke和anti-woke会说的比较多。

[3000s - 3120s] 所以他会写更多的，有时候 controversial 的。他们的核心都是我们怎么能够合理的，就是更聪明的那个思考。对，所以 effective altruists 在其实是另外一个群，他们有很多很多的连接。尤其是那个时候，大部分的 effective altruists 他们也会读就是所有的 Yudkowsky 和那个 Scott 在写的东西。但是他们的一个群就是在英国，在牛津大学有很多，在牛津上也有呃那个 William MacAskill，他比较早期开始了赚很多自己的钱。对，所以这个群的核心可能有两个，就是第一个是更 academic 的 philosophers，就是在大学里面很长时间做教授的呃那些人。就是 Yudkowsky 和 Scott，他们两个都很明显的都是自学的。那 EA 的他们更 conventional 一点，所以他们在大学就是了很多，他们攒有了更主流意见的积蓄。EA 的群的另外一部分，这个也是很重要的部分，就是有钱的人吸引有钱的人是他们的一个目标。如果你有钱，那你想做好人，那你会有很多的心理。对，所以 Jaan Tallinn 他是 Skype 的 co-founder，他很早之前就了，嗯，还有那个 Dustin Moskovitz，其实有很多的他们是很安静的，就是他们也不会那么大声的说话。EA 的社区有好多这种，对，所以理性主义的这个群，他们只会思考。EA 的群可能会一半是思考，一半是做。那做的大部分就是捐，但是他们也开始了有自己的组织，把他们的过程更形式化一点。每一个 charity 的一个效率是多高的？怎么选择最好的？

[3120s - 3240s] 他们的钱到底能帮助多少人？然后大概一五年和二零年之间，EA开始变得越来越institutional，就是它开始做自己的机构。所以他们就不只是一个社区，就是一个比较复杂的一个体系。其实我非常好奇啊，Afra可能对这个也了解比较多。就是他们认同自己是有效利他主义者的人和认同自己是理性主义者的人，他们之间有很多的冲突吗？他们会互相认为对方的思想是不正确的吗？其实这个问题我也是在大概一周前才搞清楚的，就是因为我直接去问了一个rationalist领域的元老之一，他名字叫Zvi，他写一个叫做“Don’t worry about the vase”这样一个newsletter。这个newsletter主要是关于理性主义思维还有AI安全问题的。Zvi就是说，其实有的时候一部分rationalists就是理性主义者，他们会认为EA抢走了一些理性主义者在很多年之前就已经发现的，就比方说AI安全问题的这样的一些见解的功劳。比如说十几年前开始担心AI safety问题的人，其实是Yudkowsky，但是Yudkowsky他从来没有认为自己是EA的一个成员。但是EA的一些成员就会说Yudkowsky是他们的人。对我觉得就是在现在就是AI安全领域和AI对齐领域，它变成了一个更加具体的研究和实践的领域，也是因为我们现在在很大的这个AGI浪潮当中，所以很多研究AI安全问题的人，他其实有可能不认同EA，也不认同EA所秉持的这种长期主义，甚至不认同理理性主义，甚至没有看过Less Wrong，但是他们仍然在研究这个问题，仍然非常担心AI会有一个系统性的失控。所以说就是对我觉得就是现在可能大家在提到rationalist EA啊什么AI safety的时候会把这几个词混用，但是其实我觉得就是你一旦进入到内部的这个群体之间的这些关系，你你会发现它其实是一个来的早来的晚，然后以及。

[3240s - 3360s] 有很多分歧的人和人之间的小圈子。那 Vitalik，你觉得你开始关注 EA 的时候，你对 AI 安全的思考是什么样的？就是你当时捐款，然后去接触一些这个组织，他们对于 AI 安全的涉猎是大概什么样的一个情况？那个时候，我的关于 AI 安全的思想还是非常抽象的。我知道了 AI 理论上是一个非常重要的话题，有可能他们说的是真的，有可能 AI 的安全就会决定人类未来的命运。但是不管这个可能性的效率是百分之一，百分之零点一，但是现在就是在那个时候思考这些话题和研究这些话题的人非常非常少。有个机会，就是你可以花可能一百万，可能五百万，就这么多。那你可以直接加速这个整个领域，可能六个月，可能一年，有个结果是非常大的。所以，就是一个我们都应该做的一个版。所以，我对往届和的 AI safety 的状态是有这样的想法。二零二零年和二零二三年之间的人都变了非常多。主要的原因就是 AI 变成了一个真正的话题。因为二零一五年，我们现在在说的这个 AI 是几乎不存在的。我们大概二零一八年诞生的所谓的 AI，可能就是那个摄像头和 AI 帮助的这个数字监控。对，所以那个时候和二零二三年已经是非常不一样的。那个 GPT 三出来的时候就改变了非常多。对，所以呃，我们在做那个Zuzalu的时候，就是二零二三年的一个春天，那个 GPT Chat 出来了，我们开始了理解，就是有可能 AI 真的会发展的非常非常快。

[3360s - 3480s] 那AI也真的会给我们带来很多很多的变化。对，所以大概这个时候，可能所有人的思想有非常大的变化，所有的人能做什么也有非常大的变化。可能二零二二年之前，唯一的答案就是你怎么能多帮助研究，人类知道的更多，那对我们更好。但是二二年之后就变了，就是从一个抽象的话题就变成了一个具体的话题。你会担心AI的安全问题吗？大家问我我的那个P图AI或者其他的风险会完全毁灭我们的世界，就是人类会不存在的。概率会是零点一。我为什么说零点一？为什么不是我零点零三？为什么不是我零点三？其实是我的更明确是很难的，因为我我从开始就有非常大的这个uncertainty，因为有很多很多的不确定的点。第一个点就是AI的发展会多快的，就是有可能到达大家说的这个所谓的AGI，会需要十年，可能三百年。就是第一，第二，Yudkowsky说的这个alignment problem，到底是不是一个真正的问题？会不会这个问题呃很简单的解决自己？因为我们可以回到第一个我提到的这个例子，就是你说我们做一个非常聪明的一个AI，我们跟他说希望有一个没有癌症的一个世界，那这个AI觉得那最简单的办法就是把整个世界就毁灭了，就是把所有人都杀了。其实如果你现在跟Claude和GPT和现代的AI说话，你就知道现在的AI他们其实比较了解context，就是他们了解就是我们的含义。这是一个十年前。

[3480s - 3600s] 非常难预测的一个变化，但是这个也不一定意味着alignment的problem不是一个非常大的问题。如果你现在问那个Yudkowsky，就是你跟他说，就是你看现在的AI，如果你跟他们说要治癌症，他们就不会完全毁灭这个世界，那是不是alignment的问题解决了？他会说并不会，这个问题只是alignment的的问题的一小部分，还有很多其他的部分，还有很多的是我们完全没有解决、完全不知道的风险。这里的不确定性也非常多。对，这是第二，第三就是政治的那个不确定，因为现在有不同的国家、有不同的人、有不同的公司都涉足AI，在一个竞争的情况下，大家有不同的目的，大家同时希望有安全，大家也希望自己赢了。如果例如在AI也变得非常危险的时候，就同时第三次大战出来了，那可能会最危险的，并不是因为什么技术的问题，而是因为在那个时候大家会最不思考安全，就是只会思考就是自己赢了是最重要的。对，所以就是有技术的不确定性乘以另外一个技术的不确定性乘以政治的不确定性，就乘以更多更多，所以AI是不是对我们真的会危险是非常难预测的。嗯，对，因为我注意到您在二零二一年的五月十二号，应该是同时捐赠了非常多的EA的组织，然后在二零一七年其实是捐赠了呃Yudkowsky他当时创建的这个机器智能研究所MIRI的这些组织。可不可以讲一下，就是在二零二一年的那一天，您在捐赠很多组织的时候，当时你

[3600s - 3720s] 你在想什么？然后你是怎么样做出这样的一个捐赠的决定的？嗯，对，这个故事是非常好玩的。其实这个故事可能二零一六年开始，从第一个所谓的这个Meme Coin，就是狗狗币。狗狗币就是Dogecoin，它一六年出来的，就是它有一些开发者，他们说我们要做我们自己的一个新的币，大家都在做自己的币，都在做自己的链，我们要做一个是一个Litecoin的一个分叉，就是基于Litecoin的一个代码。那我们的这个新的链，我们的新的币是做什么的？什么都不做。那你为什么要买？因为有狗狗狗，这个狗狗很可爱。那个时候大家都并没有思考可以这么做。那个时候就是，对区块链的这个群还是更理想主义的，他们也就觉得这个很好玩，就是我们我们做这个笑话，我们在一起做一个完全没有用的一个币，我们把它发了。那个狗狗币它从开始就变得特别火。其实我自己在一六年的时候，我花了两万五千呃美元买一些狗狗币，我的那个钱都变成了可能一千多万。对，所以我也是一个早期的一个狗狗币的投资者，比较成功。狗狗币是第一个Meme Coin吗？我好奇，就是真正意义上的第一个Meme Coin，对吧？对，就是第一个很多人知道的一个Meme Coin。二零二零年的时候，狗狗币是非常非常成功的，很多人开始了思考。那如果第一个狗狗币能到达一个五百个亿的一个市值，那如果他们自己开第二个狗狗币。

[3720s - 3840s] 如果这个第二个狗狗币能够到八十个亿，那这个也是很爽。所以，他们都开始了发自己的狗狗币。所以，最大的就是Shiba Inu，呃，那个西。他们也做了一个很好玩的一个事情，就是他们把他们的币的那个supply的一半儿放在在我的钱包里，因为我的那个钱包有个公开的地址。他们把他们的币的supply的百分之五十都放入到里面。那个时候，我的那个钱包是一个冷钱包，那个钱包的私钥只在两个地方存在了。第一个地方是一个电脑，就是一个跟互联网完全没有连接的一个电脑。那个电脑那个时候在多伦多。第二个地方就是有两张纸，就是每一张纸上有一个数字，一个数字是在多伦多，另外一个数字是在我包里。如果这两个数字加起来，就会变成这个私钥，所以就是一个paper backup。那个时候还是疫情的那个时候，所以我很长时间什么都没有做。但是有一天我发现了，就是哇，这些币的市值就真的到了八十个亿，就真的非常非常夸张的。所以我就想做了，那好吧，他们有可能一周之内他们的市值变得那么高，大可能一周之后这个泡沫就会被炸了，就是他们再次会很低。我那个时候在那个西雅图，我买了一个新的电脑，我给我的妈妈打电话，我让她读在多伦多的那个纸上的数字，我在电脑里把两个数字加起来了，我有了那个私钥。我研究了那个Gnosis Safe，就是一个更安全的一个多签名的钱包。

[3840s - 3960s] 的那个代码就是我自己把那个比较safe的整个代码两天之内审核了，就是为了会有一个新的我能放我的以太币的一个钱包。对，所以我做了很多的很复杂的工作，最后我把那些狗狗币拿出来了，然后我把那些他们给我的、他们放到我的钱包里的那些狗狗币卖了。一开始我把他们很快速就卖成以太币了，大概我赚了可能七千万美元的以太币。我把大部分赚了给Against Malaria Foundation，就是他们给人们买啊那些蚊帐的那个组织。这个钱可能是我会能够拿出来的最多的钱，那应该给一一个比较安全的、uncontroversial的一个组织。也是有一些人会说给非洲人买蚊帐是一个你能做的非常非常就是最重要的事情，也有一些人觉得这个不怎么管用，但是没有别人觉得就是坏的。我也给了一些longevity的组织，还有一些其他的。我因为market depth不够高，完全没有这个liquidity，让我买那么多的那些狗狗币。所以我卖成以太币之后，我还是留下了非常非常多。所以我就决定了，那好吧，那大可能现在这些币都会跌的很快，都会跌的很惨。那我还是把我剩下的币给一些其他的，我觉得比较好的组织。如果他们自己卖掉的时候，他们能拿到一千万，那就好。就是在我的设想里，他们最多能拿到可能是两千多万。对，所以我给了可能一半给印度的一个抗covid的一个组织，另外的一半我给了FLI。FLI是Future of Life Institute，他们在那个时候。

[3960s - 4080s] 是一个研究开始对抗所有的existential risk的一个组织。于是他们研究了生物相关的风险、AI相关的风险、核战相关的风险，就是每一个非常非常大的风险，他们有一个部分在研究。他们给我介绍了他们的一个计划，就是他们说了，他们理论上能达到最多一个亿，但是两千万他们也能做非常多。那所以我说，那好吧，我给你们我的这个希望，你懂？对，所以三个月之后，我发现了，那些狗狗币他们并没有接。所以FLI和那个印度的Crypto COVID卖完了他们的币，他们一共就是几个组织拿到了四点七个亿。就印度的Crypto Relief的组织，对不对？对，然后FLI他们我不知道他们具体拿到了多少，但是有可能四个亿，有可能六个亿，就这么多。嗯，四到六个亿。对我完全没有想象的一个结果，就是如果我想过这个结果是有可能的，就是我会做的事情会非常非常不一样的，但是是这样发生的。所以我前一年其实我跟Crypto COVID的那个组织的三D啊聊天了，就是我convince了他把他的钱的一半还给我，然后我们开始了我自己的一些看疫情的工作，包括研究过滤器疫苗啊，我们捐了给一些开源的疫苗的公司，一个是RaDVaC，一个是Popvax，啊，那个Popvax他们上周又发布了一个文章，就是他们现在的发展就非常好，所以现在至少一部分的open source开源的疫苗现在是存在的，对。

[4080s - 4200s] 所以就是第一部分还有那什么过滤器、紫外线，就是那个UVC，还有口罩，还有那个防COVID的研究。一开始是抗COVID的工作，但是下一年其实COVID并没有结束，但是大概二零二二年初大家都觉得COVID结束了，所以我们开始了看所有的airborne disease啊支持的这种项目啊对，所以我们用了两个亿就做非常多，然后三D他用了他的呃两点七个亿，可以说是level up啊印度的整个medical manufacturing的这个能力。FLI他们大概在这个时候GPT三出来了，所以他们的思想有一个非常大的变化。第一是他们从关心所有的existential risk，他们变成了只关心AI。第二就是他们从一个研究的这个态度，变成了一个重视那个行动的一个态度。他们开始了用一个很具体的strategy，他们开始了思考，那他们应该支持那些法律，应该支持那些什么政策？他们开始了做很多我要么不认同，要么不过是我的钱，我不会自己做的事情，所以他们就开始了做自己的一个方向。然后我跟他们说了两三次，就是我们用那两个亿的钱做的那些看airborne disease工作的项目和他们的结果，因为我跟他们说了，就是我的原来的目标就是支持所有的anti existential risk的领域，所以我就是希望他们diversify，我有很多已经成功的项目，他们可以diversify，但是他们拒绝了，他们要把他们的钱都放到一个AI centric和一个policy centric的。

[4200s - 4320s] 的方向，同时他们的那些法律就开始出来了，然后有很多的A16Z，就是有很多的那些硅谷的投资者开始很不开心，所以他们就开始了把AI safety当他们的这个主要的基准，呃，这个大概二零二三年都是开始的。嗯，你当时选择捐赠的时候，它其实有非常多的组织嘛，然后您刚刚提到了像Crypto COVID Relief跟FLI，你是捐赠的Shiba，还有一些捐赠的是ETH，我注意到你还捐赠了GiveWell跟Miri，这四个组织你是怎么选出来的？当时是会有一个什么样的目标去选择了这些组织？大概我在每一个领域我选择了一个大家认同的一个比较default的一个组织，大概我选择了每一个我认为很重要的领域。如果你我六七年前问我呢，在一个领域里面应该捐给谁，他可能会有同样的答案。嗯，你觉得现在你的这些想法有变化吗？就是怎么捐以及如何捐，包括其实捐赠以后，我们也看到整个世界在发生变化，AI在迅速的成长，他们可能把这个钱用的方向跟开始我们想去非洲治愈疾病会有一些初衷会不太一样。我觉得EA里面有一个重要的概念就是neglectedness，neglectedness的意思就是有没有其他的人已经在做。例如我们可以思考一个问题，就是水，水是非常重要的，就是有可能在非洲有这个问题，就是给有一些人有脏的水，如果他们有干净的水，他们不会得什么病毒，那这个已经是一个global public health的部分，这个EA的组织已经在研究，但。

[4320s - 4440s] 是我们再去参与是没有意义的，因为已经有非常多其他的人在思考。所以，那那个 neglectedness 这个概念就是，如果一个话题是重要的，那现在已经思考这个话题的人是不是真的太少了？大概我十年前认为每一个 EA 和每一个理性主义相关的，包括其实 EA 他们呢，从来没有理解为什么，但是他们从开始没有特别研究一个 longevity，但是他们每一个领域十年前都是非常啊 neglected 的。但是现在我觉得并不是这样子的，就是现在 AI 的安全是一个非常高级的一个话题，还有在 longevity 的这个话题呢， global public health 其实二零二五年的时候，它受了很大的伤害，因为那些 Elon Musk 做过的就是和那些美国的那个政治的变化，就是他们之前支持了很多的 public health 相关的，他们很快很快就停了，制造了更多的问题。所以，对 global public health，我觉得现在是变得更重要的。但是，比如在那个疟疾蚊帐的那个话题，就是现在开始有一些抗疟疾的那个疫苗，有很大的问题，但是发展现在也有对，所以现在有可能那个 global public health 还是一个非常值得支持的一个话题。但是大部分的其他的，就是他们的问题现在并不是 neglectedness，他们的问题是，如果大家做的不对，那就意味着问题并不是资源太少，而是大家做的这个方法可能是不对的，这种问题的解决方法是完全不一样的。嗯，现在你本人会。

[4440s - 4560s] 关注AI安全问题吗？因为我发现我们在说EA的时候，它的重心是有好几波的转移的。最开始可能是有，比如说全球健康问题，类似于蚊帐问题、驱虫问题。中间还有一波，大家有一段时间，我记得还关注过动物的福利问题。现在来说，它其实就是长期主义和AI风险。对。所以现在AI安全会是你关注的问题吗？还是你觉得他已经有人在关注了？你更想把注意力转移到其他更多更重要的问题上？我觉得现在越来越多的问题是跟AI安全有关系的，所以不思考AI安全是有点难的。但是就是现在更大的问题不是研究AI safety的人不够，而是那些AI公司里面很多的incentives，就是很多的激励都是比较broken的。就是OpenAI和Anthropic，他们都希望自己的公司赢了，所以他们都做的非常快。如果现在大家AI的发展做的那么快，那其实风险是最多的，因为我们就不会有足够的时间就去思考怎么办AI做的安全，怎么能用AI做一个就是我们希望有的一个世界？还有一点，大可能最重要的并不是我们现在做的AI安全相关的研究，而是一个就是那些公司在做一个最强的AI的时候，他们的目标是安全还是他们自己赢了是最重要的？现在我们大可能会需要用现在的AI的版本，就是我需要用AI version N为了研究AI version N plus one，我们会需要现在的AI的级别去足够了解下一个AI的级别相关的安全的问题。

[4560s - 4680s] 所以，大可能我们三年、四年前做过的AI safety的研究也不是很有意义的。他们会发现，什么花了很多的时间、很多的资源在研究一个AI安全，发现了现在在一些最核心的问题，包括一些AI alignment的问题，并没有很多的发展。所以，更重要的，我觉得不是我们现在做的研究是多少，而是那些做AI的公司在做一个最强的，就是开始有非常大的风险的AI的时候，他们会不会放足够的注意力在做的安全？这个我们不太知道。然后解决这些问题也并不是一个研究的问题，就是真的开始会变成一个policy的问题。但是policy的问题的一个最大的挑战就是你很难知道一个policy是好的还是坏的。对，所以一个policy的问题是跟之前的EA的人思考的问题是非常不一样的。因为之前的EA他们平常会思考的问题就是，如果你捐给一个charity A，那你可能会救十个人的命；如果你捐给一个charity B，那你会救一百个人的命。那你的挑战就是你要知道哪个是十，哪个是一百。但是现在是完全不一样的，是因为你在支持一个policy，那那个policy有可能它会有好的效果，也有可能它会有坏的效果。其实，都知道哪个效果是好的，哪个效果是坏的是很复杂的。这个policy它有一些直接的效果，就是它怎么直接影响那些公司的激励；它也有一些indirect effects，比如如果一个很有钱。

[4680s - 4800s] 的人比较公开的花五个亿就支持一些政治的话题，那很可能其他的人会很不开心，他们都会觉得呢有一个土豪在影响我们的政治。然后那个AI safety的这个agenda，他们会开始觉得呢就是一个只有土豪思考的。那所以很多很多人就可能会开始反对AI safety。这就是一个man versus man的一个问题，因为至少在加拿大的学校，我们在研究那个literature，在研究那个文学的时候，我们会说就是有一些是man versus man，有一些是man versus nature。man versus nature就是人抗自然，那man versus man就是两个人直接在打架。man versus nature其实更简单，man versus man是特别复杂的，因为你在对抗的那个挑战是跟你一样聪明的，所以你做的事情能有的效果，有可能是会非常复杂的。对，所以我就觉得EA的思想，他们在man versus nature的这些领域，我觉得是非常管用的，但是在man versus man就变得复杂很多。哦，我觉得这个说的特别好。就我觉得你刚刚讲的那个关于只有土豪在关注AI safety这件事情，它好像已经发生了，而这个大家好像已经就觉得就是和EA有关的这些捐赠，其实已经导致了对AI safety现在和EA的联系非常的密切。然后包括说互联网上也有很多对于EA反对的声音，就是因为很多EA相关的组织，他们和最近我们看到的一些，比如说安全研究员，他们从OpenAI、Anthropic离职，就是有很大的关系。对，所以这个也是一个很多EA的人做过的一个很大的错误。其实大可能就是这个则是从FTX的那个事情开始，因为如果你偏很多。

[4800s - 4920s] 人的钱，那你同时用这个钱捐给一个政治的话题，那一定很多人会开始觉得，那这个政治的话题就是骗钱的，不会思考的。对，所以他做过的那些大规模的政治相关的事情，就同时有非常多的错误。还有一点就是，其他的人能怎么知道他们是不是犯错误的？一部分是了解这个问题，但是其他的部分就是了解其他的人，就是大部分的EA他们都并没有意识到SBF有可能是有问题的，有可能也是一个就是Man versus Nature变成Man versus Man的一个例子。对，就是因为EA变过跟institutional和跟political之后，以前的一个思维的方式就开始变得更容易犯错误的。然后现在EA已经有分成了很多很多复杂的不同的部分，因为很多Anthropic的人他们也是很长时间关注EA的。然后现在也有那些Dustin Moskovitz，也有一些FLI，也有很多其他的，他们也每一个都会说，就是他们和其他的是不一样的，但是他们变得特别复杂的，就是他们也有很多也觉得Anthropic是不好的，但是Anthropic最近EA一定是觉得Anthropic是好的。对，所以就变得很复杂。嗯，对，我觉得这些大公司好像都在变。如果归纳总结一下，感觉硅谷有这样几个大的派系啊，就是EA是一个，然后理性主义一个派系，然后还有一个就是以Marc Andreessen、A16Z为代表的e/acc，它是AI加速主义。感觉现在应该主要是这三大AI流派啊，还有你的DX。对对对对，其实也有更多。我可能会说，第一是支持Anthropic的EA，第二是比Anthropic更。

[4920s - 5040s] 意愿的这个EA，第三还有那个Pause AI，Pause AI他们是更populist意见，然后他们是更愿意跟一些更主流的人合作，他们也更愿意直接说所有的理性主义和EA是不好的。第四对就是有那个EA，包括FJ都采用那个对A Six等级理性主义者他们的呃这个位置现在是很有意思的，他们有很多人他们的思想也是很不一样的，但是他们也一直会觉得他们和EA是类似的，但是也有很多很重要的区别。如果你现在看到理性主义的人的一些行为，你会发现差距是很大的。从开始我的解释就是EA是更思考那些他们可以做的事情是正确的。那理性主义他们的主要的motivation就是curiosity，就是思想，他们喜欢思考很有意思的话题，他们喜欢更公平的思想。我觉得理性主义者他们从开始就更喜欢玩EA，他们是非常严肃的、非常认真的。我们在教人的命，我们不能玩，我们有我们的工作，我们是拯救这个世界的战士。呃，但是理性主义就是他们从开始就是比如那个Yudkowsky他写了那个书那个H P M O R就是那个Harry Potter and the Methods of Rationality那个书可以说是一个不知道一个fanfic，可以说一个 parody的Harry Potter。他的假设就是如果Harry Potter是一个理性主义者，那他怎么会看待Harry Potter的世界？我觉得那个书其实很好玩。那个Scott Alexander其实有更少。

[5040s - 5160s] 的人知道，他也写了一个书叫Unsong的那个Unsong，他的书也很好玩。然后那个Yudkowsky他开始来写的更多，就是他有很多的那些日本那个Anime呀inspired的一些那个fiction。可能上个月有那个Aila做的那个活动的那个drama，然后有很多就是有很多的嗯EA他们都对Aila和Whitehaven和那些人很不满意，就是你们在我这个活动是很controversial的。那其实这个活动的一些我们的reputation不好，就是你们为什么非要这么做？就是不是AI safety比你们想做的这些其他的事情更重要？但是我一直觉得理性主义的人最终他们不愿意听这种东西，他们不能为了自己的reputation接受就是有一些话题有一些行为是封闭的。他们更喜欢就是be yourself。就是我觉得他们在心里觉得人应该忠于自己的心。如果你喜欢这么做，如果这个不直接伤害其他的人，那你应该去做。如果其他的人被得罪，就是他们的问题。所以他们不那么愿意be strategic about how they about how they think about how they behave。就是他们会更直接。我觉得X是有意思的，那我就要研究X。那些EA他们更会觉得，那我们应该说什么？为了得到最多的支持，为了降低我们的风险。其实因为他们这么做，我觉得也有更多的人怀疑他们。比如人在判断正确的时候，大部分的人他们总是会更喜欢genuine。大部分的人他们也会更喜欢，就是。

[5160s - 5280s] 如果一个人很明显的隐藏自己在想什么，这个也可能也是一部分，就是为什么有很多人不喜欢全部的，和不喜欢那个民主党的。对，所以EA的人就是他们确实会特别努力的，特别optimize啊自己的一个public perception。但是这个有时候还是会有一些他们很难预测的后果。嗯，我还注意到，其实我们现在说刚刚我们提到的几股派系的时候，EA它是真正把钱跟机构运转起来的。但是我们说理性主义者，他好像并没有拿很多的钱。e/acc我可以理解背后的力量，它其实是有VC在back up的嘛。我们如果也把这个理性主义者作为一支力量啊，一个运动，它不见机构，它能走多远呢？可能不太多。理性主义者，他们的天敌，他们就是猫cat。对，把他们放到一个机构里，他们就会不开心，他们会觉得不自由。确实，我觉得维塔利克其实更是一个spiritually是一个理性主义者，而不是一个EA。其实你做的很多事情其实很理性主义者，比方说你最近写小说，对吧？对。嗯，在写什么小说？科幻小说，非常推荐大家去看。哇哦，叫做Snow Moon。OK，刚刚听下来，我我感觉这是我听过的对理性主义者最nice的一个评价。因为Yudkowsky是什么？他八年级的时候就退学了，他就相当于是一个就是一个小孩儿，然后他们在家里想，然后他就come up with这么一个宏大的世界观，然后就是说AI有一天会成为凌驾于人类之上的智能。然后他拿到Peter Thiel的钱，然后写这个fan fiction，这个《哈利波特》这个可能有六十万字吧。就所做一切事情，其实就从我们角度来说，都觉得他很奇怪。但是可能他确实又影响了这么一批人，对，所以感觉理性主义者确实是，我觉得我接触了很多理性主义者，都是需要。

[5280s - 5400s] 很长的时间去理解他们到底在想什么，然后为什么要做这样一个事情。嗯，刚刚你提到有支持Anthropic的EA和反对Anthropic的EA，这部分可以展开讲讲这两类人他是有什么样观点上的不一样吗？那支持Anthropic的人他们会说AI是很危险的，但是不做AI是不可能的，因为这个世界有很多不同的团队、不同的公司、不同的国家，所以唯一的办法就是如果一个公司有好人，那应该有这个好的公司赢了，因为他们在赢的时候，至少他们会有更好的原则，他们在最需要的时候会花更多的精力就把AI做的好。然后其实有很多的方面你也可以说就是Anthropic比Open AI更好的。你看那些公司，他们在公开做什么？你你看到那个Open AI的那些internal drama，你看到核心的人的思想和这个思维是什么样子的？还是应该保证至少关心人类的人会变得最强大的AI的公司？那就是Anthropic的人，然后他们也会说他们真的在做非常多的安全相关的研究。他们的一个co-founder那个Chris Olah，其实我有一个好玩的故事，就是我和Chris Olah就是跟天主教的那个爸爸啊那个pop啊在下pop嗯对对对啊研究嗯啊对对没有对不起是在因为在由于在很多语言pop就是爸爸呃但是主教就是我和他在多伦多啊我们去了一个非常小的一个private school，它叫The Abelard School，它一共有四十五个人。

[5400s - 5520s] 所以每个 class 就又是一个。我进入第九个那个年级的时候，他在第十一个。啊，他给我介绍了很多关于计算机科学、关于数学。其实我开始用 Linux，可我开始非常支持开源的一个原因就是他。哦，这是一个私立高中，对吧？对，私立高中。对，我觉得至少 Anthropic 反对者是一个好人。那反对 Anthropic 的观点，呃，就是第一，incentives 是个激励还是很强的。一个人很可能从开始会觉得这些特别好，但是如果把它放在一个更危险的一个、有更多的竞争的一个情况，那人会很容易开始找理由说，为什么对他好的事情都是对的？不管 Anthropic 是不是更好，他们还是把 AI 的发展速度就加快了很多。现在有这个 AI race 的一个很大的原因就是他们。就是我最近听到了一个有意思的意见：OpenAI 他们其实愿意把 AI 的发展做的慢一点，所以就是他们二零二五年的时候就没有把他们的所有的资源放到做更好的 frontier models，他们开始来做 slower，他们的那个 video model，他们开始来做更多。然后今年出 Mythos 出来了，Mythos 出来了之前，我觉得我们都会觉得那 GPT 是最强的，就是我们都会 by default 用 GPT 的。但是有一个时间，他们开了那个 Mythos，和他们给了我们 Fable 之后，真的有这个感觉，就是那个前面传导他们了，就是大家都开始觉得，那 Anthropic 同时是一个。

[5520s - 5640s] 更强的，他可能会赢的。就是在有很多人开始了用Claude，那个时候OpenAI他们也开始了把他们的很多side projects就关掉了，他们加速就是更focus做非常强大的models。所以的就是有可能他们还是帮助了AI race做的更快，这个的效果也可能会超过他们所有的安全相关的工作的效果。对，就是第一，第二就是，所以这个是理性主义的和AI criticism of Anthropic，就是一个理性主义和一个AI的人怎么可以说呢？Anthropic做的事情是有问题的，就是他们有可能觉得他们做的更安全和他们更好，但是他们还是参加这个race，他们还是因为他们的参与加速了AI的race，还是增加了我们的危险。还有一个，另外一个可以批评Anthropic的一个方向就是，你可以说就是一个中国人这个criticism of Anthropic，他们的philosophy of safety，我们应该有权利，因为我们好，你们不应该有权利，因为你们不好。其实这个philosophy of safety是有很多人是怎么思考的呢？比如杜塞尔是怎么思考的？但是很多人也会觉得，就是那好，你们觉得自己是好的，其他的人是坏的。那如果我们不同意呢？谁来决定？他们的这个safety strategy，第一就是我刚才说过的，就是他们还是参加这个race，这是一个好主意。如果他们真的比OpenAI更好，比中国的那些AI公司更好等等，但是在这个世界里有很多人，他们都有自己的很多的观点，就是我们。

[5640s - 5760s] 上周我看到了有一个好像是一个DeepSeek的一个人写了一个文章，就是他觉得他们在做开源的这个AI是非常重要的。他也说了，他觉得Anthropic因为是一个希特勒的那个级别那样快的一个情况，对。所以如果一个公司能说我们应该赢，因为我们好，你们都不好，那为什么其他的人也不能这么说？他们从今年开始说，就是他们反对Open Source，就是这个变成了一个很流行的一个话题，就是开源的这个AI是更危险的，就是因为没有人控制它。但是就是现在按照我的理解，所有的最危险的攻击还是都是通过GPT和Claude做的。所以你可以听他们的每一个论点听起来是有可能有道理的。如果你跟他们的前提会同意，那你跟他们的结论会同意。但是你也会发现他们做的事情和他们公司的利益的这个相关性可能高于百分之九十。就是他们真的是为了安全，还是他们利用安全和AI的去掩盖他们的？我也不想说他们的profit motive，因为如果你真的相信AI，就是profit并不重要。就是他们都觉得这个不是profit，是大概就是谁会控制未来的世界？他们做的事情公开说的论点是很美好的，但是他们做的事情和提高他们自己的权利的事情的这个相关性高于百分之九十。那我们应该怎么想？对，所以大概我可能会把这个就是中上层的这个critic of Anthropic大概这么解释的。比如那个Pause AI的人，他们大概也会这么说的。就

[5760s - 5880s] 是很多人就是不太相信那Dropkick的公司，他们觉得那些公司他们的run都是EA，他们都有很奇怪的这个思维方式。一个奇怪的思维方式是可以有的，但是他们比较明显的觉得，他们希望的结果就是他们自己控制这个世界的最强大的AI。如果你的思想不是EA，那你为什么会相信他们？我觉得他们现在的这个问题还没有很好的答案。嗯，其实我也在想，这是不是就是这几家AI公司刚开始成立，它就刻在基因里的问题？因为最开始OpenAI成立的时候，它也是一个非盈利组织。我觉得它成立跟AI安全就有关系。然后在中间的过程中，其实我看见《纽约时报》里面的一篇文章写说，OpenAI早期就是Greg Brockman，他是每天会带着就是员工去读这个Yakowski在这个Less Wrong上的文章的。后来其实Sam Altman被踢出OpenAI是一个标志性的事件。其实那个时候就是OpenAI非盈利性的这一部分的性质，就是EA的这一部分的组织，相当于取得了一个暂时性的胜利。但是它之后的回归，可能又是EA跟EA之间的一次抗衡，最终EA又阶段性的胜利了。但是我觉得，在它的组织架构从非盈利性到公司的转变，包括Sam Altman这种被踢出去又回来，包括现在大家对AI安全的所有的讨论，就可能从一开始就是在他们公司基因里，在他们公司价值观里就一直存在的。对，就是OpenAI的一个很主流的批评的方向。我有一次说过了，就是他们一开始是OpenAI，然后他们sacrificed openness for safety，然后他们sacrificed safety for acceleration，大概真的是这样发生的。就是他们可能二零年的时候就开始了说呢，GPT三太危险了。

[5880s - 6000s] 不能把它开源，因为我们是注重安全的。然后他们一开始有了一些 safety projects，就是他们许诺了做一些事情，做的更小心，为了安全。但是他们把很多他们许诺过的事情，包括一些给一些政府的组织，他们最后没有做，因为他们的发展是太不方便的。你觉得你提出的 d/acc 这个方式是一个替代的解决方案吗？嗯，那我可以先介绍一点这个 d/acc 的概念，大概就是 defensive 和 decentralized 或者 democratizing acceleration。大概有三个点，就是第一个点是这个 acceleration，就是技术的发展是重要的。第二个点就是 defensive，我们现在需要花更多的能力做一些可以保护我们的技术。比如现在有 AI 的黑客会不会攻击我们的系统的这个风险？那我们需要放很多很多的资源在这个 cybersecurity 里面。以后 AI 会不会让一些更危险的病毒更容易出来的这个问题？那我们现在就开始了多做一些抗病毒的事情。对，就是 defensive 的这个部分。然后还有一个部分就是 democratizing 或者 decentralized，就是我们在做的事情都是不集中权力的，就是我们做的事情是 empower regular people。那这个也包括开源，也包括一些其他的元素。那其实 defensive 和 democratizing 也是很相关的。如果你看，比如欧洲的一个中心，在欧洲的中心，比如在瑞士，在一些其他的地方有很多山，在那个地方其实更这种情况，就是更小的国家更容易有很多的更独立的城市，每一个国。

[6000s - 6120s] 国家也会尊重每一个地区的自治，就等等。但是你走两千公里往东边，你会发现完全没有什么山，河也很少。如果有一个人在骑马，他就可以骑一千公里，就完全没有问题。那在那些领域更容易，就有一个很大的国家，那个国家有一个独裁，就是那个专制就变成一个的default。所以如果没有decentralized defense，如果没有瑞士和欧洲有的那些山，那唯一的有可能的效果就是centralized defense，就是一个组织会控制一切。对，所以这是一个analogy。下一个问题是，那我们怎么在我们的世界里能够做更多的这种decentralized defense？所以就需要研究这个数字安全、生物安全，其实这个pandemic prevention是很重要的。但是在一些pandemic prevention的领域，就是有一些d/acc的方式，也有一些完全不d/acc的方式。就是比如我发现了很多的现在AI的组织，他们会把他们的资源的百分之八十放到一个问题，就是我们怎么能在AI的模型里面不让他们帮助人啊，就做更强大的病毒？他们就想在AI的模型中解决这个问题。但是这是一个centralized defense，因为如果有其他的人在其他的国家有自己的模型，那他们就有可能不会用你的技术，那你还是有这个风险。还有一件就是，其实我在跟很多的研究抗病毒这个话题的人在研究，他们现在担心的话题也并不是什么科幻的那种

[6120s - 6240s] 超级变种病毒，他们在担心的是短期更可能会有更多的比较中强的病毒。如果是这样子的话，那其实你们做的那些在AI的限制也不会有很多的作用。如果decentralized defense是完全不可能的，那有可能是唯一的办法。但是centralized defense也是更fragile的，就是它更依靠于你的假设，比如谁会做最强大的模型，危险会什么样子的，是完全准确的。对，所以decentralized的defense就是比如在抗病毒这个话题，那就是要做更好的检测，做更好的过滤器，能够做更快的疫苗，能够把每一个新的病毒更快的发现，它在发生就更快的开始做一个疫苗，就是一些更中强的事情。但是那些事情是更类似于一个public health，就是不那么呃类似于一个玩电脑的一个问题，有可能是更有很多人就是不那么容易往这个方向思考，因为它需要一个就是他们没有的expertise。但是就是我觉得这个一边是更能成功，另一边是不需要你自己控制这个世界的每一个AI才能成功。我特别喜欢你这个说法，因为我觉得我对AI安全最大的一个问题就是，好像很多的不论是现在在媒体上被放大的这些说法，还是这些安全研究员在X上推崇的说法，好像我们都是在考虑长期的这个影响。但是我们在现实生活中已经看到了很多这种短期的影响，比如说像deep fake，甚至网络安全这些问题。对，所以我觉得我们今天这个播客，其实我还是希望能够落脚于对于很多普通人来说吧，我们到底应该怎么样去思考AI安全这个问题。然后我知道阿凡，你最近其实也有一些想法上的变化。现在其实整个AI领域遭遇到了非常多的认。

[6240s - 6360s] 认知论上的一些问题，而这些其实都是在逻辑上是很难应对的问题。所以现在的现状就是，感觉是进入到了一个幼儿园，然后这个幼儿园里面有一群哇哇大哭的小孩，但是在这个房间当中没有大人，是因为其实很多研究员也不知道到底是是什么情况。但是与此发生的是，巨量的资金仍然在投入到各种各样 data center 的建设当中，就数据中心的建设当中。按照当下的这种 data center 的建设速度来说的话，这种涌现的这种效应只会越来越多。所以这也就回应了之前人们的认为，就是说 AI 的这个能力不会一直这么提高，这种低垂的果子总会被摘完的这样的一个现象。但是其实现在当下的 AI 是感觉这个果子的这个数量是无穷无尽的。所以我自己可能觉得最困惑和有点害怕的地方就是，现在这个 AI 的发展是有一个很严重的认知论的问题，就是这些研究员不能用人话和不能用一个数学的方法去解释这些 AI 到底有多强，以及解解释这些 AI 到底想干嘛，这是让我比较忧心忡忡的问题。然后最近的民调也显示说，美国的很多普通民众开始对这个话题感觉到恐惧，就包括 Bernie 啊，然后像华盛顿的一些政客也开始加入到这个 Pause AI 的行列当中。然后同时，就美国的这个当下的这个政治现实是，AI 民粹主义非常严重。就是所谓的 AI 民粹主义，就是人工智能并不是某种中立的技术，而是被一个科技界的亿万富翁所掌控的一个精英的技术。然后这个技术的目的就是要集中权力，并且取代普通人，取代劳动者。所以就是人们现在对于 AI 又有这样一种恐慌，然后再加之这种 AI 末日论的言论，再加上就是什么 Jacob Coxon 对吧，他自己的吹哨，呃，所以我觉得现在就是这样一个很很奇怪的一个现象。就对，因为我觉得我会比较想听的是，你觉得 you know as a normie，就是作为普通人，你觉得从 AI safety 的这场辩论当中，你希望他们的 takeaway 是什么？现在的一个呃最重要的关于这个世界和现在这个技术的发展的 fact，还是有很多不。

[6360s - 6480s] 确定的，我们还是不知道第一AI发展会多快的。第二，一年后、五年后、二十五年后，人会比AI在哪些领域有更能做的事情？就是人会做什么？那第三是那些安全的问题是不是能解决的？第四，有可能OpenAI和Anthropic还是会最强大的AI公司，还是有个情况会变？就是比如会不会Google变成第一个，或者会不会一些中国的AI的公司会catch up？嗯，所以是有非常多的不确定的。这个其实也包括那些话题，就是一个AI是不是更像一个工具，还是更像一个人，还是更像另外一个东西？就是对我同意，就是现在已经完全不是一个简单的工具。但是，就是我们一年后和三年后跟AI会有什么样的interaction？如果AI不会完全自动的，那我们在什么情况下会干扰它？我们怎么会direct它在做什么？就是这些都有很多不确定的。对，所以我一直就是，比如不跟你说我的比例是百分之九十九，也不跟你说是百分之一或者零，真的有很多很多能发生的事情。比如四年前我们并没有知道AI的发展的下一个阶段会不会通过这个chain of thought发生。那现在有一个问题就是，因为现在他们开始思考有这个Neuralese的概念，因为现在AI在思考的时候，它还是用英文在思考。你或者机器人还是可以研究它是怎么思考的。就是其实我发现，就是我喜欢用开源的模型的一个原因之一，就是你可以看到他们的思想的那一步。那其实你在看他们的思想的时候，就是你也可以了解更多，你可以。

[6480s - 6600s] 学习很多，但是 Neuralese 这个概念就是，如果 AI 不会用英文思考，如果他们开始用一些只有自己了解的，就是很多很多百万个数字开始思考，那我们了解他们的思想的能力会降低很多。但是会降低多少，这个也不知道。我们一年后会有很多的 parallel agent，还是会有一个 agent。还有一点就是 AI safety 的那些 strategies 会有什么样的变化？其实在这个领域里，我有一个思想，就是我觉得 AI safety 更可能不像一个工程的环节，就是不像一个 engineering problem，其实更像一个 political design 的一个环节。就是如果你在思考，比如现在的一些政府的那个架构是怎么做的，就是有不同的部分，有 checks and balances 的部分，就是每一个部分的一个目标就是限制其他的部分就能犯很大的错误的可能性。还有有很多的不同的人互相说话的一些呃地方，但是也有一些情况，就是有一些人是不应该互相说话或者互相有太多的关心。所以同时有一个 communication，有 separation，有一些部分是更慢的，有一些部分是更快的。就是他们都是想用一些非常聪明的，但是不完美的组成部分，呃，就是人作为一个更关键的一个机器，有可能就是一个安全的 AI 并不会有一个数学家会喜欢的一个证据，就是这个 AI 的目标设置的是对的。就是有可能我们会有三个不同的方法，要去设置我们的目标是什么。那有可能他们三个之间会有一个机制，那他们就是互相限制自己的风险，他们也会知道。

[6600s - 6720s] 什么时候应该再一次问那个用户他到底想要什么？对，所以就是有可能AI的安全会往这个方向走，但是如果它这么走的话，那它也会变成一个非常empirical的一个话题，就是你会需要跟现在存在的AI在合作，就是你会需要了解他们，你会需要跟他们做事情，你会需要知道他们在什么情况下会成功，在什么情况下会犯错误的。AI加Safety就会变成一个不那么theoretical，但是跟我们已经在用AI做事情的有关系的一个领域。但是这个也也只是有可能，有可能最重要的就是最近十年AI的发展的一个有速度还有方向有非常多的surprises。我觉得不能现在过于决定一定会这样子的，一定不会那样子的。Keep an open mind才是最重要的。好，谢谢大家，感谢大家，谢谢，拜拜。聊到这里啊，我们再回头看有效利他主义这个名字，就会发现当初那个朴素的问题其实一直都在，那就是怎么用有限的钱和时间帮助更多的人。我在大学期间呢，也接触到了学校里的EA社群，和Alfa说的一样，我接触到的EA的参与者都是心怀理想、坚持实践的一批人。不过，对于如何将原则落实到现实当中，这些具体的实践手段，甚至什么才是我们必须要关心的议题，我们都产生过很多争执。在AI的社群内部，关于你究竟该做什么，也像嘉宾说的，一直没有一个完整的共识。或许当EA所关心的对象从眼前需要帮助的人延伸到尚未出生的世代，甚至未来可能出现的智能，判断什么是有效，就必定变得越来越困难。那对我们来说啊，理解EA也是为了更具体的理解。

[6720s - 6760s] 今天的AI，谁在决定它的发展方向？谁在定义哪些风险值得关注？当有人以全人类的未来为名做出选择的时候，其他人有没有参与质疑和纠正这些选择的机会呢？这些问题会随着AI的发展越来越直接地影响我们的生活。希望这期和Vitalik还有Afra的对话能给大家一些继续思考和讨论的线索。那么，以上就是我们这期播客的全部内容了。谢谢大家的收听，那我们下次再见啦。