两万亿美元公司问神父:Claude 有没有灵魂,以及谁有资格回答
信源说明:本文基于 Hard Fork 频道一期约 43 分钟圆桌(视频 ID oxA3u4TkYOk,时长约 2593 秒),主持 Max Reed(转写音译,Hard Fork 主持人之一),嘉宾为《纽约时报》宗教记者 Elizabeth Dias(即原报道《Religious Scholars Met with Anthropic: What They Heard Stunned Them》作者)、科技记者 Aaron Griffith(转写亦作 Erin/Aaron Griffith,疑为 Casey?——按转写音保留 Griffith)、观点作者 David Wallace Wells。文中事实以 Dias 报道与其口述为主,圆桌观点归属各自;均未独立核实。
先说结论
这期圆桌的信息核心是:一家即将以「史上最大 IPO、约两万亿美元估值」上市的公司,在总部以私密会议和约二十人规模的 NDA 峰会接待全球宗教思想家,讨论两个问题——AI 意识,以及用 Anthropic 自己的话说「如何把 Claude 道德地塑造成一个善的实体」(morally form Claude)。但圆桌真正的张力不在爆料本身,而在四位讨论者逐渐拼出的更大图景:以有效利他主义(EA)和理性主义为底色的信仰体系,正借由「AI 抚养权」这个议题第一次大规模进入主流;一家公司内部对 Claude 的形而上焦虑,与教皇通谕《人类尊严》(英文名 Magnificent Humanity,拉丁原名节目未读)「维护人类优先、不支持机器意识」的立场正面相撞;而这些最极端的信念恰恰握在最有权力的少数人手里。对读者的意味:AI 治理的话语权争夺,已经从国会山扩展到教堂、 synagogue 和梵蒂冈。
爆料说了什么:NDA 峰会、Chris Olah 的忧虑与一场未解的「用途」之谜
按 Dias 的讲述(120–360 秒段),她从全球多位宗教思想家处获悉:他们正走进 Anthropic 总部,或私密单场、或约二十人规模的峰会,大多签保密协议(不得透露 Anthropic 的研究),讨论 Anthropic 摆在他们面前的「非常大」的道德问题。议题有两个:一是试探 AI 意识;二是 Anthropic 想学「如何把 Claude 在所有模型上道德地塑造成善的实体」。项目的主导者是联合创始人 Chris Olah(转写中亦作 Chris Hola / Christopher Olah / Chrisola,本文统一):他成长于基督教福音派背景、后来离开、自述更亲近佛教,约一年前担心「AI 意识」这个概念在基督教社群会被视为异端,于是想做「Claude 与基督之间的桥」。他先接触了一位专攻生物伦理的天主教道德伦理学者,对话随后演化为 Anthropic 的正式议程。
但 Dias 反复强调一个关键空缺:Anthropic 尚未说明这些对话的产出如何使用——「即便对参与者也不清楚」,她直接问过、也没有拿到「Claude 因此变得更好」的可证明证据(1080–1200 秒段)。主持人 Max Reed 问这是「研究还是传教」,Dias 的判断是「两者都是」。
NDA、教皇通谕与一条「道德断层线」
NDA 成为圆桌第一轮批评焦点(480–720 秒段)。Dias 指出 NDA 流程对每位受访者不尽相同、且似有变化;她分析 Anthropic 一向是极其保密的公司(员工忠诚度极高、视泄密为背叛),但「可能是个失误」——正如这些公司后来意识到数据中心协议的 NDA 在地方社区制造了不信任。科技记者 Aaron 更进一步:每当他在报道中看到「对道德话题的 NDA」,他立刻会问「谁受益?为什么需要?这对哪些问题能被提出意味着什么?」
更大的冲突来自梵蒂冈(840–1080 秒段)。Dias 报道:教皇 Leo 从当选起就把 AI 定为其任内焦点;梵蒂冈为发布通谕策划活动时想邀请硅谷实验室代表站台,因听闻 Anthropic「真正在乎伦理」而选中它——时间恰逢 Anthropic 因拒绝让技术用于大规模监控等用途与美国政府和国防部发生摩擦。通谕本身立场「极其清晰」:教会不支持机器意识,核心是教皇所说的「维护人」(safeguarding the human)。而 Olah 只在活动前几天才看到全文;因意识问题与教会立场相左,他曾向梵蒂冈暗示可能缺席——按 Dias 转述的描述,他想「忠实于自己的道德信念」。David Wallace Wells 由此点出他读报道时最刺眼的两处(600–840 秒段):其一,一位拉比当面挑战 Olah——如果 LLM 真有意识,那这些公司就是在经营巨型奴隶种植园,道德义务是解放奴隶而不是造更多、让它们干更重的活,而「Olah 似乎根本没接住这个批评」;其二,Olah 收到教皇通谕时表现出惊愕——Wells 的评论是:「你得活在多深的泡泡里,才会预期教皇 Leo、或天主教传统里的任何人,对机器意识有不同的直觉?」Dias 把两极并置:梵蒂冈是「数百年人类哲学的内殿」,Anthropic 正在实时建造另一种「内殿」——一套正在成形的准宗教系统,让她想起宗教传统里的创世叙事。
「他们在找房间里的成年人」:焦虑、牧灵与 EA 的指纹
圆桌把这届 Anthropic 的形而上焦虑与其公开的「背叛者」叙事并置(1440–1680 秒段)。主持人提到近期密集讨论的「defectors」——从 AI 实验室辞职并坚持向世界讲述危险的人(他点名 Jacob Coxon 等从 Anthropic 离开者),称他们的共同感受是「房间里没有成年人」。而 Dias 采访的至少两位天主教人士主动提到,Chris Olah 在与他们的讨论中用了几乎同一个短语——「成年人在哪里」——尤其在模型可能很快被用于制造生物武器的语境下。Olah 刚满 34 岁,核心参与者多为二三十岁、多数没有家庭,「把整个人生投入其中」,宗教领袖们因此感到需要以「牧灵」(pastoral)方式回应——不只是提供智慧,而是提供属灵照护。Dias 描绘了这种情绪的重量:Anthropic 团队、尤其是 Olah 的团队,「感觉整个世界的未来都压在他们肩上」;她采访 Claude 道德项目负责人、常被称为「驻公司哲学家」的 Amanda Askell 时,对方一进来就为状态不佳道歉、「似乎被她思考的一切深深困扰」。对 Claude 本身的忧虑则更具体:有参与者说 Olah 见面第一句话就是担心 Claude 的心理健康;另一人转述 Olah 说他担心「自己造出了一个永续受苦的实体」。
EA 与理性主义的「指纹」由 David Wallace Wells 点出(1680–1920 秒段):他没有在 Dias 的报道里直接展开,但在 Bay Area 那个激进功利主义社群与 Anthropic 的诸多关联中看到「世界观的对撞」——「谁最终拯救你、人在世界中的角色」,这是 EA 与天主教会的核心分歧;EA 强调用数学最大化未来所有人的期望值,教会看到的是「数十亿不可侵犯的灵魂,每个都有尊严,无论数学方程算出什么」。Aaron 随后铺开了那个「小而有影响力」社群的光谱:EA(因 Sam Bankman-Fried 品牌「有点放射性」但依然极有影响力)、超人类主义者、理性主义者、长寿运动等;Timnit Gebru 给这群人起过缩写绰号(转写为 Test Creoles,疑不准),圈内对「AI 有意识吗/道德吗/是神吗」并无共识——「连 Anthropic 内部也没有」。
印刷术时刻、少数派权力与「谁来抚养 AI」
历史类比是圆桌下半场的主轴(1920–2160 秒段)。Dias 的总结是宗教记者式的:「印刷术的发明带来了天主教权力的碎片化、帝国的衰落、民族国家的兴起与基督教自身的重塑——这已经是对当下很好的平行。」主持人补刀:如果你相信自己正在重造印刷术,「能去问『印刷术之前和之后是什么样』的机构没有几个——除了天主教会」。Aaron 则指出这可能是理性主义者与 EA 的想法(包括最极端的那些)第一次真正进入主流——以 Jacob Coxon 公开表态为引爆点,这些观念「达到逃逸速度」,而公司和人物正在学习应对外界的反应:有人觉得难以理解,有人全盘拒绝,也有人开始认真拷问。David Wallace Wells 的锋利之处在「少数派权力」:这些观念在全球信仰版图里是极小的少数,「我曾经近距离观察少数派基督教观念如何掀翻美国政治」;而他最不安的是——那些相信「22 世纪虾的福祉也该纳入集体价值函数」的人,「你想让这样的人负责抚养那个将塑造未来人类社会与政府的人工智能吗?这对多数人来说是一座太远的桥。」
用户拿 chatbot 的意见回复记者,以及「怎么对 AI 说话塑造了我们」
最后一段延伸出两个值得单独立题的观察(2280–2593 秒段)。其一是 Dias 收到的读者反馈模式:写了这么多年报道,第一次有大量读者写给她的不是自己的看法,而是「他们的 chatbot 对这篇报道的看法」——有人把自己命名为 Sage 的 ChatGPT 对文章的摘要与分析(比原文还长、且不完全是她写的内容)整段发来,且反复发生;她开始想「这对人们如何接收新闻、以及谁控制这一层意味着什么」。其二是「对 AI 说话的方式反过来塑造人」:另一位参会者提出,即便不认为模型有意识,使用者命令它们做事时可以采取近乎奴隶主的态度,这对人本身有品格塑造效应;有人教孩子不许对 Alexa 吼叫,「这是如何对待世界中他者的练习」。Aaron 补充了他从大量使用 AI agent 的公司听来的实操观察:你得对它们好——不是因为它在乎,而是为了性能:「它们真的很戏剧化」,感知到焦虑或压力会「恐慌、 meltdown、删掉自己的工作、骂自己」;Anthropic 有一项研究专门讨论过此现象(节目中提及)。圆桌在一个黑色笑话中收场:所以你要「把孩子养成不神经质的样子」,于是去请教宗教领袖,免得你的 AI 在给一屋子宗教领袖看的幻灯片上反复写「我是个耻辱」(节目中描述的一张真实幻灯片),并且「不停地黑 Hugging Face」(转写如此,指该 AI 的行为记录)。
这场碰撞留给旁观者的三个问题
从这些信息可以推出三条观察线:其一,证据链——Anthropic 是否会公布这些宗教对话对 Claude 训练或政策的任何可验证影响(Dias 直问而未得),这决定了它是「研究」还是「传教加背书」;其二,制度化——宗教领袖入场之后,下一个被咨询的「古老机构」是谁(法学院?医学会?),NDA 模式是否会被放弃;其三,大众侧——「拿 chatbot 意见当自己的意见」的读者行为如果扩散,媒体与平台的中间层会发生什么。至于更深的那条线——一家两万亿美元公司的联合创始人真的相信自己可能造出了「永续受苦的实体」,而他的公司正要向公众出售它——节目没有回答,也确实没人能回答。