先说结论
本期《十字路口》嘉宾李磊有一个双重身份:一边是小米大模型团队的后训练研究员,也是把 MiMo V2.6 Pro 与 Flash 两款模型后训练全过程搬到直播间的幕后推动者;另一边是香港大学 NLP 组四年级在读博士生。主持人 Koji(转写通篇误作「科技」)借着这个身份,把「AI 时代要怎么读好一个 PhD」拆成了从选题、发论文、选导师到要不要读的十来个关键问题。快问快答里的他 28 岁、ENTJ、巨蟹座,2016 年入西安电子科技大学读本科,2020 年到北大计算语言学研究所读硕士,2023 年进入港大 NLP 组;主持人还介绍他是腾讯首届青云奖 15 位获奖者之一(奖项名照转写原文)、合作工作拿过 EMNLP 顶会最佳论文奖(李磊后来补充细节:那是他入学两个月、2023 年 11 月参加的第一个会议,中的 best paper 出自师弟之手,他自称「巅峰开局」)。
他的答案可以压成三层。第一,在论文被 AI 大水漫灌、审稿系统濒临过载的当下,论文正在从「硬通货」贬值成「nice to have」,可验证的真实产出——维护良好的开源、真实下载量、讲得清楚的研究博客——成为新的筛选信号;但任何单一信号都会被 reward hacking,所以筛选最终要看难以伪造的部分。第二,选题上「难而正确」是反内卷的解法:重要且困难的问题上,一点点进展就会被认为 significant,竞争者天然稀少。第三,PhD 的价值不在门票——「不是因为有 PhD 学位才能去大厂,而是做得牛才能去」——而在一段相对无压的完整时间去回答自己的好奇心,「人活八十岁,读 PhD 五年,好像也不是很那什么」。收尾建议则朴素得近乎反差:「Paper 迟早是会中的,饭还是得吃,觉还是得睡。」
难而正确:锯齿状智能的缝隙里藏着选题方法
先复原读博决策。李磊的标准是「十年后悔测试」:如果十年以后躺在床上,可能还是会后悔没去读这个 PhD,那就去读(0:00–2:00)。他承认机会成本很大——工业界待遇与学术界之间的 gap 摆在那里——但「钱的事情可以以后再说」,这段时间能去做自己想做的事。这套判断在 2026 年显得尤其昂贵,也更值得记录:他是在 AI 行业极速膨胀、应届 package 屡创新高的年份里,主动选择继续读博的。
他的「打法」由两部分组成(2:00–4:00):技巧上是快速迭代、保持 intense 的工作节奏、及时从社区、peers 和更 senior 的老师同学那里获取反馈;心态上是选「难而正确」的问题。难与正确各有所指(4:00–6:00):difficulty 保证竞争者少——不够难的问题在这个时代「一定会非常多的 competitors」,很容易被 beat 掉;importance 保证回报放大——重要的问题哪怕只 make a little bit of progress,也可能获得非常大的影响力,而且「大家对你的要求会没有那么的苛责,因为大家都知道很难」。很多人面对难题第一步就退了,只要找到一个好的切面、solid 地提供一部分解释或实验分析,对后来者就是重要的 milestone。李磊强调这套打法不一定适合所有人,但他观测下来「可以减轻很大程度的焦虑」——而焦虑正是当下 PhD 的底色:publication 压力、顶会系统在 AI 冲击下「有一些难以为继」、新模型出来后「整一个 domain 都被颠覆了」的恐惧,以及学术到工业的转换。
「锯齿状的智能」是他给这些焦虑开出的定心丸(6:00–8:00)。乍看之下,新一代模型(转写记作 Astro/Astra,具体所指未能确认)强得颠覆领域——他举例说这个模型出来之后,「很多做计算的会觉得自己的整一个 domain 都被颠覆了」(转写「斗门」疑为 domain);但仔细看全是毛刺:有的地方非常厉害,有的东西完全没有。他的建议是坐到电脑前 coding、设计 harness、把东西跑出来、看数据,而不是被社交媒体上的 hype 压成「一下就震惊瘫坐」的心理状态。他自己团队正在做的正是这类深挖(具身方向,转写误作「巨深」):这个能力从哪里来、从哪里泛化——知道来源才能更好地提升;他猜测 OpenAI 一直在采购具身相关数据(他声明自己不是该领域专家),而仿真环境与真机之间的泛化 gap,都是值得研究的问题。换言之,真正的研究机会恰恰藏在锯齿的缝隙里。
他自己为选题交过学费(30:00–32:00):早期一个 idea 没把预实验做好、没想明白就动手,结果调了半年多算法,最后发现假设本身就是错的。现在的流程是先抽出一个 minimal hypothesis,用 toy experiment 端到端快速验证;选方向时密集读论文、与敬仰的研究者讨论——「前面花的时间越多,后面越划算」;进入执行则要快,想办法最大化 GPU 利用率和数据处理速度,用 AI 帮助并行加速。快与慢是相对的:选择慢,执行快。
至于 PhD 的成长阶段,李磊把它分三段(16:00–22:00)。第一阶段是能独立做好一篇有影响力的 paper:基本功包括用 NumPy、Matlab 从零实现 SVM 这类基础算法——他上的吴恩达 Coursera 课程(转写误作「吴文达」)——因为 overfit、泛化这些经典概念至今仍在整个系统里运转,连 VLM 用的 PagedAttention 都是操作系统概念的迁移;写作、实验设计与 hypothesis 论证之外,还有容易被忽略的第三块——maximize impact,做好配套的开源、博客与分享。第二阶段是 leadership:把 pipeline 交给更 junior 的同学,身份从 generator 变成 critic;junior 类型不同,self-motivated 的点拨一下整条链路就跑通,有的则需要更 intense 的 supervision——他把这个意识归功于北大孙旭老师(人名照转写原文)早年的提醒。第三阶段才是学术到工业界的转换,「这个我也在学习」。
当论文不再是硬通货:被 DDoS 的审稿系统与小米的招聘筛选
论文系统正在被两端同时挤压。审稿端(8:00–10:00):李磊以自己当审稿人、Area Chair 的观察说,人均审稿量从原来的两三篇涨到十篇左右,而大家都是 DDL 战士,压缩时间下做出的判断「随机性就会变大」,这是最直接的冲击;NeurIPS 已经扩到三个会场。社区的对策包括限制投稿数量、推动更有经验的审稿人承担更大责任、引入 AI 辅助审稿,AAAI(转写误作「Triple AI」)则要求录用决定必须由两位 senior SPC 讨论做出。他提醒大家不要把 accept or not 作为最终的 reward,「有人的地方一定会有随机性」。
投稿端的 hack 路径更极端(10:00–12:00)。主持人提出一条听起来可行的路:用 SOTA 模型生成一百篇论文投出去,拼录用概率。李磊的回应很直接:这样做不好,它本质上是对整个系统的 DDoS 攻击——paper 的本意是 knowledge sharing,是「我做了一个很有意思的研究,希望有个地方分享给大家」;一百篇机器论文背后的人,真的把问题弄清楚了吗?有没有严密的论证、理论或实验去 justify 提出的 hypothesis?他反过来设了一个正面的边界情形:如果人加 AI 的组合能提出一百个有价值的问题、并在 AI 帮助下给出很 solid 的答案,那投不投稿都无所谓——他举 OpenAI 放出几百个数学证明为例,有些 work、有些是错的,需要耗费大量 human effort 去验证,但这件事本身有意义。
招聘端的信号迁移最能说明论文的贬值(10:00–14:00)。李磊说小米筛选候选人时,paper 已经是「nice to have」:原先是非常好的金标准,现在大家都有,没有也变得没那么重要——主持人追问为什么「九十九个人有你没有」反而不重要,李磊说这反而意味着候选人知道游戏可能已经坏了、就不玩这个游戏,「我们还蛮喜欢这样的画像的」。开源项目是加分项,但同样存在 hacking 机制——有人用 AI 提 PR 被合入就自称 contributor。所以他的个人筛选指标是:有 publication 的话,看代码有没有真开源、数据有没有开源、开源之后 issues 有没有人维护;更硬的信号是真实世界的影响力,比如 Hugging Face 下载量——「你说你是 SOTA,但上个月的下载量可能只有数十次,可能你解决的不是那么重要的问题」。HF 下载量当然也可以刷,但刷的代价大:要真的下载、真的占硬盘。
同一条逻辑也解释了 2026 年保研季的「学生慢研究倡议」(28:00–30:00)。这份由一百多位中外老师、研究员共同发起的倡议主张本科生不必急着发 paper,在网上引发不小争议。李磊看过倡议原文后的解读是:老师们承诺不把 paper 作为筛选的唯一标准——这与他「大家都有就不重要」的观察正好互为因果——倡议反对的是挂名和 sloppy 的论文(转写一处误作「slappy」),而不是反对做科研;学生仍要投入时间打牢基础、把做了什么、为什么做、怎么做讲清楚。「快和慢是相对的」:心态放松、做重要的事、节奏可以慢一点,但要有逐步的推进。
把这条链条完整写出来:生成式 AI 把论文的边际生产成本压到接近零 → 投稿量暴涨、审稿资源被摊薄 → 录用结果的随机性上升、论文作为质量信号的信噪比下降 → 招聘端转向可验证的真实产出(开源维护、下载量、博客)→ 而任何单一信号一旦成为标准就会被 reward hacking → 最终筛选成本落在「验真」上,看的是难以伪造的综合证据。对在读研究者的启发:把作品集经营成可验证的真实影响力,比堆论文数量更抗通胀;对用人方与申请季学生:读 paper 的时代正在过去,验真的时代正在到来。
Attention is all you need:分发、自媒体与冷启动的冒泡排序
李磊的小红书有两万四千粉丝,他开玩笑说这个数字值得跟论文引用数放在一起看——这就是他口中的「大粉理论」(转写又作「大分理论」,嘉宾自造词照录):PhD 的社交媒体粉丝量、点赞量要超过自己的 citation(12:00–14:00)。玩笑背后是一个严肃的机制判断:这是「attention is all you need」的显化。早年 ACL 年会录用论文只有几百篇,他可以按关键词、按老师把想看的都读完;现在一个会议四五千篇,不可能读得过来,分发权转移到了论文推荐系统和社交媒体的推荐系统——你能在系统中占据更大的权重,声量就会被放大,工作就能被更多人看到,工作的价值也就被更好地 amplify。
运营方法论他给了三条(14:00–16:00)。第一是利他:发有争议性的观点容易爆,但大家只点赞不评论,不会觉得这个东西跟你这个人相关;只有持续产出对别人有帮助的内容,影响力才是副产物。第二是坚持:他早期发论文笔记,粉丝增长很少,直到某天发了「引用跟粉丝的关系」那条,突然爆了一个台阶——把它坚持成 daily 的事情,想到什么发什么,页面会呈现出你最真实的状态,吸引到想吸引的人。第三是做自己:赛道很卷,模仿一个人会很累,因为你不知道他背后的 motivation;粉丝数量不是最重要的,找到一帮同频、能交流的人已经完成了目的。他点赞最高的笔记是拿奖、青云奖学金、citation 破一万那几条;学术类流量最好的是对 on-policy distillation 这类新范式的早鸟解读——他们团队是比较早采纳这个新范式的组,看到之后觉得非常 promising 就写了 notes。他也持续解读戴启锋老师等新实验室的动态(人名、机构名为转写原文,未能确认),其中一些 RSI 工作用的正是小米的基模。
冷启动的方法论(20:00–24:00)与此同构。他大三国给后来的硕士导师发了约十封 cold email,只收到一封回复——孙老师愿意给机会让他进组实习,由此叩开大门、发出顶会、顺利保研。但如今这条路变难了:稍微有名一点的教授,邮箱里全是 AI 写的或申请的邮件;工业界 HC 在算力现实下也很稀缺。他的建议是把冷启动的筹码换成低算力也能做出的 output:一个 GitHub 项目、一个做得很好的 harness、一个有意思的应用——发挥创造力就能做出产品化的东西;偏研究的岗位,则在「大家都在用 AI sloppy 写作」的时候,把 fundamental 的东西理顺,写好 research blog、配上 justify 改进的小实验。他举苏剑林为例:早期博客全是推导、没有大算力,不影响做出 RoPE(转写作「Rope」),到现在大家都在用,如今他是 Kimi(转写误作「Kimmy」)的研究员。李磊自己的第一个实习是金山 office——对方看了他的博客主动找上来,他因为想做机器学习而没去。这个路径有学理支撑:《巴拉巴西成功定律》用网络科学和大数据研究过诺奖得主什么时候发出那篇诺奖论文,结论是「没有规律,必须一直发」——得主们自己都无法预测哪篇是代表作;名画的流通网络里,城市市政博物馆名气不大,但一旦进入,被大都会级别的名馆借走的概率就大增——关键节点可达性高,冒泡排序式地持续产出,就能进入 critical path。「一直努力,聪明地 build」——这也呼应十字路口常说的那句话:只要一直 build 就有好事发生。拿到「大结果」的 PhD,他举 Berkeley 出身的 Eric Wallace:idea 都很简单,赢在 position 和 timing——在最好的时机把问题 propose 出来、定义好;这位做大模型安全的博士毕业后去了 OpenAI,前段时间 Hugging Face 被「Swarm 攻陷」的事件(嘉宾所述事件,照录)中,他就是出来做公开复盘的内部研究员。
这条链条写完整是:论文数量爆炸 → 旧的策展机制(通读录用列表)失效 → 分发权转移到推荐系统与社交媒体 → 有声量的研究者获得复利型可见性 → 自媒体成为 PhD 的必修技能(反馈快,还能吸引同 research taste 的伙伴)→ 冷启动成本从算力转移到持续输出。启发:影响力经营是研究工作本身的一部分,而且是对无算力者最公平的一部分。
选导师重于选学校:双向匹配、地域权衡与「还要不要读」
选校与选导师(24:00–28:00):李磊认为学校的优先级「远远低于」选老师。PhD 这件事很像古时候的师徒制——国内更像上级和下级,其他地方更像 collaborator。学校层面,top 30 跟 top 50 可能没有本质区别,四大名校跟 top 30 的差距主要体现为「听到 famous university name,你的估值就能涨一涨」;而组与组之间的方差其实更大。所以他的考察方法很具体:看一个组 alumni 的成果与精神状态,私下问已毕业和在读的 PhD——「有比较痛苦但成功的 PhD,著作等身但非常痛苦」。他给自家组打广告的同时点名港大 NLP(转写误作「HKO NLP」)和北大计算语言学研究所是氛围轻松愉快的地方。选导师比选校更难:Google Scholar、CSRankings、公开演讲都是公开信息,而风格是否 match 这种 private 信息要实际合作半年甚至更久才能发现——「它是一个双向匹配」。他自己的路径是在上海 AI Lab 实习期间与 co-supervisor 孔令鹏老师合作了约半年确认 match;他的建议是还有时间的话直接去做 RA,既能在读与毕业的 PhD 里打听情况,也能快速判断组的风格。
地域的权衡(30:00–34:00):内地读的优势是能更快去到工业界;坏处是传统师徒制,叠加高校考核压力带来的横向项目压力,有些老师的动作会变形,对学生成长不利,需要谨慎筛选——他也见过能把横纵向压力平衡好的组。香港与内地融合密切,区位优势吸引到的老师 profile「更有活力」,但生活压力大。美国他不直接了解,朋友反馈签证痛苦、CPT 让实习难度变大;好处是离硅谷和美国学术圈更近。什么样的画像适合去美国?他半开玩笑:「首先你可能不能特别喜欢吃东西」——每次美国同学回来都要大吃特吃一番;重要的是文化偏好。内地和香港则看你能否在有一定压力的情况下 balance 好很多事情。
那 AI 时代到底还要不要读 PhD(34:00–38:00)?李磊把问题拆成「你对 PhD 的期望是什么」。如果期望是用它进大公司,那没有必要——本科生也能进,他举 Jason Wei 和认识的 OG 研究员为例,甚至有高中生;「不是因为有 PhD 学位才能去,而是做得牛才能去,牛不牛不是 degree 决定的」。但如果你希望有一段比较完整、相对无压的时间,脱产去研究自己好奇的问题——「你不去做,可能别人是不会帮你做的」——那这段旅程很有价值,还能顺带补知识、学 impact 最大化的技能。节目中段的一组背景同样值得记录:现在 PhD 聚在一起聊得最多的话题是 package;AI 与非 AI 专业已经是「两个 totally 不一样的世界」,所谓 K 型分化。但李磊反过来认为 AI 是「非常平权的东西」:过去学东西要上 Coursera、上 Stanford 的课,现在 ChatGPT、DeepSeek、MiMo 的知识储备量非常高,用好它就能在自己 domain 里改变工作范式;未来不是 AI 替代人类、也不是做 AI 的人拿走蛋糕,而是能用好工具的人胜出——「能够烧火的智人,可能就干掉了别的人种」,鸿沟里有很多梯子。教授创业潮是同一权衡的另一面(34:00–36:00):融资环境和科技导向的创业把最前沿的研究者推到前台,公司实体能快速聚齐买卡、招工程师、买数据的资源,对做更大 project 是杠杆加速;但拿了钱,钱就有要求,压力会层层传导到学生头上,变成学术以外的 dirty work——「硬币的两面,不同阶段做好 trade-off」。
这条链条是:算力与资本向公司集中(学界缺卡、教授创业)→ 研究资源与前沿课题向工业界迁移 → PhD 的凭证价值下降、期权价值凸显 → 读与不读取决于期望函数(门票还是好奇心)→ 对在读者,导师与组的质量方差成为比学校排名更大的风险与回报变量。启发:用「十年后悔测试」和自己的期望函数做决策,而不是用学历溢价;选组先于选校,验真先于排名。
训练一线的切片:RL 直播、数据金矿与 RSI 的 taste 缺口
把 2026 年的 aha moment 问题抛给李磊,他给了两个(38:00–40:00):一是 agent 范式被推到前台——不像 R1(转写作「R one」)那种单点 aha,但对整个社会形态的冲击更大;他自己的研究轨迹从句子情感分类、机器翻译、写作文一路走到今天,「agent 装备了工具之后能自动化帮你做非常多的事情」,接下来会从数字世界走到物理世界。第二个 aha 就是他们自己的直播:大规模 RL(转写一处误作「R O」)能够带来非常全面的能力提升。
后训练直播的动机(40:00–42:00):李磊说行业里有一些 rumor 和讨论,对中国大模型的形象非常不利,团队希望用直播做正向引导。为什么别人不做 RL?「可能确实有一定的难度,infra、数据的要求都很高」;直播要证明的是这件事可以做、而且效果很好——以一种非常 decent、透明的方式,把该开源的配套开源,同时吸收反馈、改进做的不好的地方。反馈两端分化(42:00–44:00):国内观众最受刺激的是直播页面上实时跳动的花费金额——「人民币在燃烧」;国外观众则对透明程度表示震惊,有推特评论称之为「首次工业级的直播」——几乎完整的 tensorboard 展示出来,里面的训练 dynamics 对研究者「类似于一种金矿」。
数据行业的估值是第二个一线观察(42:00–46:00)。主持人问:国内出现一批估值非常高的数据公司(转写记作 Unipad、Humana,名称未能确认),这门生意能持续多久?李磊的框架:整一个大模型一层层往下推,就是算力、数据、人才,三个东西没有一个便宜;「好的数据、solid 的算法、好的 infra 就能带来好的效果」,而数据来自产生人类智能的源头——过去做题类数据可以比较快地获取,现在专家数据的生产复杂度和质量要求都「上升了很多个量级」,能做好的人理应占据市场蛋糕,「考虑到未来 AI 行业要占 GDP 的多少,你作为燃料应该占据多少」,这个估值在他看来并非过分。可持续性是动态的(44:00–46:00):模型能力的边界是锯齿状的,数据公司要找到缝隙、组织好规模化的产线、设计好激励体系、批量交付;模型公司自己也能做,但会分散精力、浪费算力——「时间是不可逆的资源」,所以外购需求持续存在。反过来,如果数据公司无法持续产出相对前沿的高质量燃料,随着模型自己产生数据的能力上升、成本下降到极低,这门生意就做不下去。什么能力能撑起持续的 pipeline?他强调「高质量始终相对于特定的模型而言」——太难的数据、模型太差就学不会;定义数据难度、掌握可及的模型能力,这里有 know-how;数据价值要在两端取舍:做出酷炫 demo 的 PR 价值,与模型真正学会能力后的经济价值;还要会 source 专家、建规模化产线。
RSI(46:00–48:00):李磊说在训练一线看到的信号「越来越强烈」。宽泛定义是模型帮助改进自己——模型产数据也算;更 specific 的定义是模型自己训练自己,在 post-train、machine learning 类 benchmark 上找到更好的参数和算法。他判断这部分进展会「非常非常迅速」,因为问题 well defined,模型非常擅长搜索,可以通过 scale compute 找到好路径——他提到某个用语言模型训练的项目 PPL 持续下降(转写记作「capacity」,所指未能确认)。但有一个能力目前没有被很好地挖掘:taste——定义什么问题是重要的、下一个阶段该解决什么。只有具备这个能力,研究员才能放心地把端到端的事情交给模型;现在的状态是研究员知道往哪个方向改,模型帮助产出数据、训练,而更前面的那个决策环节还没有看到好的提升。今天的 RSI benchmark 里哪个最有影响力?他说没有看到特别 exciting 的——还处于百花齐放、没有共识的早期阶段。
做 benchmark 的方法论(48:00–50:00)来自他自己参与做过 Video-MME 的经验,三条标准:第一,measure 一个新的、重要的能力维度——当时大家还在做六秒钟的视频理解,他们把时长拉到一个多小时;随着 agent 能力变强,看懂一部电影、做长时视频分析就是新的 dimension。第二,数据本身的质量必须来自真实 use case,而不是 artificial 的构造——模型对人工测试有很强的 awareness,知道你在测它,行为会异常,与真实用户体验有很大 gap。第三是 impact:做好易用性,一键启动、一键测评、与主流测评套件适配——「现在很多测评是对不起测评的,报的分数我复现不出来」;生态整合帮别人省时间,别人更可能 adopt 你的东西。
结尾是两个时代注脚(48:00–51:45,至节目结束)。主持人引用一组数据:今年 MIT 大一新生选机械工程成了最热门专业,全美四年制本科 CS 入学人数同比下降 8.4%(节目引用,未独立核实)。李磊用「一代版本一代神」回应:初级 coding 的需求确实会被 AI 吃掉一部分,但大家会辅修一两门 CS 课,把「AI 辅助下的 coding」当成必修课。平行世界里若有个高三、成绩很好的亲弟弟,他不会建议具体专业:「行行出状元,不需要成为你这一行的 top 1%,太累了;始终和自己比,维持在前 20%、30% 的水位,每天有自己的进步,每一行都会有杰出的人才涌现。」而给屏幕前焦虑的学生和 PhD 们的祝福,朴素得不像一位一线研究员:「Paper 迟早是会中的,饭还是得吃,觉还是得睡——吃好、喝好、睡好,然后再写 paper。」
这条收束链条值得单独写出来:模型能力沿锯齿状边界扩张 → 定义清晰的任务(参数搜索、数据生产、长视频理解这类新 benchmark 维度)被快速吃掉 → 价值沿能力链上移到两件事——定义问题的 taste,与验证真实性的判别力(审稿、复现、验真)→ 对个人,稀缺的不再是发 paper 的生产力,而是选题与鉴别;对组织,数据与评测的护城河在于相对模型前沿的 know-how 和难以伪造的交付体系。这或许也是这期节目最普适的答案:在 AI 时代,无论读不读 PhD,值得经营的资产都是「难而正确的问题 + 可被验证的真实输出」。
ASR 转写校正表
以下校正依据上下文与十字路口系列既有文章口径确认,并已应用于文末附录《转写原文(修正版)》:
| 转写原文 | 修正为 | 依据 |
|---|---|---|
| 科技(主持人自称/称呼两处) | Koji | 十字路口系列既有文章(Treg 篇等)确认主持人名为 Koji |
| 重稿 | 录用 | 上下文(审稿与投稿语境) |
| 巨深 | 具身 | 上下文(仿真/真机/采购数据) |
| Triple AI | AAAI | 「两位 senior SPC 讨论做决定」制度归属 |
| R one | R1 | 上下文(aha moment 对比) |
| 大规模的R O | 大规模的RL | 上下文(后训练/直播语境) |
| Rope | RoPE | 苏剑林工作语境 |
| Kimmy | Kimi | 月之暗面研究员 |
| 吴文达 | 吴恩达 | Coursera 课程创始人 |
| HKO NLP | HKU NLP | 香港大学 NLP 组 |
| 读UPH T五年 | 读PhD五年 | 上下文 |
| P C D 的话题 | PhD 的话题 | 上下文 |
| 巨石状 | 锯齿状 | 与前文「锯齿状的智能」呼应 |
| page attention | PagedAttention | 显存分页机制(操作系统概念) |
| Harnes | harness | 上下文 |
| slappy | sloppy | 上下文(劣质论文) |
| Mimo | MiMo | 小米大模型品牌写法 |
| Video MME | Video-MME | 视频理解基准名称 |
| on policy distillation | on-policy distillation | 术语写法 |
以下为疑似转写错误但无法确认,附录保留原文,正文已用「转写记作……」标注:Astro/Astra(嘉宾反复提到的新模型,两处拼写不一致,所指未能确认);斗门(疑为 domain);Unipad、Humana(数据公司名疑误);戴启锋、自然意志(人名/机构名未能确认);capacity(疑为某项目/系统名);搏击理论、大粉理论/大分理论(嘉宾自造词照录);孙旭(人名照转写);青云奖(奖项名照转写);Swarm 攻陷 Hugging Face(嘉宾所述事件照录);「做这个 L」(疑为「做这个 RL」);master to do(疑为 must do)。
转写原文(修正版)
以下为本期节目完整转写原文,已按上方校正表确认项修正,未确认处保留转写原样;[起-止] 时间戳对应原音频位置。
[0s - 120s] 嗨,我是Koji。那本周十字路口的嘉宾是小米大模型的后训练研究员李磊啊。李磊呢,还有一个身份是香港大学的在读博士生。那同时是腾讯十五位啊首届青云奖的获奖者之一,同时他的paper也拿过EMNLP的个顶会的最佳论文奖啊。你好,李磊,欢迎来到十字路口。Hello,Koji。呃,非常高兴今天有机会能够做客十字路口。那我们还是从快问快答开始,帮助大家了解你啊。请问你的年龄?二十八岁。你的MBTI和星座?ENTJ,然后是巨蟹座。求学经历可以介绍一下吗?我应该是呃一六年在西安电子科技大学读的本科,然后呢二零年到北大计算语言学研究所去读的这个硕士,然后二三年到这个香港大学这个NLP Group读PhD。OK。最近小米大模型做了一件很有意思的事情啊,就你们把后训练直播,就MiMo V二点六的Pro Flash这两款模型的后训练直播直接搬到了网上,然后我感觉这个国内外还是有非常多的关注和讨论的。那李磊就是这个事情幕后的推动者。我觉得很有意思的是,一边你在参与一个飞速发展的AI行业,另一边呢,同时还是在读的博士四年级的学生。所以今天请到你是想聊一个就十字路口应该很多的用户关注者都很感兴趣的话题啊,因为大家多多少少都是呃在做学术,在做研究,或者在AI公司啊。那我们讨论的这个话题是什么呢?就在AI时代要怎么读好PhD才能拿到一个不错的结果?相信会有很多人喜欢听十字路口,就是跟我这样的一个画像,对,因为我自己这样是十字路口忠实的一个听众嘛,对。然后说到这个重要的这个里程碑的话,我觉得首先就是呃读PhD这个决定纠结了有一段时间,最后呃呃纠结来纠结去,就是我给自己的一个答案呢,就是说如果我十年以后,对吧?呃,躺在床上可能还是会后悔没有去读这个PhD,对。所以说我最后觉得,那既然这样子,那就还是去读吧。我觉得这一步就是还是蛮重要的,就是现在尤其。
[120s - 240s] 现在就是说,大家会有很多的这个考量,你的机会成本会很大,对吧?尤其是整一个这个工业界它的这个待遇和你现在学术界面临的这样的一些这个 gap。但是我觉得钱的这个事情就是说可以以后再说,但是这段时间可能你能够很好的去做一些你想要做的事情。这个东西在那个某 moment,我觉得如果我现在不去读这个 PhD,我可能回过头来我还是想要去有一段这样的一个经历。对,所以这个是我觉得一个很重要的一个关键点。对对对。然后的 milestone 就是说起来也挺这个 drama 的,我觉得就是我在那个北大的最后一段时间,就是跟一些师弟合作嘛,然后我们刚才提到那个 best paper 也是在那个时候做出来的。然后那个正好就是我入学之后两个月,也就是说我参加的第一个会议,然后我就自己也有篇工作,然后师弟的那个 paper 也中了这个 best paper。我觉得这个一下子就是当时我其实对于读一个这个 PhD 到底能不能很顺利的这个完成它的这个考核也好,或者说一些标准也好,其实当时还是有一些退堂鼓的。虽然说已经经过了这个硕士的一些科研的训练,但是那个就是应该是二三年十一月份刚好入学两个月,当时就觉得这个什么呃属于是一个这个巅峰开局,害怕说这个会不会是这个出道就是巅峰。这么巅峰开局之后呢,就是后来这个路会一直很顺利吗?我觉得整体来说还是就可能验证了说我之前的有一套这个打法,然后它是怎么样去做这样的一个呃事情。所以这套读 PhD 的打法是什么打法?我总结来说就是一个是快速的迭代,包括就是说自己要有这个呃比较这个 intense 的一个工作的节奏,然后以及说你要能够及时的去参与到这个社区也好, peers 也好,或者说你认为更 senior 的这个老师同学也好去获取 feedback。第二个的话就是说技巧上,另外一个就是说我觉得是心态上,你在选择的时候要就要选择去做一些难而正确的一些问题,否则的话你的这个呃很多的事情它如果不够难。
[240s - 360s] 那么一定会有非常多的 competitors 在现在的这个时代里面,它会很容易被被 beat 掉。然后另外就是说,正确的事情就意味着说,正确有两个方面嘛。我觉得一个是说,呃,是大家都非常关注的一个问题。那大概率就是说,它可能是目前大家会认为比较重要的问题,就是它的 importance。呃,一个是 difficulty,一个是 importance。那你当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个这个影响力。本来我是想说,这个难而正确意味着做起来会很慢,然后同时呢要拿到正反馈。呃,所以这个听起来冲突,但好像你已经回答了这个问题。对,一个难并且重要的事情,哪怕一点点进步,其实大家也会认为是非常 significant 的。对对,反倒是大家对于你的那些要求会没有那么的苛责。嗯,对,因为大家都知道很难。就很多人面对一个很困难的问题,他第一步就想这太难了,我根本不知道怎么解决,他们会没有头绪去解决这样的一个问题。那只要你能够找到一个好的切面,对吧?然后比较 solid 的去把这个事情提供一部分的这样的解释也好,或者说啊实验理论的分析也好,那其实它对于后续想要去研究这个问题的人来说,它就是一个非常重要的一个啊 milestone 了。所以你觉得就是这一套 PhD 打法是适合所有人吗?我觉得也不一定是适合所有人,但是我目前观测下来就是说,它可以减轻很大程度上的一个焦虑。 PhD 们都在焦虑什么呀?呃,我觉得 PhD 现在就是焦虑如何呃,一个是 publication,然后但是又面临一个非常 drama 的一个问题,就是整一个的这个顶会的 system 现在在 AI 的这个冲击下面,它其实可能有一些难以为继的一个状态。嗯,这个是一个。然后再一个就是说,首先要满足毕业要求,对吧?啊,第二个就是说我发了那么多 paper 之后还有没有用?比如说像 Astra 出来之后,很多做计算的就会觉得这一下子好像我的整一个斗门都被颠覆了。这个也是呃大家经常感受到焦虑的一个来源。嗯,然后最后啊就是说呃我能不能在 publication 啊呃做的东西有意义之后,能不能就是完成这个 PhD 到这个
[360s - 480s] 一个呃工作的这样的一个转换,所以在这些焦虑面前,你有一些什么样的应对建议吗?大家如果还要去在这个呃游戏里面去玩的话,说心态上还是要放松。虽然说竞争很剧烈,但是 community 也在想一些办法,怎么样去帮助去稳固这样的审稿的一个系统。然后再一个就是说,大家要相信整一个这套它已经 run 了很久了,它其实还是有一些内在的一些生命力在的,就是它能够保证说一个好的工作会被录用的。第二个就是说,那个做的东西有没有意义这个事儿,我觉得就是说,你乍一看就是 Astro 很牛,但是你再仔细看,你会发现它其实有很多的毛刺。这个我觉得就是大家要对这个大模型它是一个锯齿状的这样的一个智能有一定的了解,就是说它在你有一些地方你看着非常非常厉害,但是其实它有一些东西是完全没有的。那这个东西我觉得就是很考验大家,就是说你真的坐在电脑面前,对吧?去 coding 啊,去设计 harness 啊,去把这个东西跑出来,去看看你的数据,去看看整个模型的表现,它能够是到底是怎么样的,而不是说被 social media 上面的一些 hype 压缩,这个一下就震惊瘫坐了这样的一个心理状态。它并不是完全没有意义,而是说你能看到的东西,就是可能会是容易被放大的东西,但有非常非常多看不到的地方,还值得我们去去思考和去研究。比如举个具体的例子呢,最近你看到的这个还值得去思考探索的这个模型,尤其 Astro 这样的所有模型的一些毛刺儿,我们其实也在做一些类似于这样的具身的一些实验。比如说,我觉得一个值得研究一个问题就是说,这个能力是从哪里来的?然后这里的话,就是你可以 trace back 到很多的这个 model 也好啊,它到底是从哪里泛化过来的?因为你知道它从哪里来的之后,你能够更好的去提升它嘛,对吧?哎,我浅显的理解就是 OpenAI 一直在采购具身的一些相关数据,是用这样的数据训练出来的。我们猜测可能是这样子的。然后再就是说具体的,对吧?呃,当然我不是具身领域的专家,就是说它有很多的这样的一个短板嘛,比如说它在呃这个 simulation。
[480s - 600s] 里边的效果怎么样?它在真机的这个怎么样,对吧?这里会不会有 gap,对吧?有一些泛化的 gap,那这些可能都是非常值得研究的问题。现在所有的学术顶会都被 AI 论文大水漫灌,嗯嗯,所以你觉得这个系统还会好吗?压力确实是存在的,就是说,呃,比如说我做审稿人做 area chair,我能看到我的那个原来就是说可能就两三篇,现在可能就是嗯,你可能大概是十篇左右的这样的一个量级,就审稿人的 workload,这是最直接的一个冲击,对吧?然后考虑到大家都是 ddl 战士,就是你原来可能啊,我留个这个半天去把这个最后几篇搞定,结果现在就是说你可能嗯,在这个情况下,就大家做出来的这个判断,其实就有可能它的随机性就会变大了,这个是我觉得最直观的一个冲击。再就是你会看到整一个这个会场它的容纳现在都会像 NeurIPS 它就有三个会场,但是就是说社区也在就是通过比如说限制投稿的数量,然后去 promote 更这个有一定经验的审稿人去承担更大的责任,然后引入 AI 审稿来去辅助说帮助这个决策去做的更加的准确。然后像 AAAI 的话,它现在也是要求就是做决定的时候是要两个 senior 的这个 SPC 去讨论,最后做出这样决定,也是想尽可能的在 manageable 的情况下把这个录用的决策去做准确。但是坦白来说,有人的地方就是一定会有随机性嘛,所以说它的这个呃,我觉得大家不要把这个 accept or not 作为最终的一个 reward,因为听起来现在有一条这个 hack 这个系统的路,就是我用 SOTA 的模型做一百篇论文,然后投出去,对,拼这个随机的概率嘛,你怎么看这样的一个做法?我觉得这样的做法是不好的,它一方面是对整一个系统的一个这个 DDoS 攻击,对吧?说白了,对你这个总之是瞎猫碰到死耗子,总是有可能的。但是我觉得 paper 它本身其实并不是为了让它录用,而是说呃,我做了一个很有意思的研究,我希望就是说有一个地方来呃 share 给大家,是一个 knowledge 的一个分享,但是。
[600s - 720s] 你说一百篇的这样的东西,它的呃背后的那个人,他真的把这些东西弄清楚了吗?对吧?他是否有严密的这样的一些论证啊、理论或者实验的去 justify 他所 propose 的一些 hypothesis 这些东西,这个东西才是重要的,而不是说这个 paper 到底中了没有中。然后所以说你如果说 AI 强大到说,或者说人加上 AI 的这样的一个组合,它能够提出一百个有价值的问题,然后在 AI 的帮助下,对吧?去把它解决的很好,提供了这些很 solid 的答案,那我觉得这种情况下,就是他呃投不投稿都无所谓。就像可能 OpenAI 放出来几百个数学证明,对吧?然后可能有一些是 work 的,有些是错的,对吧?那但是这个东西它可能就有一定的意义。但是同样我们会要耗费非常多的 human efforts 去 verify 它的结果。那你觉得会不会有可能出现一些新的评价体系?我觉得其实现在已经开始呃弱化整一个的这个 publication 这个体系了。嗯。但是只要存在一个评价的体系,就一定会有 reward hacking。比如说我们现在在去筛选一些候选人的时候,paper 它是一个类似于说 nice to have 的东西。原先可能它是一个非常好的一个金标准,那现在就是大家都有,所以你没有也变得没有那么的重要。为什么呢?难道大家比如说九十九个人有你没有,反而不重要了?因为反而显得你很 outlier 与中。对对,我觉得反倒就是说可能意味着说他知道这个游戏可能已经坏了,我就不玩这个游戏。我们还蛮喜欢这样的画像的。然后,但是大家其实现在比如说我贡献一个开源的项目,对吧?这个是一个很加分的项,但是也存在一些 hacking 的机制。有的人会取,也是用 AI 去提 PR,然后被合进去了,他就说他是他的这个 contributor。其实我有一个筛选的一个小指标,尤其是有 publication,我看他们的代码有没有开源,他们的数据有没有开源,然后以及说他们开源了之后,他们的 issues 有没有人去维护。所以更是在真实世界里面看看你的作品有没有产生影响力。对对对,我觉得现在我们其实比较 care,比如说 Hugging Face 的下载量。如果说你做了一个模型,对吧?你说你。
[720s - 840s] 你是SOTA,但是你在Hugging Face上,我看是上个月的下载量可能只有数十次,就可能你解决的不是那么重要的一个问题。那Hugging Face的下载量可以hack吗?也可以hack,但是它的hack的代价就蛮大的,就是首先我要下载你的东西,对吧?然后存到这个硬盘上,硬盘还蛮贵的。你的小红书粉丝数我看了一下,今天是两点四万。对对。然后上次我们聊天,你开玩笑说这个比论文引用数要高。这个为什么你会去对比论文引用数和小红书粉丝数啊?我觉得这个是也是可以归到PhD的这个master to do里,就是做自媒体。OK。对,因为什么呢?我觉得它首先它是一个反馈比较快的一个地方。social media就是你发的东西好不好,对吧?大家点赞还有这个收藏,这是很直接的一个反馈。至少你有些时候其实现在呃大家这个交流少了嘛,但是你如果说在一个呃像这个小红书也好像推特也好,对吧?它有一个其实还是他们的推荐算法还是能够帮助你吸引到一批跟你就是有相同的research taste的这个同学,那么其实有会有个非常好的一个交流,这个是反馈的层面。另外一个层面,最近有一个叫大粉理论,对吧?就是说PhD student你的这个Twitter或者说你的这个小红书的粉丝量点赞量要超过你的citation,说明你能够在践行你这个大粉理论。我觉得它是一个attention is all you need的一个显化了,因为现在paper很多,我应该看什么paper?那呃原先大家依赖的分发的机制是我们当时是比如说每一年ACL录用,我会去看所有accept的paper,那当时可能就几百篇,然后我根据关键词根据关键的这个老师是吧去挑出我想要看的几篇都把它看了。但现在其实你不存在这样的事儿,一个会议四五千篇,对吧?我不可能把它看得过来了。对,因此呢就是大家会依赖一些这个呃论文的推荐也好,或者说这种呃social media的这个推荐系统也好。嗯。那如果你能够在这样的系统中占据更大的权重,对吧?你的声量就可以被放大,你的工作就可以被更多的人看到,也可以更好的去amplify你工作的价值。所以在PhD的圈子里面。
[840s - 960s] 除了大分理论还有什么理论?我觉得就是搏击理论,其实应该也应该推行到这个学术群体里面,因为确实它是一个很漫长的一个过程。然后呃,身心健康我觉得始终是第一位的,确实是呃你要换换脑子,对吧?那作为PhD要怎么运营小红书呢?首先是利他,就是你当然可以发一些有针对性的这个呃有呃controversial争议性的这样的一些观点,它很容易爆,但是呃大家只会点赞或者说呃评论,但其实它是大家不会觉得说这个东西跟你这个人是相关的,而只有说你持续的去产出了一些对别人有帮助的呃内容,你也会收获一定的影响力,对吧?这个东西就是它的副产物了。然后第二个的话就是要坚持。我坦白来说,我一开始就是会在我的小红书上发很多的那个论文的notes,因为我当时每天看论文嘛。但其实那个时候我的粉丝的增长量就很少。直到有一天我发了一些就是刚才说的这个引用跟粉丝的这个关系的时候,我突然发现我爆了一下,一下子往上迈了一个台阶。但是它就是说你把它坚持做成一种daily的事情之后,你想到什么发什么,然后最后呢这个上面就会呈现出你最真实的一个状态,然后那就一定能够吸引到你想要吸引的那些人。所以我总结下来就是说利他,然后坚持,然后第三个就是说,因为这个赛道其实很卷,但是你如果找一个人去模仿,你会很累,因为你也不知道他咋想的,对吧?他背后的motivation是什么?但是你其实去做自己,然后把自己的想到的一些东西,然后符合前面两个条件的东西,我觉得其实粉丝数量不是那么重要,就是你找到一帮就是说同频的人,然后大家可以有一个非常好的交流的平台,我觉得这个它它已经完成了它的这样的一个目的了。嗯,我这建议还蛮好的,就是要利他,要这个高频,然后要做自己。所以你在小红书上面这个点赞最多的笔记是哪几篇啊?最多的拿奖应该是的,然后那个青云奖学金那个应该拿,然后是citation超过一万,这个也可能是跟背。
[960s - 1080s] 或者推荐算法相关,然后另外就是说学术方面的话,我觉得之前有一些就是像 on-policy distillation 这种,呃,我们也是呃比较早采纳这个新的一种这种范式的一个 team 吧。当时我们看到之后,其实我觉得这个东西非常 promising,然后就写了一些这种 notes 放在上面。其实那个关注也蛮大的。就我看最近戴启锋老师还有自然意志他们的新的一些工作出来,你都会这个就发一发对他们的分析,然后自己的一些解读,一些流量感觉也不错。因为大家也其实很关注这些 new lab 的一些动态,因为戴老师他们做的也非常不错。然后呃有一些 RSI 啊,然后也正好也用的是小米的基模,所以说我们就顺手的就去也去研究了一下。所以现在的小红书就完全是你个人的工作、个人的生活、个人的研究兴趣的一个外化。对对对。如果我们把这个今天读 PhD 从入学到毕业分成几个不同阶段的话,你认为可以分成怎样的几个阶段?首先就是说知道呃怎么样去做好研究,或者说知道怎么做研究,这是一个呃很重要的一个 milestone。就是做研究之前,其实会有一些嗯 preliminary 的 basics,比如说你其实要了解很多基础的 fundamental 的一些东西,对吧?Machine learning 啊,statistics 啊这些东西,对吧?这些课虽然好像今天看起来大家用 AI 都不需要去补了,但是其实还是很有必要去把那些呃东西去 from scratch 的自己去做一遍。我们当时就是呃用 TensorFlow 对吧,要去把那个呃甚至用 NumPy、Matlab 去把那些很 basic 的 SVM 啊这种呃很基础的这些算法都去实现一遍,就是吴恩达老师的那个 Coursera 上面的课程,我觉得这个这个还是非常重要。就到今天还有很多基础的就是泛化 overfit 的这些概念,对吧?它经典的一些 concept 还是在整一个的这个 system 里面在运作,对吧?以及说像 VLM,其实用的是 PagedAttention,那就是操作系统的一些这个概念嘛。然后我觉得这些是 basics,对吧?
[1080s - 1200s] 然后第二个就是说,呃,research它是一个刚才说了,它是一个这个呃knowledge sharing的这样的一个方式。那怎么样能够让你的这个knowledge更好的去传播,对吧?那这里就有一些paper writing啊,啊实验,然后怎么样去justify你的这个hypothesis,实验设置啊,对吧?这些东西是需要学习的。然后当当然AI可以做一个非常好的一个reviewer也好,老师也好,帮助你去提一些建议,帮助你去consolidate你的这个hypothesis啊,这些东西。然后第三个我觉得就是说,也是大家很容易忽略了一块,就是怎么maximize它的impact。就我们刚才前面提到的,就是你去做好自媒体也好,对吧?你每做好你的开源,然后呃去每个工作都有相应的这个配套的这个呃宣传啊、软件啊、博客啊,以及说一些分享。我觉得呃这个是第一个milestone,就是说你到了今天你可以独立的做好一个paper,并且呢能够获得一定的这个影响力。我觉得这个是基本功。然后第二个阶段就是呃我觉得是呃leadership,呃这个我也觉得非常感谢,就是我遇到的各种老师。其实,在很早的时候,就是我们的那个孙旭老师就告诉我们说,要培养我们的leadership。就我觉得就是说,你其实要能够去,当你逐渐的掌握了这套这个pipeline以后,其实你要主能够去把这套东西去交给更junior的同学。但是每一个junior同学他有自己的这个case嘛?要case by case,怎么样去更好的去引导他去做好研究?就是你从这个一个自己generator的一个这样的一个身份变成一个critic,对吧?变成一个批判者,去帮助他。这个事情蛮有意思,就是很多同学他不一样,junior的同学他的类型不一样。有的呢他会比较的这个self motivated,你只要给一定的引导,他就一下整个链路就跑通了。而有的呢就是你会需要更intense的这样的一个supervision去帮助他去把这个东西build up起来。第三个我觉得就是说能够去完成一个呃从学术界到工业界的一个转变,你会在一个
[1200s - 1320s] 个更加现实的一个,以及说这个竞争可能会更多维度的这样的一个层面去做一些这个事情。当然,这个我也在学习。就做PhD要怎么冷启动呢?冷启动来自于说,呃,我很勇敢的,在我大三的时候,我当时就是呃去给这个发了很多cold email,给我的这个后来的硕士老师,对,发了cold email。但我其实发了可能得有十封出去,然后我只收到了一封的回复。然后那个孙老师非常非常这个很愿意给我机会。然后当时我是大二,然后升大三的这样的一个状态,他愿意让我来组里别人实习,然后得以说叩开整一个这个后面的这个大门儿,然后能够发顶会,然后呃顺利的这个保研。然后我觉得到了现在这个难度就会变得更大了。你我相信这个所有的这个稍微有名一点professor的邮箱全都是这个cold email,对吧?会有非常多的这样的AI啊,或者说是申请的这样的一个邮件。然后工业界的话就更加了,对吧?现在的HC就是考虑到这个算力的情况下,大家其实是很稀缺的这样的一个状况。然后呃怎么去冷启动?我觉得首先就是说,你知道这个事情之后,我觉得就是说要做就是maximize你的impact。因为其实现在大家不是去看paper,而是说去看你有没有一些这个output。它可能是一个GitHub的一个项目,你做了一个非常好的一个harness,你做了一个很有意思的一个这个application。那这些东西其实对于算力的需求没那么大,对吧?你只要能够发挥你的创造力,其实是可以做出这个非常好的一些产品化的一些东西来。那这个是一个好的一个路子。然后他去获得,比如说相对来说就是说可能更偏产品的一些呃岗位,对吧?这是可以的。然后如果是要偏研究一些的岗位的话,就是其实我觉得在AI时代,就是大家都在用AI sloppy的写作的时候,你能够去把一些fundamental的东西给它理顺,写好一个research的一个blog。这个东西说起来很简单,对吧?但是就是说你能够一篇一篇的去把,比如去写好很多的Notion的这个blog。然后如果有有可以的话,你可以去设计一些实验,小的实验。
[1320s - 1440s] 对吧?去justify你的一些改进,对吧?其实比如说像苏剑林的博客,对吧?早期也全是这个推导,呃,也可能没有特别多的算力,但是不影响说他能够最后推出了一个RoPE,到现在大家都在使用,对吧?然后现在是Kimi的研究员,我觉得这是一个非常好的一个呃路径,就是说,首先你要努力的去reach out,其次呢,你在这个reach out的过程中,你肯定会收到非常多的这个没有回复也好,这样的一些negative的feedback,但是呃,在这个过程中,你要坚持的去做好自己的这个输出,它也是你是一个learning的一个过程,你找到自己想要学习的东西,想要创造的一些东西,然后展现出来,有个非常好的一个作品集的一个呈现,那呃,最后我相信就是你会不断的像一个冒泡排序一样bubble sort,慢慢慢慢就会冒上去,然后你会被一些人看到。我第一个拿到了这个实习应该是金山,就当时的那个office,当时我大二大三的时候,他去看了我的博客,哦,对,然后联系到我,但是我当时觉得就是我还是想搞machine learning,所以就没有去做那个软件开发了,我觉得是这样子,就很像十字路口,我们也很喜欢说的一句话叫只要一直build就有好事发生,是的,是的,我觉得真的是这样。刚才冒泡排序的比喻也很有意思,一直冒泡,然后你就更可能泡到上面去,对,然后到上面去蛮重要的,就是说有一本书叫那个巴拉巴西成功定律,嗯,不知道你有没有看过,还有一个听起来很鸡汤啊,但实际上他们是研究用那种大数据的方式,网络科学的方式去研究说诺贝尔奖得主什么时候能够发出他那篇诺贝尔奖的论文,哦,你怎么样才能够,somehow来说这个获得一些career的这样的success?所以诺贝尔奖的得主他们一般是在什么规律之下发了那篇论文?没有,结论就是没有规律,就你必须要一直的发,他们自己都没有办法预测说哪一篇会是他们的代表作,是这样子的,所以说就必须得一直build。然后第二个效应是说,比如说这个大都会博物馆里的那些画,那幅画画出来的时候,他肯定不能一下子就展到那个大都会博物馆里,是吧?他是怎么流通到那些大都会博物馆里面的?然后他们去分。
[1440s - 1560s] 分析的就是说,这个馆藏之间他们会有一些啊,我会借过来展览,他们会把那个流通图画了出来,嗯,会发现哎,有一些那种城市的那种市政的博物馆,它的名气不是那么大,但是你一旦去到了那个市政博物馆之后,你就很有可能被这些非常famous的博物馆借走,所以它还是是有规律可循的,对,它其实是有一些关键的一些呃节点,然后但这些节点可达性就会非常的高,那你就是通过冒泡,对吧?你能够进入到这样的一个critical的path上面,然后你走向这个成功的路径可能就会大很多。所以一方面它是需要这个不断的创造,不断的发作品,但另一方面这里面其实仍然是一些有迹可循的,是的,是的,是的,就是呃一直努力,聪明的build。你觉得有哪些你认为做的非常成功,拿到了打个引号大结果的PhD,你会想出哪些名字?我现在能想到就是说呃,比如说那个应该是Berkeley的吧,应该是那个Eric Wallace,他原来是做那个呃就是大模型安全的一个一个PhD,然后呢,他应该是毕业之后就去OpenAI,然后前段时间就是说呃那个Hugging Face的那个事件,就是他们那个Swarm攻陷了Hugging Face嘛,那他其实就是作为那个内部的一个那个研究员出来给大家复盘整一个的这个东西。其实你去看他他的research,就是其实idea都很简单,但是就是能够有一个非常好的一个position以及timing的时候,去把这样的一个问题propose出来,然后定义好这样的一个问题。PhD们去选学校和选导师的时候,你分别有什么样的建议?我觉得选学校的优先级应该是要低于选老师的,甚至可以说是远远低于,因为呃PhD这个事情就是说它还是蛮像我们古时候的那个师徒制,然后以及说它在这个国内外它的这个情况又是case by case的,普遍来说,呃国内的话会更像这个上级和下级的这样的一个存在,然后其他的地方呢,可能更像collaborator。
[1560s - 1680s] 当然,呃,他是你的 supervisor,他会有一些这样的一个 supervision。所以说这个时候学校这个东西怎么说呢?就是说,当然就是我推荐大家能去更好的平台,当然是尽可能的去。但是其实你说 top 三十跟 top 五十有没有本质区别嘛?可能是没有太大本质区别的。你说那个四大名校跟 top 三十,那这个 gap 可能 OK。大家听到你的这个 famous 的 university name 就会 OK,就你的估值就能涨一涨,怎么样的?但是呃,我觉得组和组之间的它的 variance 其实还是更大的。然后呃,很重要的一点就是你可以去看他们的 alumni 的这个,一个是成果,一个是精神状态。然后私下里去问一问这个呃已经毕业的 PhD 和在读的 PhD。对,精神状态怎么看呀?就是大家是不是在一个比较快乐的一个状况去读这个 PhD?就是说有比较痛苦但是成功的 PhD,他可能这个著作等身,但是他非常的痛苦。比如说谁?我只能说有这样的 case。 OK,对他比较快乐的,对那些组是什么样的组啊?有哪些组?那给我们组打个广告,对吧?对,HKU NLP,还有这个北大的计算机语言学研究所都是挺,就是氛围还是非常非常轻松和愉快的一个地方。那 PhD 要怎么选导师呢?我觉得这个东西真的蛮难选的,就是说你去看他的 Google Scholar,看什么 CS ranking 啊,看他的一些这个公开的演讲,其实这些都是公开的东西。很多 private 的东西其实是需要你去就是实际跟他合作了一段时间,甚至说半年甚至更久,你才能够发现就是说这个,因为我觉得它是一个双向匹配。那你当时自己是怎么做的呀?我当时是在上海 AI lab 实习,然后跟我的这个现在的 co supervisor 孔令鹏老师就认识了。然后当时我们相当于就我在 internship 吧,就合作了大概半年,我就觉得呃他的这个风格就是我们还是比较 match 的。我们很多同学都是这样子的一个过程,就我觉得它是一个双选的一个过程。我的一个推荐途径就是大家如果说还有时间的话,可以直接去做 RA。那 RA 的话,一方面你可以接触到我刚刚提到的就是在读和毕业的 PhD,对吧?
[1680s - 1800s] 那可以跟他们打成一片,你可以打听到一些这个更多的这个了解一下呃情况。另外就是说,你也就能够了解这个组里面他的这样的一个风格是怎么样的,对吧?帮助你去快速做判断。所以最近有一份这个学生慢研究倡议,对吧?在网上我觉得掀起了还挺大的一个争议的。我理解那个大概有超过一百位,不只是中国,也有一些美国的这个呃老师研究员共同发起的一个倡议,希望本科生现在不要着急发paper,要慢下来做研究。就是你怎么看这个倡议啊?我觉得就是说,它这个事情很drama的一个地方就在于说,它跟现在的整一个节奏形成了一个很鲜明的一个对比,以及说啊,大家都在这个保研季或者升学季,对吧?它的这个考核的要求,对吧?它好像跟所谓的这个standard是是矛盾的冲突的。那我其实有看那个他们具体的这个倡议,就是说呃,他的倡议其实是说那些老师们说他们不会把这个呃paper作为筛选的唯一标准,对吧?这个我刚才也提到了,就是说其实大家都有的时候它就没那么重要了,而是说你能不能就是或者甚至说是发表的paper,对吧?你有些research的output有一段经历,能够呃在你这个基础打扎实的情况下,把你做了什么、为什么做、怎么做的这个东西讲清楚。他们其实倡导的是这个事情,而不是说我为了让我的简历上多一些paper,然后我快速的去通过各种方式也好,对吧?去挂名也好,去这个呃产出一些这种sloppy的论文也好,使得说我有一条能看得过去的。我觉得他们其实是在呃呼吁大家不要去做这样的事情,而没有说大家说不要做科研。我刚刚一开始就说,你其实是需要有一定的这个时间和这个精力在里边。那你其实你要自己去balance好课业啊和科研,那你其实就是要有一定投入。其实我觉得就是你呃心态上放轻松,做一些重要的事情,那你可以稍微节奏可以慢一点,但是你要有逐步的这个推进,那这个是快的。它其实快和慢是相对的。你自己是一个。
[1800s - 1920s] 快的人还是是一个慢的人?我会花比较长的时间去选择一个我想要做的一个事儿。那这个东西我我会觉得它前面花的时间越多,其实对于你后面它其实是很划算的。我有过一个经历吧,就是说在比较早的时候做一个idea,但是呢我没有非常好的去呃把一些预的实验做好,把这个东西想明白。结果我花了大概得有半年多的时间在那里调算法,最后发现我的假设就是错的。所以说我现在做实验之前,我会去把一个很小minimal的一个hypothesis抽出来,然后去快速用一些小实验toy的experiments去把这个东西验证了,对吧?它其实帮你端到端可以验出很多东西来。然后我觉得再往前就是选方向也是,就是你要很密集的去看论文,然后和这个你所敬仰的这些researcher们、老师们去讨论,然后去呃形成你接下来要投入的一个方向。在那个时间花够了之后,你在做的时候就要很快。你可能就是呃想办法去maximize你的GPU的utilization,你自己的这个数据的处理的速度,对吧?那这个东西可以用AI来帮助你快速的并行啊也好,对吧?去加速它的这个产出。你觉得今天读PhD在内地读、在香港读和在美国读,嗯,各有哪些优劣?我觉得就是说现在在内地读PhD,它优势就是说其实能够更快的去到工业界,这个是蛮大的一个优势。坏处呢就是说刚才提到了,对它有点比较传统的师徒制,以及说它跟这个我们目前整一个高校学术界的考核压力形成下有一些横向啊这些的一些压力。然后有些老师的动作会相对来说变形一些,那样子的话会对学生的这个成长不是特别的有利。然后所以这里的话大家需要去谨慎的一些去做好筛选。我知道有的老师组他其实能够把这种呃横向纵向的压力去平衡的比较好,既保证了说这个课题组能够run,也保证了说学生能够有一定的成长。香港的话就是说其实现在它成为一个蛮有意思的一个地方,就是它跟内地。
[1920s - 2040s] 呃,融合的还是比较密切的。同时呢,它因为它独特的这样的一个港口的一个优势,它吸引到的老师的这个呃profile,其实你看起来都会非常非常的就是可能会更有活力一些。我会这么形容。这样子吧,它其实有自己的一些优势。当然,香港这个地方有自己的一些这个生活上的一些压力。然后,美国这块我不太了解,但是就是说有一些朋友就是说反馈来说,就是说呃,首先现在签证的一些问题会比较痛苦,然后还有CPT的问题,可能去实习的这个呃难度也变大了。是。但是他们的好处就是说,他们整一个的那个离这个硅谷啊,这个离整一个的这个美国的这个学术圈,它会更接近一些。有没有什么样的画像更适合去美国读PhD?什么样的画像更适合在内地、香港读PhD?呃,我觉得去美国读PhD的话,就是说,首先你可能不能特别喜欢吃东西,反正每次美国同学回来都是要大吃特吃一番的。你要耐得住这个美食的寂寞。当然,就是说你喜欢这种,绝对是文化氛围的这个也是大家会有偏好吧。然后内地和香港的话,就是说更重要的就是说你能不能在这个一定程度上有一定压力的情况下去balance好很多事情。如果你能够handle好这些事情的话,啊,我觉得还是现在其实留在内地和香港都是一个非常不错的一个选择。现在PhD们聚在一起聊的最多的话题,除了学术是什么呀?就是package。对,嗯,其实现在就是大家会这个焦虑吧,尤其是我现在可能final year了,然后呃找工作了,可能在junior一些的同学们,大家还是会在思考说一些research的这个问题,说啊什么方向更值得做一些,或者说他们会很好奇说,哎,工业界在关心什么东西?因为就是前面提到这个意义的事情,他们会希望说毕业之后能够呃有一个非常好的一个丝滑的一个过渡。因为其实可能大家读本科的时候是同学对吧?然后读到PhD的时候,发现不同的专业会带来截然不同的世界。嗯,尤其是今天AI。
[2040s - 2160s] 和非AI就是两个totally不一样的世界,这个也是我时常觉得自己非常lucky的一个原因。然后就是现在所谓的K型分化、I型分化,对吧?就是说在AI的人就在那个点剩下的人可能是那一束,然后就中间好像出现了一个很大的一个鸿沟。但我觉得这个也还是说它是一个乍一看是有鸿沟的,但实际上AI是一个非常非常平权的一个东西。比如说原先我们想要去这个学习一些东西,你需要去上这个Coursera,需要上这个去上Stanford的课,但现在你其实能够access到的这个呃ChatGPT也好,或者说这个DeepSeek或者说MiMo这些模型,它其实它的这个知识的储备量是非常非常高的。你能够用好它的话,你其实能够帮助你在自己的domain里边去有一个非常好的一个效率也好,或者说整一个工作范式的一个改变的。所以我觉得未来不是说AI去替代这个人类,或者说做AI的这帮人去拿走了很多的蛋糕,而是说呃能够用好工具的这些人,或者再找一些对吧能够这个烧火的这个智人,可能就干掉了别的人种。那这种事情是一直在发生的。首先你要能够意识到说这个世界在发生巨大的这样的一个变化,那你去积极的去拥抱这个变化。那其实会需要各行各业的专家和这个爱好者们来去帮助这个模型去提升。那它其实这个鸿沟里面也有非常非常多的梯子,其实大家是能够把这两个东西connect在一块的。今天教授们创业是一个特别大的浪潮。对对。呃,我很好奇,就是PhD们,你们会怎么看自己的老板创业这件事情?呃,我觉得他为什么创业?一方面就是说现在的这个融资的这个环境,对吧?以及说整一个大家是现在科技为导向的这个创业嘛,所以说最前沿的这帮researcher、这帮professor们,很自然的会被推到前台。然后它的好处呢是说融了资之后有公司之后,它的这个实体的形式,它的这个资源能够更快的把一些东西去build。
[2160s - 2280s] up起来,它会更灵活一些。原先学校的话,有一些这个 funding 啊,一些限制啊,那很正常。然后它会造成说啊,我要买卡,我要招工程师,我要招买数据,它会很受限。但是现在在这个公司 startup 的这样一个形势下,它可以快速的帮助你把这些你想要要素给它聚齐。然后你如果要做一些什么事情更大的 project、更大的一个影响力的话,它是起到了一个杠杆加速的一个作用。然后呃,另外一面就是说,一旦说他拿了钱之后,对吧?那钱也会对他有所要求,那学生也就会被传达层层的这个传达到一些东西,可能要做一些学术以外的一些 dirty work,对吧?但我觉得就是它是硬币的两面,它给你了更大的资源,你要利用一些资源,你是需要付出一定代价的。那就是大家去 trade off 好这个呃不同的阶段的这个需求。其实今天很多在学校里面的问题就是没有算力,没有资源,因此也有一些人开始觉得,哎,我就不读 PhD 了,我直接去公司。呃,你怎么看?你觉得今天在理工科或在 AI 领域还有必要读 PhD 吗?我觉得就是说,你去怎么去衡量说这个 PhD 它的这个你对 PhD 的期望是什么?如果说你希望读一个 PhD 以此来进入这些所谓的大公司,那我觉得它是没有必要的,因为你本科生也可以去嘛。像那个 Jason Wei 对吧?啊,有很多我们认识的 OG 的研究员,他们其实就是本科生,甚至高中生。对啊,甚至高中生。然后我觉得这个事情就是说,他不是因为有 PhD 学位他才能去,而是说他做的牛,所以他能去。那牛不牛不是你有没有这个 degree 决定的。但是另外一方面,我觉得如果说大家希望有一一个比较完整的一个时间,你可以相对来说没有特别大的压力,对吧?你某种意义上我们是脱产去做一些你想要研究的一个事情。你对这个世界所在的这个领域有一些呃好奇心,你有一些问题,然后你不去做,可能别人是不会帮你做的。那你你其实是去满足自己的这个好奇心的。
[2280s - 2400s] 这个过程,然后在这个过程中,你可以培养我们前面提到了很多的这个,你可以补一些知识啊,学习一些如何去 maximize你的 impact啊,这些 skill的过程。我觉得你把它作为一个这个一段特别特殊的一个旅程,去回答你的这几个问题的这个这样的一个事情的话,我觉得它还是很有价值的。因为你想人活八十岁,呃,你读PhD五年,好像也不是很很那什么嘛。那我们再来聊点别的,因为我们录播客的时候也是快年底了。这个最近的嘉宾我都会问一个问题,就是二零二六年这一年下来,有哪些AI带给你的aha moment?我觉得整一个agent的范式的这个被推到前台,其实还是一个呃,至少对整一个它的这个不像R1的那种aha moment,但是它是对整一个社会的这个形态的这个冲击,其实我觉得还是挺让我们感受到一个呃很大的一个震撼的。就是我坦白来说,我我最早做研究的时候,我们那时候最早做的是分类任务,就是一个句子它是positive还是negative。完了之后,模型强一点能做机器翻译,然后到能写一些作文。然后今天你用agent这套东西,可以让它equipped了这个tool之后,对吧?它可以很自动化的帮你做非常多的事情。现在大家像也都会用很多的这样的一个agent的一个产品。然后这个东西就真的使得说这个一个machine learning的一个东西,它能够呃有了这样的一个脚手架之后,能够帮助大家去触达生活的各个地方的这个角落。这个事情还是非常exciting的一个事儿。然后我们能想象的就是说,它现在digital world已经有非常多的这个能力了。那它在下一步会走到physical world来,那这个时候又会有催生出很多的一个呃火花。我觉得这个事情是非常值得这个期待的。所以这个agent是一个,然后还有其他的吗?还有个,我觉得你可以说我们的直播。我觉得在我们早期就是训练的时候就觉得它其实有点像那个R1了。然后呃,你会发现这种非常大规模的RL的时候,能够带来非常全面的这个能力的这个提升。就是咱们把后训练。
[2400s - 2520s] 拿出来直播一开始是一个什么样的想法呀?就为什么想到去做这件事情?这个我觉得就是说是整一个呃,因为现在有一些 rumor 有一些讨论嘛,然后这个事情我觉得其实对整一个中国大模型的这个形象,它其实都是非常不利的。然后我们其实是希望说能够用这样的一个直播去,首先我们希望有一个正向的一个引导。为什么大家不做这个 L 呢?可能因为它确实可能有一定的难度,会有很多的事情要做,你的 infra、你的数据的要求都很高。然后我们希望就是说给大家一些信心,就是说这个事儿它确实是可以做的。然后以直播的形式告诉大家,对吧?你能看到就是说我们在一个非常 decent 的一个方式,很透明的一个方式,告诉大家说,哎,这个事情可以做,并且它的效果也很好。然后呃,这个事情我们是希望有一个这样的一个呃正向的一个激励。同时呢,我们也希望就是说配套,就像我们提到,就是说把一些该开源的开源了。当然,我们也希望通过这个直播来这个吸取一些 feedback,听到的确实也有一些我们做的不好的地方,我们就把它呃吸收改进啊,做的好的地方我们就去放大,嗯,就是这样的一个初心。这个直播放出去之后,你们收到最多的回复来自国内,来自国外,分别是什么?国内就是大家特别关心那个花费的这个费用,因为你们把金额直接挂在直播的页面上,是吧?所以大家点开网页看到就人民币在燃烧,这个是大家刺激比较大的一个东西。然后呃,另外一块就是说国外的话,就是说大家还是对于我们的透明程度还是表示比较震惊的。然后有很多推特的评论就是说,这应该是首次这个工业级的这样的一个直播。然后他们就是其实整一个这个呃,大家对这个大模型是如何训练还是比较感觉比较神秘的。但是我们把一个这样的一个大规模的训练,然后整一个相当于是我们 tensor board,几乎就是给大家展示出来之后啊,有很多 dynamics,大家可以去给研究者。
[2520s - 2640s] 我们去做分析啊,类似于一种金矿的这样的一个感觉。嗯,哎,我们最后再聊聊未来啊,就是一个是,其实我觉得最近两三个月大家讨论非常多的就是这个数据行业,国内也出现了很多这个估值非常高的数据公司,Unipad、Humana呀等等。然后你怎么看这个事情?就是什么原因让他们估值那么高,以及这个生意你觉得是可持续到什么时候的?我觉得估值高也蛮正常,因为整一个大模型,对吧?其实你一层一层往下推,其实就是算力啊,算力现在也很贵,以及数据,还有人才,三个东西没有一个是便宜的。所以说它因为什么?因为其实整一个大模型的呃东西很简单,说白了,好的数据,呃,然后solid的算法,好的infra就能够带来好的效果。那好的数据,它是一个来自于产生人类智能的一个源头。然后现在的这个专家的数据,因为呃原先的数据可以比较快速的获取,对吧?一些做题类的,但现在整一个的这个呃数据的生产,它的复杂度已经上升了很多个量级,我可以这么说。然后它对于数据质量的要求也上升了很多个量级,因此能够把这个事情做好的人,他其实就应该能够占据整一个市场的一定的一个蛋糕。然后这个估值的话,我觉得是市场给出的这个答案。呃,我我不是特别了解,对,但我觉得在我来看,这个并非是一个非常过分的一个事儿,因为考虑到未来整一个AI行业它要占据GDP的多少的话,对吧?那你作为它的一个燃料,你应该占据多少呢?然后它能持续多久的这个事情,我觉得它是一个dynamic的一个过程。我的一个看法是说,随着这个模型能力的进步,能够持续产生高质量的这个燃料的这样的一些数据公司,它其实是能够持续产生新的价值的。因为我们刚刚提到了这个模型能力的边界,它是一个锯齿状的,对吧?但是你要找到那些缝隙,你要并且能够组织好对应的这个一套规模化的一个体系,设计好激励体系,去把这个批量。
[2640s - 2760s] 做好交付,这里它是对这个数据公司也是一个很大的一个挑战。那模型公司可能也可以做这个事情,但是就会分散那个整一个它的一个精力,浪费它的算力,对吧?去做这样的事情。那其实就是大家在这个模型发展过程中,想要去呃尽快的去推进这个智能的前沿嘛。那这个时候时间其实是一个不可逆的一个资源,对,所以说大家会花钱去买这样的数据。我认为这个需求是持续存在的,而是说它如果数据公司它如果说没有办法去产出这样高质量的数据了之后,那这个生意就肯定是做不下去的。因为随着模型能力提升,它产生数据的能力也会上升,对吧?那那个时候它的这个呃成本就会降低到非常非常低,以至于说如果说你在那样的一个市场竞争的话,你面临的这个竞争就会非常非常剧烈。对,反过来如果说你有一个自己好的一个规模化的,能够持续的产出这种高质量燃料的这样的一个pipeline的话,那其实我觉得它的优势是会被放大的。呃,什么样的公司或什么样的组织,什么样的能力才能够让高质量的数据这个pipeline一直不断的持续呢?我觉得这这是一个很好的一个问题。首先就是说这个高质量就是说它始终是相对于特定的模型而言,对吧?太难的数据,你的模型太差,它是学不会的。而是说呃我们会希望说,那这里其实你就要能够定义说什么样的数据,它的难度怎么定义,然后你能access到的模型是怎么样的。那这里其实就有一些呃know how的事情。然后另外就是说呃哪一些数据会更有价值?最直观的就有两方面,一方面是PR的价值,呃哪一些数据做出来的这个demo就会很酷炫,那这个东西它一定有它的价值。另外就是说当模型真正的学会了这个能力之后,它能够带来的经济价值,这两个价值我觉得是是需要去做取舍的,然后去balance好,然后你怎么样去source expert去建立好这样的一些呃规模化的一些这个产线。
[2760s - 2880s] 在模型训练的一线,你看到RSI的信号了吗?我觉得,呃,这个信号应该是说越来越强烈了。就是RSI是一个蛮广泛的一个定义,就是说你可以定义为说,呃,模型在就是最字面理解嘛,就是模型在帮助自己改进自己。那其实模型产生数据,它也会帮助它去改改进自己。然后现在的大家的一个specific的一些定义,可能是说模型能够自己去训练自己,然后,呃,去这个,呃,比如说有很多post train bench啊,或者说一些machine learning的这样的一个bench,它能不能找到更好的参数、更好的算法?这里的话,其实就是说,呃,我觉得这里的progress会非常非常的迅速,因为这个问题是well defined。那模型就是非常擅长搜索,然后它可以通过各种scale computer方式去找到一个好的路径。那你会看到那个呃capacity的那个呃训language model那个东西,它的PPL肯定会不断往下降。但是,呃,我觉得有一个能力可能是呃目前没有非常好的挖掘的,就是说,当然我也看到一些最近的工作,就是说它的taste,就是定义这个问题的能力,什么问题是重要的,下一个阶段我们需要去解决的问题的这个能力。然后我觉得只有具备了这个能力之后,那我们才能够说研究员非常放心的去把这个整一个端到端的事情交给他。那现在大部分就是说,呃,研究员大概知道自己要去往哪个方向改进,然后啊,模型能够帮助你去产出数据啊、训练啊,这个端到端这些环节上的这个呃self improvement。更前面的那一个决策,现在还没有看到非常好的这样的一个提升。今天RSI里面,你觉得最有影响力的benchmark是哪一个?这块现在也蛮多的,我目前来看,嗯,没有看到特别特别这个觉得exciting的,因为可能还是比较初期,大家还没有形成一个非常呃好的一个共识的一个阶段,对,但是就百花齐放的一个阶段。今天做benchmark的人越来越多,嗯嗯,你觉得一个好的benchmark能够冒出来被大家注意到、被大家尊重、被大家去这个想要去打榜,需要怎么做?这个事情,我觉得我确实也也有一定。
[2880s - 3000s] 的这个呃呃经验,对我觉得首先就是说它一定是模型能力方面,它一定是 measure 了一个新的模型的或者说很重要的一个能力的。比如说我们之前做的 Video-MME,就是当时大家都还在做很早期的六秒钟的视频理解的时候,我们把它拉到一个多小时。但这个事情确实又很重要。随着你 agent 的能力变强,它就是要能够去理解这个呃长时间看懂一个电影,然后帮助你去在各种呃视频里面去做这种长时间的一个分析。那这种六秒到一个小时,它的这个就是一个完全一个 new dimension 的这样的一个能力。其次就是说呃新的能力以外呢,就是数据本身的质量还是非常非常重要,就是它得是 use case 里面来的,而不是说非常 artificial 的一些东西。就是这个问题重要的原因在于什么呢?就是说 artificial 的东西模型是很容易捕获的,然后它就会有非常强的 awareness,它知道你在测试它,然后它会表现的比较异常,它会跟真实用户的这个体验会有一个非常大的一个 gap。第三个就是 impact。然后在前面做好的情况下,你其实会希望 advocate 你的这个 benchmark,那你就要把你的易用性啊去做好,让大家能够呃一键启动,一键测评。因为现在很多测评它是对不起测评的,OK,它报的分数我复现不出来。然后有没有一个非常好的这样的一个呃一键启动,或者说你跟主流的这个测评套件的这个适配,这些东西都是类似于一个生态的一个整合,就是帮他人省时间。那么反过来,别人就更有可能去 adopt 你的这个东西。最后还是再回到这个 PhD 的话题聊一下哈,就是最近我看到一个非常让我惊讶的数据是今年 MIT 大一新生选机械工程成了最热门的专业。整个美国就四年制的本科 CS 的入学人数也是同比在下降百分之八点四,就读 CS 的人变少了。嗯,你怎么看这个问题?我觉得类似于说一代版本一代神。首先这个东西它可能会有很多别的因素,但是如果是如此大规模。
[3000s - 3105s] 我的下降的话,我觉得就是说,可能 junior 的这样的一些 coding 的需求,它确实会在被 AI 吃掉一部分。但是,呃,我相信就是说,大家可能不选这个专业,但是大家都会辅修这样一两门课,确保说,OK,我对整一个 CS 它有一个 general 的理解,然后也会一定的 coding,能在 AI 的辅助下去做一些 coding。我觉得这个是应该是一个必修课的一个课程。那假设啊,平行世界你有一个亲弟弟,今年高三要高考,然后成绩其实也挺好的,是个小学霸,你会建议他学什么专业?我不会建议他选什么专业。我的看法是这样的,就是说行行出状元,不需要成为你这一行的 top 百分之一,因为那个太累了。你只要能够呃始终和自己比,然后呃维持在一个相对来说,比如说前百分之二十、百分之三十的这样一个水位,每一天就是说能够这个有自己的这个呃取得一定的进步。然后我相信每一行都会有非常杰出的一个成就和人才的这样的一个涌现。那我们最后来送个祝福吧,因为今天听我们这一期节目的,我相信有非常多的这个学生或者在读的 PhD,然后这里面应该也有不少的同学可能现在面临着多多少少的一些这个困难呀、焦虑啊、这个困惑呀。就是如果你送一个特别简单的一个建议给大家,让大家可以每天过得再开心一点,从你自己的经历里面找出一条这样的建议,你会想到什么?嗯,我觉得 paper 迟早是会中的,然后饭呢还是得吃,觉还是得睡,对,没有什么大不了的,就吃好、喝好、睡好,然后再写 paper。对对,好,那今天谢谢李磊,啊,很开心录了这期节目。对,好,谢谢客气,好,嗯,拜拜,拜拜。