别再信发布会的成绩单：给自己搭一套盲测个人 AI 基准
信源说明：本文基于 The AI Daily Brief 2026-10-08 发布的一期 webinar 录音（视频 ID HX8Zr1kmLEQ，时长约 47 分钟），主讲为该频道两位主播——主持人 NLW（节目内自称）与演示者 Nufar Gasbar（转写作 Nufar/Nufar Gasbar，另有协助答疑的 Natanil 与 Danny）。本期为操作向内容：Nufar 演示了她自建的个人 AI 基准全流程并分享了配套脚本与材料。文中所有模型名、成绩与判断均为主播自述，未做独立核实。
先说结论
每个新模型都带着一张成绩单发布，然后是一周的"早期体验"热评。这期节目开出的方子是：唯一可信的评测是你自己工作流上的盲测。动机很实际——据主播称前沿模型发布周期已缩到平均 11 天，而公开基准因大量进入训练语料而"存在越久越没价值"；更麻烦的是当下模型间的差距已经不再是"谁严格更强"，而是"谁的手感更适合你拼装的那套 stack"。Nufar 把个人基准做成五步标准流程并开源了脚本，她自己跑完的结论足够反直觉：自认 Claude 重度用户，结果 LinkedIn 文案前三名是 Kimi、Fable、Opus，价格谈判类 GPT 系最强，每周计划 Grok 赢；她与 AI 裁判（Gemini Pro）在五个任务里只在一个上达成一致。方法论层面最可迁移的三点：盲测匿名化是公平的前提（人对工具有强烈品牌偏好）；AI 裁判必须换模型家族（存在"AI 裙带"效应）；订阅制的"宽容度"掩盖了真实 token 成本，切换决策要把成本、延迟、习惯折价一起算。
为什么公开基准失灵，以及两种常见反驳
NLW 的开场论点分两层。第一层是污染：不是厂商撒谎，而是基准本身进了训练数据——“存在越久，价值越低”；新基准的产出环境比半年前活跃得多，但结构性限制仍在。第二层是错配：即便基准全对，现在的比较也不是"严格更好/更差"，而是模型在你的工具组合里"手感如何"，“总会有技术上 SOTA 的模型在你那个具体版本的活儿上更差”，写作类尤甚。所以他过去反复建议听众"攒一个自己常用任务的基准"，这次 Nufar 把它做成了可复制的流程。
对"个人基准"通常有两种反驳，节目都给了回应。反驳一：前沿已经这么强，还折腾什么？——承认前沿确实好，但新发布可能解锁此前只在愿望清单里的用例，仅此一条就值得偶尔测一测（不必每周）。反驳二：公司限定了工具/模型，没得选。——即使在限定集合内，也总有选择：fast/slow 模式、推理力度等配置项；甚至可以用 mock 数据跑一套基准，向公司决策者证明"值得买另一个 license"。后者是个值得记住的策略：用基准当内部提案的证据。
五步流程：选任务是成败的最大变量
Nufar 的流程五步，她反复强调第一步最重要：
- 选任务：从你真实的工作（及个人使用）里挑 4-6 个，标准是多样性、代表性、高频（高频任务才有最大提升空间）、你信任其结果足以据此换工具；优先挑"能快速识别坏结果"的任务（知道什么是坏，有时比知道什么是好更容易）；区分从零开始 vs 需要既有素材打磨的任务；必含 1-2 个"愿望清单"任务——试过 AI 但效果差、已经不常做的，它们是判断"要不要追新前沿"的探头。她自己的六个：LinkedIn 发帖、价格谈判推回+敏感邮件、工具功能调研、课程网站内容、为新受众一次性出练习题、以及愿望清单上的"正经每周计划"（至今没找到能一次做对的模型）。
- 选候选：现有阵容 vs 新模型，建议最多 4 个（她跑了 7 个，“极其乏味，不推荐”）；候选也可以是 harness/agent 工具+模型的组合，不限于模型。
- 盲测执行：每个请求在全新对话里发（防上下文污染）、隐藏模型名、同一请求对每个模型完全一致；重要决策可对同一请求多次运行取稳定画像（她当天就遇到同模型同配置两次生成质量明显不同）。
- 评分：人评为主（1-5 分+一句话点评），可叠加 AI 裁判按预设 rubric 打分；并列对比比孤立打绝对分容易得多；视觉类任务（网页/图片）尤其适合人评。
- 决策：胜出不必然等于切换——公司约束、条款、订阅额度、成本、速度、喜欢的特性、以及习惯本身（“习惯形成的成本很高，没有显著提升就维持现状也有价值”）都是折价项。
匿名化的四种做法：朋友代跑、表格随机编号、AI 工具重排贴标、或用她提供的脚本；脚本路线走 API key（OpenRouter 一把钥匙跑多家，或每家各自 key）。她特别提醒：公司数据敏感就别走 OpenRouter，用 mock 数据跑流程。
她跑出来的结果：反直觉清单
七个候选：基线 Opus 5、Opus 5.5、Grok 4.7、GPT-6.1、Sol、以及两个贵价前沿 Fable 5.1 与 GPT-6 Astra，外加开源代表 Kimi K3；裁判用 Gemini Pro（因为她没评 Gemini 系，天然避开裙带）。结果要点（均为主播自述）：
- 分任务冠军高度分散：LinkedIn 文案=Kimi/Fable/Opus（“我本以为 GPT 会赢”）；价格谈判=GPT 系；练习题=GPT 与 Grok；每周计划=Grok；课程网站=Opus 5.5。没有全能王。
- 人评 vs AI 裁判大面积不一致：六个任务只在价格谈判上一致。一个技术性原因：裁判走 API 只能看代码与文本，网站这类视觉任务它实际在评代码而非视觉效果——用 API 裁判评视觉产出是个已知坑。她的结论：“以后大概不会基于裁判做选择，我更信自己。”
- 成本结构分化：Fable 裁判总分第一但每任务成本高一个数量级；Grok 平均耗时极长但成本可控；Kimi 在成本与速度双赢但总分偏低；Fable 5.1（转写如此）全场最贵。她自己的均值里 Fable 与 GPT Sol 打平——“但看成本差，这就不是一道难题”。
- 对她的实际改变：自认"非常偏 Claude、日常 Claude+Grok"的她，开始认真考虑把 GPT 提进常用层；“如果只能选一个工具，按这轮结果我今天可能愿意主要搬到 GPT”。
三个值得单独记住的判断
- 订阅在补贴你的 token 成本。Pro/Teams 档的宽容额度背后是远高于月费的真实 token 消耗，“按任务计费"的 API 成本只是全貌的一部分；她的预测是这种宽容"未来未必维持得住”，届时所有人都会开始关心精确成本。常撞限额的人则应该从现在就按成本优化。
- Table-stakes 任务开源已够用。邮件草稿、基础调研这类活，“Kimi、Mistral、GLM 及以上档位的任何像样模型"都看不出差别；更复杂的任务商业与开源仍有差距。结合成本考量，这就是很多公司"默认开源+关键任务上前沿"策略的微观依据。
- Prompt 要写成可测的目标。Agentic 工具需要可度量的目标：“写一篇好博文"不可测，“写一篇对高管和 IC 都有吸引力的博文"更好，“写一篇不含以下元素、限若干字、含以下部分"的博文最好——这也是给 AI 裁判写 rubric 的同一套功夫。
平台化选项她也给了：团队级/公司级标准化评测可看 LangSmith、BrainTrust、Langfuse 等（“不止这三家”），个人用途则自建脚本足够。更新频率上，她的自嘲是"取决于你有多 ADHD”——但看过 OpenAI 新的 ultra-fast 演示后（仅 $500/月档可用），她承认自己对速度的权重已经当场改变：这次测网站生成为等结果耗了 20 分钟，“耐心被演示重新校准了”。愿望清单任务的存在意义就在这里：技术前沿每推一步，‘好’的定义就跟着变。
读者启发：三条机制链
- 基准污染→评测权下放：公开基准进训练语料 → 分数通胀、区分度下降 → 可信评测从厂商发布会移到用户自己的工作流 → 盲测脚本/rubric 模板成为新的工具品类 → 观察指标：个人基准模板的传播、评测平台的个人档产品。启发：把"模型选型"当作一次性搭好、可重复执行的资产，而不是每次发布会后的即兴感受。
- 品牌偏好→盲测必做：人对工具品牌有强先验（主播原话"我们对我们心爱的工具有强烈偏见，没人能证明不是这样”）→ 不匿名则评测被记忆污染 → 匿名化成本极低（一个脚本）而信息增益极大（她自己就被 Kimi/Grok 的表现意外）→ 观察指标：团队内部选型是否引入盲评环节。启发：一切"我觉得 A 比 B 好"的判断，先问一句有没有藏名字测过。
- 订阅补贴→真实成本回归：宽容额度隐藏 token 单价 → 用户对成本无感、厂商用补贴换锁定 → 额度收紧（或用量涨过额度）时成本感知突然回归 → 按任务计费的画像（她脚本自动输出）成为切换决策的硬通货 → 观察指标：各家限额算法调整、API 与订阅价差。启发：现在就把常用任务的"每任务 token 成本"测出来存档，等格局变化时你有一张自己的价格表。
不确定项声明：模型名与版本号（Opus 5/5.5、Grok 4.7、GPT-6.1、Sol、Fable 5.1、GPT-6 Astra、Kimi K3、Gemini Pro）均按转写原文，“Sol"疑为某模型系列简称；人名 NLW/Nufar Gasbar/Natanil/Danny 以转写为准；“平均 11 天一个前沿模型"为主播随口给出的估计；所有评分结果均为单人主观评分+单一 AI 裁判，样本量为一轮（部分任务多轮），不构成统计意义上的结论。