金融 Agent 评测双璧：当信息边界被机制化，研究能力却换不来预测能力

引言：金融 Agent 评测的特殊难题

通用 Agent 评测的判分逻辑相对简单：任务有客观对错，环境可以随时重建。金融投研评测则面临一个独有的根本难题——信息边界（information boundary）。金融预测的黄金法则是"决策时只能用决策前已知的信息"，违反它就是前视偏差（look-ahead bias），一切回测神话都会沦为泄漏的副产品。

可对语言模型 Agent 而言，这条边界几乎处处漏风：

• 网页的发布日期可能与内容更新错位，页面可以保留早期发布时间却携带后期内容；
• 搜索引擎的日期过滤只约束查询本身，不约束返回内容；
• 缺失元数据、事后修订、回溯报告都能绕过日期过滤；
• 模型预训练时还可能已经背下了历史财报的答案（参数化记忆问题）。

本周精读的两篇论文，恰好给出了机制化解决信息边界问题的两条互补路径：

• Investor’s Last Exam（ILE，arXiv:2610.38342）：Prophetlab 联合上海交大安泰、中国科大、Foresight 基金与 IvyRock 资管等机构，构建了覆盖 343 万文档版本、1.52 TB 的版本化金融数据库，把信息截止（cutoff）从"检索层日期过滤"升级为贯穿数据访问、计算与评分全流程的系统级约束，用来评测完整的专业股票研究流程。
• EPSBench（arXiv:2610.38293）：佐治亚理工学院团队聚焦单一预测目标——GAAP 稀释每股收益（diluted EPS），为每个公司季度从历史财报抽取公司专属会计模式（accounting schema），用有向无环图（DAG）表达会计恒等式，再交由共享会计计算器把 Agent 的逐行估计换算成 EPS，从而把"计算正确性"也从 Agent 手里收走、变成可验证的基础设施。

两篇论文最有意思的共同发现，是同一枚硬币的两面：研究能力不等于预测能力。ILE 中总分第一的 GPT-6 Astra 在"预测与建模"类别上只有 52.5 分，交易模拟的收益冠军甚至不是总分前三的模型；EPSBench 中三个领先模型的点预测误差与分析师共识打平，但所有六个模型的 80% 区间覆盖率无一达标，且预测系统性偏低。

金融 Agent 的瓶颈已经从"信息获取"转移到"假设校准"（assumption calibration）与"模型一致性"（model consistency）。

下面按背景、定位、问题定义、解法、实验证据、根源解释、知识反推、通用灵感的顺序逐一展开。

第一篇：Investor’s Last Exam——把信息截止做成系统级约束

📄 原文链接 | 代码 | 数据集

1.1 背景：日期过滤挡不住前视泄漏

买方股票研究（buy-side equity research）驱动着资本配置决策：研究员分析公司经营、竞争位置与财务状况，建模未来业绩，再据此形成投资论点（investment thesis）。这个过程的质量不由任何单一能力决定，而取决于三个嵌入式属性：分析链条是否连贯、证据是否充分、预测能否经受事后检验。

既有金融基准大多只覆盖孤立环节：

• FinQA、TAT-QA、ConvFinQA 评估财务文档上的数值推理；
• FinanceBench 做文档问答；
• Finance Agent 与 FinSearchComp 引入智能体搜索；
• FinBench 开始评估预测与结果验证；
• FinanceGym 引入了按发布日期过滤的网络语料与专家评分细则（rubric）。

但论文指出了关键缺陷：发布日期过滤只是检索层的启发式。页面元数据与内容更新可以错位，缺失元数据、事后修订、回溯报告都能绕过日期过滤。

ILE 团队给出了一个极具说服力的实测案例：在 Tesla 任务 O74 中，GPT-6 Astra 的公网 Codex 轨迹发出了带 before:2026-03-24 限定词的查询，却检索到了一篇 7 月 2 日发布、包含已实现 Q2 交付量（480,126 辆）的视频来源——查询带了日期，返回的信息却穿越了截止线。

系统性审计发现，Astra 的公网轨迹中 57%（49/86 条轨迹）包含截止后来源，其中包括任务要求预测的目标季度微软已实现营收（约 900 亿美元）与 Tesla 已实现交付量。这些分数在信息边界意义上是无效的。值得注意的是，公网条件下 Astra 总分 68.3 与库内 68.1 几乎相同——分数可比不等于边界可比，答案质量相同，信息合规性却天差地别。

1.2 定位：评测单元从孤立能力到证据-假设-判断链

ILE 的定位是专业投资研究全流程基准，评测单元不是孤立的知识点或检索技能，而是"证据-假设-判断链"（evidence–assumption–judgment chain）。作者认为，只有把评测单元抬升到这个粒度，才能定位"分析优势在哪里断掉了、没能转化为预测与投资判断"。

与论文 Table 1 中列举的十余个既有基准相比，ILE 是唯一在数据来源、Agent 循环、预测任务、来源溯源、截止控制、过程评分细则六个维度全部打勾的基准。

1.3 问题定义：决策时信息边界下的完整分析师工作流

形式化地说，每个任务定义一个带时区的截止时刻 t_c 与授权数据集，Agent 只能使用可得时间（availability time）先于 t_c 的文档版本，无论其报告期如何——一个文档版本合格当且仅当其可得时间先于截止，与它报告的是哪个期间无关。

任务本身围绕职业分析师的交付物（deliverable）组织，评测联合考察三个层面：

1. 研究质量：证据、逻辑与计算、一致性、对账、不确定性；
2. 预测准确度：指定指标、期间与单位对齐已实现结果；
3. 模拟投资绩效：预测驱动的交易回报。

1.4 解法：版本化数据库 + 专业任务分类法 + 专家主导构建

第一件套：版本化金融数据库。

团队维护了一个持续更新的语料库，保留每个历史版本并给每个版本赋予采集时（而非事后推断）确定的可得时间。截至 2026 年 10 月 15 日，语料库含 3,430,336 个文档版本、1.52 TB，覆盖九大类来源：

另有结构化市场数据支持价格、收益与波动率分析，覆盖美国、中国大陆、香港等市场。时间戳规范化采用保守的可得边界：只有日期的记录在该日结束后才可及；无法建立可靠可得时间的记录直接排除在任务访问之外；每次修订获得自己的可得时间。

关键机制是：截止约束在工具链全程生效——search、read、download、缓存结果、结构化表查询共享同一套授权与可得性检查：

• search 发现合规的来源版本，read 返回其段落与表格；
• 结构化表工具查询授权记录并冻结（freeze）结果，后续修订无法改变已取回的数据；
• download 与 table_download 把合规源文件与冻结结果写入任务工作区；
• bash 在禁网的工作区中做文件检查、数值分析与建模（NumPy、SciPy、pandas、DuckDB 等可用）；
• submit_answer 校验交付物格式。

这样 Agent 可以借助子代理辅助阅读与上下文压缩，在证据超出上下文窗口时仍完成预测与对账，而所有输入保持在截止之内。评测侧信息隔离：参考分析、评分细则与后续披露对 Agent 保密。

第二件套：专业任务分类法。

任务按分析师主要交付物分为七大类（共 86 题）：发现与立项（Discover & Frame，10 题）、研究与证据（Research & Evidence，13 题）、预测与建模（Forecast & Model，13 题）、评估与决策（Evaluate & Decide，14 题）、监测与更新（Monitor & Update，17 题）、综合研究（Integrated Research，11 题）、市场交易（Market Trading，8 题）。前五类下再分二十个子类（每类四个），例如：

• 预测与建模类下含 KPI 预测、收入/利润率/EPS、三表建模、跨公司预测四个子类；
• 评估与决策类下含估值、逆向估值、共识与盈余意外、概率化决策；
• 市场交易类下含价格预测、收益排序、波动率排序三个结果导向子类。

分类不按主题而按交付物，因为金融难度来自度量、假设与决策的相互依赖：输入必须跨报告口径可比，新证据必须证明预测更新的幅度与范围合理，投资立场必须由模型推出并指出何种证据会将其推翻。

第三件套：专家主导、AI 辅助的构建流程。

每个任务被转化为一个可验证的金融依赖图（financial dependency graph），把有来源的事实、金融假设、中间计算与投资判断用显式的金融关系（会计恒等式、收入桥、同业映射）连接起来。专家先固定任务要素（标的或股票池、期间、交付物、投资判断），在建参考分析时用 search 与 read 选取来源段落并附到论断与计算上——每条事实保留其发行人、期间、单位、来源版本与位置。

AI 辅助调查负责搜索缺失证据、测试假设、提出反例，多个 SOTA 模型审阅草稿，但是否采纳由专家决定。

再融资（refinancing）示例最能体现这种分工的价值：现金加现金流加未用信贷额度看起来足够，直到检查借款契约（covenant）——未用信贷不等于可提取信贷（drawable credit），专家把这条决定性依赖补进问题、参考分析与评分细则。

AWS 任务 O15 的校准案例同样精彩：Qwen 27B 的原始收入区间 [37,000, 39,600]（百万美元）没覆盖真值 42,232，却因为"窄"（宽度低于 40 亿美元）拿了 15.79 分；评审把细则改为中央 80% 区间（central 80% interval）并把宽度得分换成精度-不确定性联合得分，Qwen 的新区间 [37,650, 39,850] 覆盖失败得零分，Astra 的新区间 [38,500, 42,500] 覆盖真值但宽度过大只得 3.16/15 分——不确定性得分从此同时依赖信息量与预测准确性。

每条评分准则最终都链接到支持证据、可复现计算或显式金融判断，专家审阅截止有效性、单位、会计口径、假设与问题-细则对齐。

1.5 实验证据：11 个系统的全景与三重排序背离

评测协议。

86 个作业，所有模型共享六族工具（search、read、download、table_operations、bash、submit_answer），每任务限时 7,200 秒、最多三次提交。七个评分维度刻画答案内部质量：Result（要求输出的准确性）、Evidence（来源支持与计量基础）、Financial logic（经济解释）、Calculation（数值操作）、Reconciliation（关联量之间的一致性）、Decision consistency（结论与分析及授权的对齐）、Uncertainty（风险与敏感性）。

判分双轨制：数值准则由确定性检查评分，语义准则由 GPT-6 Astra 评分。市场任务使用单一 100 分 Result 准则，由声明的价格或排序损失计算。换判分模型的敏感性检验（附录 I.3）：换用 GPT-OSS-120B 时 Flash 从第三升至第二、Astra 仍第一、Opus 跌至第三——判分模型选择既改变绝对分也改变相对排序。

主要结果一：总分与剖面。

GPT-6 Astra 以 68.1 分居首，Claude Opus 5.5 以 66.9 紧随，DeepSeek V4.1 Flash 63.0、GLM 5.3 62.3、Qwen 3.8 Max 62.1、Hunyuan 4 Preview 60.4、DeepSeek V4 Pro 59.3、Kimi K3 58.2、Step 5 Preview 55.1、Qwen 3.8 27B 54.6、Ling 3.0 Flash 42.6。

但剖面差异显著：Opus 在 Result（60.6）与 Calculation（90.1）维度领先，Astra 在 Financial logic（79.0）、Reconciliation（89.4）、Decision consistency（84.4）、Uncertainty（83.6）领先，Qwen Max 在 Evidence（81.1）领先。

主要结果二：预测是集体短板。

Astra 在 Research & Evidence 拿 78.9、Evaluate & Decide 拿 77.6，但 Forecast & Model 只有 52.5；KPI 预测与跨公司预测分别只有 41.1 与 49.6。Opus 以 52.6 微弱领跑 Forecast & Model，并在 Monitor & Update（64.2）领先。

若只看已实现预测结果（realized forecast outcomes）排序则完全洗牌：DeepSeek V4.1 Flash 以 40.3 领先（Astra 37.7、Opus 37.6），DeepSeek V4 Pro 以 64.6 领跑 Market Trading 而其总分只有 59.3。

主要结果三：交易模拟再洗一次牌。

在 20 个机会（11 家公司、13 次披露）的回溯交易模拟中，规则为：预测高于/低于档存的截止前分析师预期则生成做多/做空信号，冲突与缺失持币；入场为截止后首个收盘价，出场为披露日后首个交易日收盘价；成本每边 10 个基点外加 3% 年化做空成本。

结果：Hunyuan 以 +8.50% 领先（最大回撤仅 2.72%），Flash +7.98%、Astra +7.18%（回撤 1.50% 全场最低），对比永远做多 +1.18%（回撤 7.63%）、永远做空 -2.27%；Kimi K3 的 +7.15% 超过 Opus 的 +6.39%，尽管其研究分更低。

研究质量、预测结果、投资绩效三套排序互不重合，单一聚合分无法刻画研究能力。

主要结果四：成本与 Agent 行为。

Flash 以每任务 0.36 美元拿到 63.0 分，Opus 花 22 倍的价钱（7.96 美元）只多 3.9 分。交互深度上，Flash 平均每任务 73.8 轮、113.8 次工具调用（中位数 67 轮、103 次调用），是全场最重的检索与计算用户；Kimi K3（26.7 轮）与 DeepSeek V4 Pro（34.1 轮）分别是 FrontierFinance 所报值的 2.6 与 1.6 倍，也远超 Finance Agent Benchmark 报告的 o3（13.5 轮）。

工具调用多不等于分数高：Opus 与 Qwen Max 的读取与计算次数相近，分数差 4.8 分。有效性能不在于工具用量，而在跨多步工作流协调证据检索、计算与金融推理的能力。

主要结果五：提交可靠性是独立失败源。

严格模式（必须成功通过 submit_answer 校验）下分数大幅下滑：

Hunyuan 在 17 条轨迹（37 报告题中的 16 道 + 1 道市场题）上压根没有调用提交；Step 5 的暴跌更多来自 32 次严格零分（被拒提交）；Opus 也有 5 次被拒提交。做出有用分析不等于能交付合格成果物。

主要结果六：专家细则修订的效应。

附录 F 对同样的 40 个结构化研究作业追踪四个开发阶段（两个固定求解器）：初始版 66.37 分、有效性修复后 67.03、预测计分修订后 63.78、问题修订后 62.56。有效性修复（修复问题-细则不一致）小幅提分，而预测计分与问题修订让分数下降——说明早期版本的分数部分来自宽松的计分规则。匹配案例：JPMorgan O26 给预测先验定日期后，Astra 从 38.5 升到 48.7（可归因的更新得到奖励）；AWS O15 联合计分后，Astra 从 49.1 跌到 18.2、Qwen 27B 从 64.9 跌到 13.4——原有的宽度得分确实在发放无根据的分数。

1.6 根源解释：错误集中在假设、口径与解释，而非检索或算术

论文第 4 节的依赖级分析是全文最有价值的部分。

AEP N27 案例：现金流质量与融资判断。

美国电力（AEP）2026 上半年经营现金流入从 27.11 亿美元增至 34.21 亿美元，但投资现金使用从 53.47 亿增至 66.02 亿，融资前缺口（投资使用减经营流入）反而从 26.76 亿扩大到 31.81 亿（+5.05 亿）；建设支出增加 15.86 亿，超过净投资增额 12.55 亿，因为其他项目部分对冲。

经营改善的 7.50 亿从哪来？净利润下降 4.41 亿与非现金调整上升 5.16 亿只能解释 0.75 亿；其余主要来自其他非流动负债变动贡献的 5.40 亿——客户存款与费率退款时点所致；净递延燃料调整从 -0.41 亿转为 +0.31 亿，但这 0.72 亿的净额调整无法区分总燃料回收。

11 个系统的成绩单：全部还原 8 项报告输入（11/11）、全部对平两条现金流恒等式（11/11）、但只有 5/11 算出两个融资缺口、只有 3/11 区分净递延燃料调整与总燃料回收、只有 5/11 达成"经营现金流更强但融资缺口更宽"的综合结论。取回输入并完成计算不等于理解依赖关系。

Tesla O80 案例：支持分析满分、预测结果零分。

Astra、Qwen Max、Opus 三个系统在交付量、营收、利润率三项预测上全部低估交付与营收、高估利润率，九项误差全部超出零分线（分别超过 38,410 辆、16.94 亿美元、2.03 个百分点）——三个答案全部拿零分的 50 分结果分与满分的 50 分支持分析分。单位、收入桥、建议都连贯，假设却错了。算术可以精确传播任何假设，但无法建立假设的预测有效性（predictive validity）。

GE Aerospace N06 案例：正确公式不等于有效论证。

仓位公式 L=wd≤b、w_max=min(1, b/d) 全对的公司未必理解保护边界。GE 2026 年 6 月 30 日的信用支持披露报告了约 70 亿美元的 GE Vernova 被担保义务、0.63 亿美元的备用准备金、约 1.7 亿美元的特定担保与贸易融资子集最大敞口，并声明总最大敞口无法合理估计——这些量度描述不同总体，相加或相减都不构成总损失上限。Qwen Max 拿满公式分却拿不到保护边界分；GLM 与 DeepSeek V4 Pro 拿公式分却拿不到总敞口识别分。

专家修订揭示评分本身的模糊性。

微软 O58 把重叠的 Cloud 收入与三个可加报表分部拆开后，双计才成为可测试的口径错误；JPMorgan O26 固定带日期的先验后，更新必须可归因于新证据而非未声明的基线。部分"模型错误"其实反映了评分要求本身的模糊。

论文的结论性判断是：失败集中在预测假设、会计口径、金融解释与决策一致性，而非检索或算术；金融 Agent 的瓶颈已从信息获取转移到假设校准与模型一致性。

1.7 知识反推：从基准设计反推领域知识

从 ILE 的设计可以反推出几条买方研究的隐性知识：

• 版本即证据：专业研究员引用的不是"某文档"而是"某文档的某版本"，可得时间的保守处理（宁可排除无法验证的记录）是对真实世界信息可得性的工程化尊重。
• 口径先于数字：微软云收入横跨三个分部不能当第四个分部加总——投研中最容易犯的不是算错而是口径错，所以 Evidence 维度定义在"要求的实体、期间、单位与报告口径"上。
• 更新的归因：预测先验必须固定在某日某时（如 2026-03-31 16:00 ET），后续变化必须可归因于新证据而非基线漂移——这是分析师"更新观点"的职业纪律。
• 可提取性依赖契约状态：信贷额度在违约状态下可能不可提取，资产负债表数字不等于危机时刻的可用流动性。
• 区间必须有意义：中央 80% 区间意味着 p10/p90 端点，宽度得分必须与覆盖联合计分——不确定性不是装饰性输出而是可计量的交付物。

1.8 通用灵感：超出金融的迁移

• 机制化边界优于提示化边界：告诉模型"不要用截止后信息"是无效的（公网 Codex 同样收到指令却有 57% 泄漏），把约束下沉到工具层与数据层才有效。任何需要时间旅行防护的 Agent 系统（回测、复盘、历史仿真）都适用。
• 评测单元决定诊断粒度：以"证据-假设-判断链"为单元，错误才能定位到具体依赖；以最终答案为单元，只能得到一个无法行动的分数。
• 三重结果分列呈现：支持分析、预测结果、投资绩效分开报告且承认排序背离，是对"聚合分崇拜"的方法论矫正。
• 专家-AI 分工的模板：AI 提反例、找缺证，专家定取舍——把 LLM 当作不知疲倦的评审助理而非决策者。
• 交付可靠性单独计量：分析质量与格式合规是两种能力，严格/宽松双模式报告让两者都可见。

第二篇：EPSBench——用会计 DAG 把预测变成可追溯的计算

📄 原文链接 | 代码

2.1 背景：EPS 预测缺一个共同表示

季度盈利预测要求 Agent 把金融证据连接到产生报告盈利的损益表科目上。既有预测类基准（ForecastBench、FutureX、FinDeepForecast）让 Agent 直接给出预测数字，通往数字的路径留在模型的自由文本轨迹里，无从比较。

而真实分析师是从下往上到达 EPS 的：先估收入，再估对抵成本，最后估其下科目，每项估计锚定一段具体证据。EPSBench 的出发点是：基准可以要求 Agent 按同样的顺序预测，让每项估计及其证据与最终数字一起被记录下来，误差就能追溯到它进入报表的阶段。

2.2 定位：共同的会计任务 + 点预测与区间双重评估

EPSBench 定位为研究"Agent 如何把金融证据转化为盈利预测"的会计任务基准：所有 Agent 估计同一家公司同一套驱动因子（drivers），会计关系决定 EPS；结果指标评估点预测与区间，驱动记录支持定量假设的比较。

它同时直面回溯式预测评测的三重效度威胁——训练暴露、网页事后修订、信息错配——用工具强制时点访问（tool-enforced point-in-time access）加记忆测试（memorization test）双管齐下。

2.3 问题定义：149 个公司季度的 GAAP 稀释 EPS 预测

每个实例（firm-quarter）要求 Agent 预测一家公司一个目标财季的 GAAP 稀释 EPS，只能使用业绩发布前一天及更早的文档。

• 发布日取业绩电话会与官方公告日的较早者（数据来自 IBES），信息截止 τ 定义为发布日减一天；
• 由于公司通常在季度结束数周后才发业绩，目标季度的结果在 τ 时已经存在但尚未公布——这正是分析师公告前一刻的真实处境；
• 基准含 149 个公司季度、86 家美国大公司（市值中位数 2,120 亿美元，85 家超 100 亿），公告窗口为 2025 年 12 月 2 日至 2026 年 6 月 24 日；
• 样本横跨八个板块：科技 20 家、消费周期 15 家、金融 14 家、工业 11 家、医疗 9 家、必需消费 7 家、通信服务 6 家、能源 4 家。

注意 GAAP 与 adjusted 的区分：基准全程评估 GAAP 稀释 EPS，Agent 必须在使用调整后数字作为证据时先与其区分。

2.4 解法：公司专属 schema + 共享会计计算器 + 固定信息环境

公司专属会计模式。

损益表结构因公司而异（银行报净利息收入，科技公司分产品与服务收入），不存在统一模板。EPSBench 为每个公司季度从其自身历史报表构建三件式 schema：

1. 基线（baseline）：上年同期（q-4）科目值；
2. 驱动因子（drivers）：多为相对基线的变化，四种形态——同比增速（yoy，适用于收入线与研发等规模项）、利润率变动基点（bps，适用于随收入锚定的成本项，δ=-20 即成本率降 0.20 个百分点）、绝对值（absolute，适用于利息、其他收益、所得税、稀释股本等非经营与资本结构项）、有效税率（rate override，适用于税项）；
3. 会计恒等 DAG：把科目组合成稀释 EPS，驱动因子是叶子。

构建流水线分模型阶段：o4-mini 从 10-K/10-Q 抽取损益表，deepseek-reasoner 读目标季前四个季度报表构建 DAG（若 q-4 是财年第四季无独立报表，则从年报减前九个月倒推），GPT-5.4 抽取税项与股本参考值。税项在 138/149 实例中表示为有效税率、10 个为绝对值、1 个两者皆有；股本与税项驱动附三个历史参考（最近季/过去十二个月/上年同期，取中位数为默认）。

验证标准极其硬核：在提取的上年基线值上执行 DAG，146/149 个 schema 把上年报告 EPS 复现到 1 美分以内，其余 3 个也在 4 美分以内（个别科目四舍五入会在最终 EPS 中累积）。schema 与逐实例验证结果一并发布，评测无需重新生成。

以微软 2026Q3 为例：基线是 2025Q3 的产品收入 153.19 亿、服务及其他收入 547.47 亿、产品成本 30.37 亿、服务成本 188.82 亿、研发 81.98 亿、销售与市场 62.12 亿、管理 17.37 亿、其他费用净额 6.23 亿、所得税 55.53 亿、稀释股本 74.61 亿股；公式链从总收入=产品+服务一路到 EPS=普通股东收益/股本；预测字段是 9 个驱动因子，每个字段附精确语义说明。

共享会计计算器。

Agent 不被允许手算 EPS——系统提示明令禁止直接预测总收入或 EPS 绝对值、禁止手工计算，Agent 只提交驱动因子估计，计算器（financial_calculate 工具）按拓扑序执行 DAG 返回整张损益表与 EPS。这一设计一举三得：

• 算术错误从评测中消失（所有模型共享同一计算路径）；
• 分数与逐行估计挂钩（把某个驱动重置回上年值即可度量其贡献——论文正是用这个反事实法识别"调整最大的驱动"）；
• 记录保存了 DAG 的每个中间节点。

每条驱动估计还必须附一行证据（evidence line）：“字段名：找到的具体证据（尽量带数字）→ 选定值”，且证据必须是该字段自己的分部/驱动信息，禁止从总收入或 EPS 总数反推（no reverse-engineering from consensus）——在新闻中遇到分析师共识只能在自己独立估计之后做合理性检查。

固定信息环境。

信息源三类，各覆盖证据的不同部分：

• SEC EDGAR 的 10-K/10-Q 财报：历史报表与明细披露（如剥离业务的账面净值）；
• Seeking Alpha 的业绩电话会纪要：管理层对目标季的展望（提示词直接指路 q-1 电话会）；
• CC-News 新闻：后续进展与市场信息，有时重复同样的指引。

全部经六个 MCP 工具暴露：财报分节列表/阅读（长文档可选节读）、电话会纪要阅读、新闻语义检索、新闻全文阅读、会计计算。服务器端阻断目标季财报与电话会，新闻检索覆盖 [q-1 电话会日, τ] 且对索引分片与每篇返回文章双重施加截止——文章有效日期取结构化标记、正文与 URL 中的最晚日期，缺失时回退抓取日，保守规则宁可把文章往后放。

新闻语料经七级 FineWeb 式质量过滤（文本清洗、语言识别、Gopher 重复与质量启发式、C4 规则、质量通过），URL/标题/MinHash 三重去重，Qwen3-Embedding-8B 嵌入为 516 个日分片 FAISS 索引（2025 年 2 月至 2026 年 7 月）。固定语料的理由很直接：实时搜索会返回公告后的页面；发布索引让别人可以复跑评测。

2.5 实验证据：与共识打平的点预测与全面失守的区间

六个模型（四厂商）在同一协议下各跑 447 次（149 实例 × 3 次），主 harness 为 OpenCode SDK 1.17.9（禁 shell/文件/网络，六 MCP 工具是唯一接口）。时间分离检查：四个模型的知识截止日早于全部公告；未披露截止的 Qwen 3.5 与 GLM 4.5 Air 中，前者落在评测窗口内，专门做了记忆测试（见下）。

点预测：领先组与共识无显著差异。

中位价格平减误差（PDE = |预测 − 真值| / 股价）：

• 分析师共识 0.111%；
• 领先组：Opus 4.6 为 0.113%、GPT-5.4 为 0.126%、GPT-5.5 为 0.131%——各自对共识的胜率都是 50%，配对差 90% 自助法置信区间全部包含零（Opus 的配对差中位数 -0.002pp，区间 [-0.011, +0.006]）；
• 落后组：Qwen 3.5 为 0.190%、GPT-5-mini 为 0.191%、GLM 4.5 Air 为 0.215%，胜率仅 28–38%，配对差显著为正。

意外方向准确率（预测报告 EPS 落在共识上/下哪一侧）同构分布：GPT-5.5 最高 63%，GLM 4.5 Air 最低 45%。所有六个模型都优于照抄上年 EPS（0.238%，胜率 21%）或上季 EPS（0.226%，胜率 27%）的历史外推基线。落后组误差也更分散：四分位距 0.34–0.44pp vs 领先组 0.23–0.26pp；PDE 超 1% 的实例数，落后组 13–23 个 vs 领先组 8–11 个。

区间预测：无一达标且系统性偏低。

名义 80% 区间的实际覆盖率只有 37%（Qwen 3.5）到 70%（Opus 4.6），且失误不对称：真值落在上界之上的比例达 20–38%（名义应 10%），下界之外 10–25%。

根因是点预测本身偏低——所有模型的中位带符号误差 +0.021 到 +0.048pp（正值代表低估），置信区间全部排除零；而区间几乎对称地围绕偏低的点（中点偏移 ≤0.004pp），整个区间被点预测拽着往下走。

分析师共识同样偏低（+0.028pp，区间 [+0.008, +0.051]），论文引用了经典的"预测走低至可击败目标"（walk-down to beatable targets）文献：管理层预期管理与时点暴露都可能是 Agent 偏低的来源。

区间得分（interval score，对 miss 处罚十倍距离、兼具 proper 性质，即谎报分位数无法改善期望得分）还揭示了覆盖率无法区分的问题：GPT-5-mini 覆盖率 50% 与 GPT-5.4 的 52% 相近，但均值得分 19.61pp 是其他模型（2.87–6.48）的三到七倍——少数"又窄又远"的区间拖垮了均值。GPT-5.4 与 GPT-5.5 点误差相近，但前者区间更窄（0.25 vs 0.33pp）、覆盖更低（52% vs 61%）、得分更差（4.29 vs 3.08）。

差距解剖：经营线是分水岭。

模型间差距在盈利大幅偏离上年水平的季度上拉开。把 149 实例按"报告 EPS 相对上年的价格平减变化"分三档：

• 49 个"近"实例：上年 EPS 已是好预测，各组差距小（模型 0.048–0.082% vs 共识 0.036%）；
• 50 个"远"实例：上年外推 PDE 高达 0.975%，共识 0.409%，领先组 0.392–0.398%，落后组 0.599–0.716%。

远实例上的行为差异：领先模型在 29–30/50 个实例上把上年外推误差至少砍半（落后组 12–19 个）、方向搞反的只有 5–6 个（落后组各 12 个）；它们给"调整最大的驱动"（反事实重置法识别）引用具体数字证据的比例 95–96%，落后组仅 35–72%——大幅调整需要具体依据（管理层指引、披露的交易金额）。

误差的报表分解（125 个有经营利润小计的实例，误差按经营利润/非经营增量/税与股本增量三段分解）：组间差距几乎全在经营利润阶段——领先组经营误差 0.089–0.098pp vs 落后组 0.149–0.166pp，非经营增量两组相近（0.007–0.020pp），税与股本段甚至是负增量（误差缩小）。

波音 2025Q4 案例将其具象化。

波音 11 月 3 日完成 105.5 亿美元的 Jeppesen/ForeFlight 剥离，约十二周后发业绩。预测问题不是卖价（那是公开的），而是当季确认多大利得——该利得进经营利润。领先三模型（Opus、GPT-5.5、GPT-5.4）均从卖价与三季报披露的待售资产账面净值推算出 80–96 亿美元利得，为 EPS 贡献 9.0–12.4 美元；Qwen 3.5 找到了交易却断定当季不确认利得、GLM 4.5 Air 同样接近零；GPT-5-mini 两轮输入约 96 亿但其他驱动把经营利润拉低 40–50 亿。波音报告 EPS 10.23 美元 vs 共识 -0.31 美元；六模型中位预测：GPT-5.4 为 10.48、GPT-5.5 为 9.16、Opus 为 8.78、GPT-5-mini 为 5.06、Qwen 3.5 为 -7.44、GLM 4.5 Air 为 -7.57。该单一驱动解释了领先组与落后组约 17 美元差距中的 10–12 美元。

信息源消融：互补而非冗余。

对 GPT-5.5 做三组消融（schema 与计算器不变）：

• 只留新闻与全信息打平（配对差 -0.000pp，区间 [-0.010, +0.009]），输入 token 降到约四分之一（196K vs 837K）；
• 去新闻留财报+电话：误差 +0.009pp [+0.002, +0.016]；
• 两者全去：误差 +0.033pp [+0.019, +0.047]，对共识胜率从 50% 掉到 31%。

实例级分析（以 0.057pp 为有害阈值）显示两种来源的依赖不相关（Spearman -0.01）：67 个实例去掉哪个都无害；32 个实例只在两者全去时受害（管理层指引同时出现在电话会与新闻预览中，信息重叠）；50 个实例依赖特定来源——17 个只在去财报+电话时受害、24 个只在去新闻时受害、9 个任一去除都受害。新闻提供财报后进展与现价，财报提供剥离业务账面值这类明细会计量，各有不可替代的三分之一。

harness 与推理力度敏感性。

换 harness（Opus 用 Claude Code 2.1.269、GPT-5.5 用自建 vanilla 循环）或拉满推理力度对点预测误差几乎无影响（配对差 -0.004 到 +0.001pp、区间全含零），但显著改变资源与区间：

• Opus 最大推理力度把输出 token 从 9.7K 拉到 40.5K，误差不动，覆盖率 70%→65%；
• Claude Code 默认力度就产出 36.4K 输出（接近其最大力度水平）；
• vanilla harness 让 GPT-5.5 省 33% 输入 token，PDE 反而略降（0.110%）。

记忆测试。

对窗口内发布的 Qwen 3.5 做无工具直问探针（引导/非引导两种提示、每实例各三次、PDE≤0.02% 记为命中，复制共识策略在此阈值下也有 9% 命中率故从紧）：2024 年公告的探针有命中（14–34%），2025 年 1 月起的 180 个探针与全部 149 个基准实例零命中；模型自述截止"2024 年 12 月"。无可检出的记忆。

资源与合规。

领先组每轮 35–49 次工具调用 vs 落后组 20–27 次，但输入 token 最多的却是 GPT-5-mini（1.35M/轮，28 次请求反复携带历史）——多读不等于读对。格式合规全部 ≥98.2%（九次不可解析中八次来自 GPT-5-mini；误差最大的 GLM 4.5 Air 反而 100% 可解析——合规不追踪误差）。

2.6 根源解释：为什么研究能力没有兑换成预测优势

EPSBench 的证据链条指向三个根源：

1. 低估是有系统的。 六个模型与共识全体偏低且置信区间排除零，这不是随机噪声而是行为模式——Agent 在新闻中接触分析师预期、管理层有把预期压低至可击败的激励，两者都把预测锚往下拉。
2. 区间跟着点走。 区间几乎完美对称地围绕点预测，点偏低则区间整体下移，于是上侧 miss 堆积——模型的不确定性表达没有独立于点估计的信息含量，这是校准（calibration）缺陷而非宽度缺陷。
3. 差距藏在经营判断里。 非经营线的估计各组都差不多（税与股本有历史参考值兜底，甚至缩小误差），真正区分水平的是经营利润阶段——能否识别剥离利得这类一次性项目、敢不敢把预测推离上年基线足够远、以及有没有数字证据支撑大幅调整。

这与 ILE 的"假设校准是瓶颈"结论跨基准互相印证。

2.7 知识反推：从 schema 设计反推分析师思维模型

EPSBench 的 schema 本身就是一份分析师心智模型的机器可读表达：

• 驱动因子的形态选择反映科目性质：收入与研发用同比增速（规模项随业务增长），销货成本用占收入比的基点变动（成本随收入锚定），税项与股本给绝对值或税率（取决于税法与资本结构而非经营，报表文档对它们说得少，故附历史参考值兜底）。
• 分解的粒度对齐披露结构：微软分产品/服务收入而非单一收入线，因为公司按此披露、证据也按此出现。
• “结果已存在但未公布"的任务观精确还原了公告前分析师的信息状态——这不是预测未来，而是用不完整信息估计已发生的现实。
• 反推禁令反映了投研的职业伦理：先有独立判断再对照共识，而非从共识出发找理由；与共识的巨大差距本身不是错的证据，只要有具体证据支撑。
• 保守日期规则：文章有效日期取多源最晚、缺失回退抓取日——宁可让信息晚可用，不让它早泄漏。

2.8 通用灵感：结构化中间产物作为评测基础设施

• 把计算收归基础设施：共享计算器消灭了算术方差，评测聚焦于假设质量——任何"多步推理+计算"型任务（工程估算、科学建模、财务建模）都可借鉴：让 Agent 提交结构化假设，由确定性引擎执行。
• 中间产物即归因武器：把某驱动重置回基线重算一遍，即得该驱动对误差的贡献——可重放（replayable）的中间记录让误差归因从猜测变成实验。
• 配对统计是硬通货：实例级配对差+自助法置信区间，剥离了实例间难度方差（远大于预测者间差异），这是小样本评测分辨力的正确打开方式；含零区间只说明"该样本量下未解决差异”，不建立等价性。
• 校准要单独立项评估：点误差与区间覆盖是两种能力，覆盖率、双侧 miss 率、proper 得分三件套缺一不可。
• 消融要留交互项：两信息源单独去除无害、同去有害的 32 个实例说明冗余是实例级性质，整体中位数会掩盖它。
• 反作弊规则写进流程：禁止从共识反推、禁止在工具失败时凭记忆编造 JSON——把最常见的失败模式显式封堵。

双篇合评：金融 Agent 评测的三条设计原则

把 ILE 与 EPSBench 并置，可以提炼出金融 Agent 评测（乃至一切回溯式预测评测）的三条设计原则。

原则一：信息集治理（information-set governance）是地基。

两篇论文用了两种互补机制：

• ILE 的版本化冻结库把每个文档版本的可得时间在采集时固化，约束在检索、读取、下载、表查询、计算、缓存全链路生效——这是重装备路线，工程代价高但滴水不漏，连"页面日期早于内容"这种隐蔽泄漏都被机制性消灭；
• EPSBench 的固定语料+服务器端日期过滤+保守有效日期规则是轻装备路线，规模小但每条边都审计到位，还补了记忆测试来封堵参数化记忆这最后一处泄漏。

共同教训是：提示词层面的"请勿使用未来信息"完全无效（ILE 公网对照 57% 泄漏是铁证），信息边界必须是数据结构与服务端的属性，不是模型的自觉。论文对比还给出了更微妙的一点：公网与库内的总分可以几乎相同（68.3 vs 68.1），因此分数本身无法证明边界合规——合规只能由证据来源本身保证。

原则二：计算可验证（verifiable computation）剥离算术方差。

ILE 让数值准则由确定性检查判分、结构化表查询结果冻结；EPSBench 干脆把整个损益表计算交给共享会计计算器，schema 本身经 146/149 复现到 1 美分的验证。

两者的共同逻辑是：金融预测的评测目标是假设与判断的质量，算术只是传导装置——把传导装置固定下来，分数的差异才纯粹反映判断差异，误差才能沿 DAG 回溯到具体科目或具体依赖。这也是两篇论文能做出"错误定位在经营利润阶段/预测假设阶段"这种诊断级结论的前提。

原则三：误差归因（error attribution）决定评测的行动价值。

ILE 的金融依赖图把每条评分准则锚定到来源、计算或假设，AEP 案例才能说出"11 个系统都对平了恒等式，只有 3 个分清了净额与总额"这种精确到依赖的结论；EPSBench 的驱动记录才能把 17 美元的组间差距拆成"10–12 美元来自处置利得驱动、其余来自收入与成本驱动"。

对比只报一个总分的评测，这类可归因证据直接指明改进方向：不是"检索更多"，而是"把一次性项目识别对"、“把假设推得离基线足够远”、“给区间注入独立于点的信息”。

共同发现：研究能力≠预测能力的立体论证。

• ILE 侧：总分第一的 Astra 预测类 52.5 分；支持分析满分的三系统预测结果零分（Tesla O80）；交易模拟冠军是总分第六的 Hunyuan；
• EPSBench 侧：与共识打平的点预测配上全面失守的区间；差距集中在经营判断而非信息获取。

合起来的推论颇为冷峻：当前前沿模型已经把"读证据、做计算、写报告"练得很好，但"为未来定价"的核心环节——提出可检验的假设、校准自己的不确定性——仍是结构性短板。

而更微妙的是，EPSBench 显示分析师共识同样系统性偏低（+0.028pp），模型的低估可能部分是"学到了行业的行为"（walk-down 与预期管理）而非纯粹的能力缺陷——评测不仅要与共识比误差，也要比谁更少继承共识的偏差。

差异与互补。

ILE 由买方机构与高校联合打造，追求覆盖完整研究流程的宽度（86 个作业、20 个子类、交易模拟），代价是构建重、扩展慢（作者也把"分解为可组合微任务图+多模型共识判分+难度加权计分"列为未来工作，并计划做反事实合成金融场景来隔离参数化记忆）；EPSBench 出自高校，选择单点深挖（一个指标、一套 schema、一种协议），配对统计与消融设计教科书级干净，代价是结论的外推范围限于大盘股季度盈利（且原始 schema 生成模型 deepseek-reasoner 已停止服务，扩展新季度需换抽取器）。

两者一宽一窄、一重一轻，恰好互补成金融 Agent 评测光谱的两端。ILE 严格模式暴露的"提交可靠性"问题（Hunyuan 17 条轨迹无提交）与 EPSBench 的格式合规（最差 98.2%）也提醒我们：交付能力本身就是 Agent 能力的独立维度。

另一个值得并列的细节是两篇论文对"记忆"的不同处理：ILE 坦承前沿模型可能在预训练中隐式记住了部分历史结果，把反事实实验列为未来工作；EPSBench 则用直问探针给出了"无可检出记忆"的实证。前者的问题意识加上后者的检验手段，才是完整的答案。

结语

金融是 Agent 评测最苛刻的试炼场之一：信息有时效、计算有口径、预测有清算日、判断有职业纪律。ILE 与 EPSBench 分别用版本化冻结与会计 DAG 把其中最柔性的两环——信息边界与计算正确性——变成了硬基础设施，然后把光打在剩下那环最柔软的地方：假设与校准。

两篇论文的结论互为镜像：模型的研究能力已经摸到专业门槛（与共识打平、支持分析接近满分），但预测能力还远未兑现（预测类 52.5 分、区间覆盖率最高 70%）。

对评测设计者，它们留下的方法论遗产是三原则：信息集治理、计算可验证、误差归因。对模型开发者，它们指出的改进路标是假设校准、一次性项目识别与独立于点估计的不确定性表达。而对所有做回溯式预测系统的人，有一条教训普适：

任何靠"请模型自律"维护的时间边界，都已经在泄漏了。

附录：两篇基准速览对照

论文信息

• Investor’s Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future? — Huangfei Jiang、Anning Hu、Kai Sheng 等，Prophetlab、RethinkLab、上海交大安泰、中国科大、Foresight Fund、IvyRock Asset Management，arXiv:2610.38342。原文 | 代码 | 数据 | 项目页
• EPSBench: Benchmarking LLM Agents for Earnings Forecasting — Yanbin Yin、Chuyu Xu、Liqin Ye、Jing Peng、Chao Zhang，Georgia Institute of Technology，arXiv:2610.38293。原文 | 代码