VISTA: A Visual Harness for Reasoning in an Interactive World 精读

论文链接：arxiv.org/abs/2610.02200 项目主页：vista-research.github.io 代码：github.com/joshhhhhan/VISTA 发表时间：2026年10月1日（arXiv v1） 机构：麻省理工学院（MIT） 作者：Qiushi Han*、Keya Hu*、Linlu Qiu*（共同一作）、Cathy Wu、Kaiming He

一、论文背景

1.1 ARC-AGI-3：把"智能"逼到墙角的交互式基准

ARC 系列基准由 ARC Prize Foundation（François Chollet 与 Mike Knoop 联合创立）打造，长期以来是"流体智能"测试的代名词。2026 年 3 月 25 日发布的 ARC-AGI-3 完成了从静态谜题到动态世界的跳跃：

• 环境形态：135 个回合制游戏环境（25 公开 + 55 半私有 + 55 私有），每个环境是 64×64 网格、16 色的视觉世界；
• 零先验设定：没有说明书、没有已知规则、没有目标描述——agent 只能观察状态、选择动作、从结果中反推世界的运作方式；
• 核心知识先验：环境刻意规避语言、数字、文字符号和可识别的现实物体，只依赖 objectness（物体恒存性）、基础几何拓扑、基础物理（重力、动量、弹跳）、agentness（识别"有意图的东西"）这些人类共享的认知底座；
• 评分指标 RHAE（Relative Human Action Efficiency）：不只看你能不能通关，还看你用多少动作通关。动作数与首玩人类持平得满分，暴力穷举被平方项惩罚——比人类多花 10 倍动作只能拿到 1% 的信用。

1.2 从 ARC-AGI-1 到 ARC-AGI-3：基准的三级跳

要理解 ARC-AGI-3 的分量，需要回看整个系列的演进逻辑：

• ARC-AGI-1（2019）：静态输入-输出变换谜题，测"从少量示例归纳规律"的能力。如今前沿模型得分已超 90%，趋于饱和；
• ARC-AGI-2（2025）：继续静态形式但难度升级，重新拉开了人机差距；
• ARC-AGI-3（2026-03-25）：彻底放弃静态形式，转入交互式游戏世界——从"看图找规律"变成"在未知世界里活下来并搞清楚规则"。

Chollet 对这一转向的表述是：这更直接地测试 agentic intelligence——真正的智能不在于你知道多少，而在于你能多高效地学会完全新的东西。ARC-AGI-3 发布时的官方测试里，所有前沿模型得分不足 1%（Gemini 3.1 Pro 0.37%、GPT-5.4 0.26%、Opus 4.6 0.25%、Grok-4.20 0.00%），而未经训练的人类玩家能解出全部环境。这个"人机鸿沟"正是 VISTA 登场的舞台。

1.3 此前为什么被当成"文本/符号问题"处理

ARC-AGI-3 的官方接口返回的是 JSON 格式的网格状态，这个工程事实把整个研究领域带上了一条特定的路径：

1. 语言 agent 路线：LLM 接收文本化的网格描述（如逐行颜色编码），在文本空间里推理再输出动作。问题是 64×64 网格的文本化约需 4,000 token，且文本序列天然破坏空间关系——“第 37 行第 12 列有个红色块"与它在画面中的视觉显著性完全是两回事。
2. 程序合成/符号世界模型路线：更主流的 SOTA 做法是让模型把环境抽象成可执行符号程序，在程序空间里模拟、规划、验证后再执行。Schema、ewma sv、Retrodict、Tycho 等排行榜顶尖系统全部依赖这条路线。

这条路径的深层假设是：交互式视觉世界太"重"了，必须先抽象成轻量符号才能推理。代价是把"看"这个人类最本能的认知能力排除在外——而人类恰恰是靠看就能源源不断地提取假设。

还有一个基准设计层面的背景值得注意：ARC Prize 官方排行榜只测"裸模型 + 统一系统提示”，不收录定制 harness（社区 leaderboard 单列）。官方论文明确警告不要把 harness 驱动的成绩解读为 AGI 进展，但也预期 harness 研究的好想法最终会内化进模型本身——正如 chain-of-thought 从外部技巧变成 o1 的内置能力。VISTA 正是这条"从 harness 到模型"演化路径上的关键证据：它证明了多模态模型缺的不是能力，是感知带宽。

1.4 视觉 Harness 概念的提出

VISTA（Visual Harness）问了一个反向的问题：如果多模态模型本来就擅长看图，为什么要逼它读网格文本？ 论文的核心主张是：多模态模型已经具备强大的推理能力，合适的 harness 能把这份潜力释放到交互式环境中——模型直接观察渲染图像、用自由格式自然语言推理、主动检索历史观察、发出游戏动作。harness 不训练任何模型、不做任何符号抽象，只负责一件事：把"看"的权利完整地还给模型。

二、论文定位和关联工作

2.1 两条技术路线的对垒

VISTA 是首个不使用程序合成就在 ARC-AGI-3 上达到完美/近完美成绩的系统。这个事实本身就有领域层面的意义：符号抽象并非通往交互式推理的必经之路，视觉带宽被严重低估了。

2.2 与传统多模态 agent 的区别

论文 Figure 1 刻画了三代 agent 设计的演进：

• (a) 语言 agent：文本观察，彻底放弃视觉通道；
• (b) 多模态 agent：图像被编码一次成视觉表示——但这个表示可能被压缩、有损，且上下文装满后旧观察会被丢弃或替换成文本摘要；
• (c) VISTA：模型可以在推理过程中迭代调用视觉工具，主动检索、放大、重组自己的视觉输入再行动。

一句话概括差异：传统多模态 agent 的视觉是"一次性快照"，VISTA 的视觉是"可反复调阅的过程"。

2.3 本周 harness 范式研究潮中的位置

值得注意的是，VISTA 发表的这个时间窗口（2026 年 9 月底至 10 月初），harness 研究正在集中爆发，形成了一波明显的范式研究潮：

• Turbo Harness（arXiv 2609.40330，Rutgers/Red Hat）：把全局优化出的 harness 按实例自适应裁剪，回收优化过程的副产品做成 playbook，为每个任务实例生成定制 patch；
• GUI-HARVEST（arXiv 2610.00948）：面向 GUI agent 的证据驱动 harness 进化，冻结骨干模型、自动优化截图对齐/失败诊断/可复用运行时修改；
• ActiveSaddler（arXiv 2610.00906，Microsoft/POSTECH/KAIST）：把 harness 优化的训练课程建模为非平稳 bandit，让课程与 harness 共同进化；
• 更早的 Self-Harness / Meta-Harness / Scaling the Harness（arXiv 2605.26112）等则奠定了"harness 是一等设计对象"的理论基调——同一模型换 harness 性能可差 6 倍。

在这股浪潮中，各家优化的对象各不相同：Turbo 优化实例适配、GUI-HARVEST 优化进化机制、ActiveSaddler 优化课程选择，而 VISTA 优化的是更上游的东西——感知带宽本身。当别人在研究"怎么把 harness 调得更好"时，VISTA 研究"模型通过 harness 能看到什么"。这使它与其他工作形成正交关系：视觉 harness 的设计完全可以与 harness 自动优化技术叠加。

三、问题定义

3.1 交互式视觉世界推理的本质困难

把一个多模态模型丢进未知规则的游戏世界，它面临的是三重困难的结构性耦合，可以概括为感知带宽 × 记忆保真 × 主动检视：

1. 感知带宽：环境状态本质上是视觉的（空间关系、物体外观、朝向细节），文本化过程必然丢信息、耗 token。而现有 VLM 的视觉输入又往往被降采样、被压缩——模型"看见了"却没"看全"。
2. 记忆保真：长程交互动辄数百回合、数千帧。VLM 把每张图编码一次，视觉表示可能已经损失细节；上下文逼近上限时旧观察被驱逐或压缩成文本摘要——而编码阶段根本不知道推理后期会需要什么细节。这是一个时间错配问题：信息在"还不知道有没有用"的时候就被不可逆地降质了。
3. 主动检视：人类玩家会盯着某个可疑的方块放大了看，会回放"我上一步到底触发了什么"。现有 agent 框架里没有对应机制——观察是被动接收的，不是主动获取的。

3.2 问题形式化

给定一个交互式视觉环境 E，agent 在每个回合 t 收到观察 o_t 和可用动作集 A_t，需要选择动作 a_t 并最终完成未知目标。VISTA 要解决的问题是：设计一套 harness，使得通用多模态模型 M 在不修改权重、不做符号抽象的前提下，在长程交互（数百回合）中维持并持续更新对 E 的世界理解，并以人类水平的动作效率完成任务。

约束条件同样重要：harness 必须是纯机械的（不含训练组件）、可整体迁移的（换环境只换动作空间定义）、极简的（每个基准只用同一套工具接口和极短 prompt）。

四、问题解法

4.1 三大视觉组件

组件一：视觉观察（Visual Observation）

模型收到的是环境的渲染图像而非文本网格。ARC-AGI-3 官方 64×64 帧经 8× 最近邻上采样为 512×512 PNG，约 308 个图像 token；而 64×64 文本网格需要约 4,000 token。同一个世界状态，图像表示的 token 成本是文本的 1/13，且天然保留物体外观与空间关系。值得强调的是：模型从未被告知这个世界是 64×64 网格——它像人类玩家一样，从画面本身去理解世界结构。

组件二：无损视觉记忆（Lossless Visual Memory）

环境返回的每一帧——包括动作之间的中间动画帧——都以原始分辨率保存在 harness 侧，按"回合号+帧号"索引，全程可寻址。这份记忆独立于模型上下文：上下文里装了什么、压缩了什么、丢弃了什么，都不影响记忆库里的原始数据。它解决的是"编码时不知道以后需要什么"的时间错配：先无损保存，再按需取用。

组件三：视觉检视（Visual Inspection）

模型可主动检索视觉记忆，操作发生在两个维度：

• 空间维度：对任意帧的任意矩形区域请求全分辨率放大视图——整图里看不清的小块朝向、细节颜色，放大 13 倍后一览无余；
• 时间维度：检索任意早期回合的多帧，比较状态差异、回放一个动作如何通过中间动画帧逐步展开。

这相当于给模型一个对交互历史的显式注意力（explicit attention over interaction history）：看哪些帧、看哪个区域、看多细，由模型在推理时自主决定。

4.2 逐回合流水线

每个回合的执行流程：

1. 模型收到当前视觉状态 + 可用动作列表；
2. 查阅两份自维护笔记：GUIDE.md（跨等级持久的游戏规则理解）与 WORKING.md（当前等级的草稿与状态）；
3. 可选执行 inspect（检视旧帧/放大区域）、read pixels（读取区域内像素精确数值）——这些调用不消耗游戏动作；
4. 自由格式自然语言推理（假设—预测—计划）；
5. 调用 play(action, x, y) 执行恰好一个游戏动作——唯一改变环境、消耗 action 预算的步骤；
6. 上下文接近上限时写交接摘要，在新鲜上下文中恢复（笔记、视觉记忆、动作历史全部保留）。

4.3 工具接口与纯机械性

4.4 一个具体的运行样例

论文与项目主页给出了形象的轨迹示例，说明三大组件如何配合。设想模型在一个有重力翻转机制的游戏里：

1. 观察：模型看到当前 512×512 画面，注意到几个可疑的蓝色小块排成一条弧线；
2. 假设：自由格式推理提出"重力方向可能与蓝色块排列有关"的猜想；
3. 检视（时间）：模型发起一次 inspect，同时取回 4 帧——重力翻转前、翻转中、翻转后的画面并排比较，重建整个地图在状态切换期间的变化；
4. 检视（空间）：对某个小块所在的矩形区域请求放大视图，把 13× 缩放后的细节图与整图对照，确认小块的朝向确实随重力方向变化；
5. 验证：read pixels 拿到该区域的精确颜色数值，排除相近色之间的混淆；
6. 行动：显式写出"我执行 up，预期蓝块下落一格"的预测，然后调用 play——下一帧观察立即验证或推翻假设；
7. 沉淀：确认的规则写入 GUIDE.md（供后续等级复用），当前关卡的进度草稿更新到 WORKING.md。

整个过程里，harness 做的只是取帧、裁剪、放大、读像素——纯粹的机械操作；而选择看什么、何时看、看多细、看完怎么想，全部由模型自主决定。智能在模型，带宽在 harness，这就是 VISTA 架构的分工本质。

五、评估指标与实验证据

5.1 主实验：ARC-AGI-3 上的跃迁

RHAE 指标回顾：动作数与首玩人类持平得 100%，更少最高 115%，更多则按 (人类动作/agent 动作)² 给部分分，未完成记 0，后面的等级权重更大（w=ℓ），最终报告 25 个公开游戏的平均分。

几个值得咀嚼的细节：

• Opus 5.0 的逐游戏成绩表中每个游戏都是 100.00，逐游戏动作比（agent/人类）最低到 0.20×，总计 0.43×——不是险胜，是碾压；
• GPT-5.6 Sol 唯一失分的游戏 ls20 拿了 75.03，其余全部满分；
• 3D 渲染版（视觉条件更苛刻）RHAE 仍达 84.12，证明方法对感官输入形态的鲁棒性；
• 开源的 GLM-5.3 Flash 提升幅度最夸张（1.89 → 66.93，+65），说明弱模型的瓶颈更多在 harness 而非能力本身。

5.2 六步消融：一条干净的因果链

这是全文最漂亮的实验（GPT-5.6 Sol max，Figure 5）：

三个关键单步贡献：图像观察 +33.99、核心视觉组件（无损记忆+检视）+24.05、像素读取 +4.90。因果链清晰：光是"让它看图"就解开了三分之一的封印，而"让它随时回看、放大看"又贡献了最大的一块增量。

5.3 与程序合成 SOTA 的正面对比

不用程序合成，VISTA 匹配或超过了所有并发工作。

5.4 表示、上下文与尺度的细粒度分析

• 观察表示（其余 harness 不变，Figure 6）：文本网格 96.75 分 / 10,614 动作 / 71.9M token 每游戏 vs 图像 99.00 分 / 9,126 动作 / 30.7M token——图像观察性能更好、动作更少、token 不到一半；
• 上下文长度（Figure 7a）：100K→98.6、200K→99.0、500K→94.4——200K 最优，更长的上下文反而轻微退化（长上下文里的信息稀释效应）；
• 输入图像尺度（Figure 7b）：2×→96.6、4×→99.7、8×→99.0、16×→88.3——4× 上采样已饱和，16× 反而变差且更贵。这两个实验共同给出一个反直觉结论：感知质量比感知数量更重要。

5.5 泛化：同一 harness 极少改动直接迁移

三个外部基准（均为 GPT-5.6 Sol + VISTA，harness 只换动作空间与任务描述）：

AI GameStore 上 140.3 意味着超过人类中位数玩家 40%；BabyVision 是纯静态任务（不涉及交互），VISTA 的检视机制照常生效——视觉 harness 的价值不局限于交互场景。

六、效果优势的根源解释

6.1 图像观察：恢复被文本化切断的空间关系

文本网格把二维空间压成一维序列，模型必须靠"坐标心算"重建空间关系——这既耗费推理预算又容易出错。512×512 图像让模型直接动用预训练中习得的视觉先验：物体恒存性、遮挡关系、朝向、对称性，这些在视觉预训练中早已内化的能力，在文本接口下完全没有用武之地。换表示不是换了个输入格式，而是接通了一整条被闲置的技能管线——这解释了 +33.99 的单步跃迁。

6.2 无损记忆：解除上下文压缩对长程状态的挤压

传统多模态 agent 的记忆链路有两次损耗：编码时的视觉压缩（有损）、上下文满时的摘要替换（二次有损）。一个 300 回合的任务里，第 10 回合某个方块的确切颜色，可能在第 200 回合成为破案关键——但传统架构里它早已不存在了。VISTA 的解法在信息论意义上很朴素：存储与使用解耦。原始帧全部保留（存储便宜），只把当前推理需要的帧放进上下文（使用昂贵）。上下文压缩不再是信息损耗点，只是检索调度问题。

6.3 主动检视：“看清再动"的行为经济学

检视与像素读取不消耗游戏动作，而 play 消耗。这个不对称设计直接改变了模型的行为模式：看是免费的，动是收费的——理性策略自然是反复看、放大看、回放看，直到假设收敛再出手。配合 play 前的显式结果预测（假设—验证循环），模型的行为从"试错驱动"转向"观察驱动”。7,302 vs 17,135 的动作对比就是这种行为模式转变的量化体现：VISTA 的动作少，不是因为它更保守，而是因为它每次动手前看得更清楚。

6.4 Harness 释放的是感知带宽，而非新能力

回到最根本的问题：+59 分的提升来自哪里？论文的消融证据给出了一个清晰的回答——不是模型变聪明了，是模型本应具备的感知带宽被接通了：

• 同一个模型，官方实现 13.33 vs 完整 VISTA 99.00，差 6 倍多的全部变量都在 harness 侧；
• GLM-5.3 Flash 上，去掉视觉 harness 的 VISTA 骨架只有 13.27，加上视觉组件到 66.93——视觉通道的开与关解释了几乎全部差异；
• 更长的上下文不涨分（500K 反而低于 200K）、更高的分辨率不涨分（16× 反而低于 4×）——瓶颈从来不是"给得更多"，而是"取得对"。

这与"harness 缩放轴"研究（Scaling the Harness，arXiv 2605.26112）的框架形成交叉印证：agent 性能 P = Φ(R, M, C, S, O, G)，其中 R（推理基座）由模型缩放改善，而 M（记忆）、C（上下文构建）等由系统缩放改善。VISTA 的工作可以精确地描述为：固定 R，重新设计视觉域的 M 与 C，把多模态模型的 Φ 曲线在交互式环境里整段抬起。它没有发明新能力，它只是拆掉了挡在能力和任务之间的三堵墙。

七、必要知识反推

如果要在读这篇论文之前就理解它的全部内容，需要预先掌握哪些知识？反推如下：

1. ARC 基准家族的设计哲学：Chollet 的"流体智能 vs 晶体智能"框架、核心知识先验理论——否则无法理解为什么"不用语言的任务"反而是更纯的智能测试；
2. Agent harness 的概念谱系：从 ReAct 式简单脚手架到 Claude Code 式生产级 harness 的演进，以及"同一模型不同 harness 性能差数倍"的实证结论——这是理解 harness 研究为何值得的前提；
3. VLM 的视觉编码机制：图像 token 化、分辨率与 token 数的换算、视觉编码的有损性——否则无法体会"无损记忆"针对的痛点；
4. 上下文窗口的管理策略：上下文压缩、摘要替换、多轮对话中的信息损耗——这是理解"编码时不知道以后需要什么"这一时间错配问题的基础；
5. RL/交互式环境的 MDP 框架：观察、动作、回合、奖励的基本术语——虽然 ARC-AGI-3 没有显式奖励，但交互循环的形式是同构的；
6. 程序合成 agent 的基本做法：为什么"把环境写成程序再在程序上模拟"是文本路线的自然终点——才能理解 VISTA 跳过这一步的意义；
7. 消融实验的因果推理逻辑：单变量增量分析如何支撑组件归因——这篇论文的消融链是教科书级的示范。

其中第 2、3、4 条是理解本文创新点的关键前置——VISTA 的三大贡献全部建立在对"现有 agent 感知链路损耗在哪"的精确诊断之上。

八、通用性灵感

8.1 Harness 即接口设计：感知带宽是第一设计对象

VISTA 最可迁移的思想不是"给游戏 agent 加视觉工具"，而是一个一般性原则：当你发现 agent 表现不佳时，先审计它的感知带宽，再考虑换模型。具体来说：

• 审计信息损耗点：模型看到的每个输入，从原始信号到进入上下文，经历了几次转换？每次转换丢了什么？文本化、降采样、摘要替换是最常见的三个静默损耗点；
• 把"看"变成可调用动作：不要让观察只是被动推送进上下文，让模型能主动发起检索——放大、回放、读原值。被动感知的带宽上限是上下文窗口，主动感知的带宽上限是存储总量；
• 存储与使用解耦：原始数据（截图、日志、文件快照）的存储成本远低于上下文占用的推理成本，无损保存 + 按需检索几乎总是优于"压缩后塞进上下文"。

8.2 对编码智能体的启示

编码智能体领域有个几乎同构的现象：模型盯着一个几百 token 的报错摘要反复修改，而完整的失败现场（终端回滚记录、测试输出全文、出错的完整堆栈）就在那里。VISTA 的思路搬过来就是：

• 保留每次工具调用的完整原始输出（无损记忆），而不是只留摘要；
• 给模型"放大"工具——查看某个函数的完整定义、某个文件的完整 diff，而不是依赖检索到的片段；
• 让"查看"类工具调用免费、“修改"类操作昂贵（需要确认或消耗预算），诱导"看清再改"的行为模式。

8.3 对 GUI 智能体的启示

GUI 智能体与 VISTA 的场景最接近：截图就是视觉观察，历史截图就是视觉记忆。当前多数 GUI agent 每步只看当前截图，历史信息靠文本化摘要。VISTA 的直接启示是：保存全历史截图、支持区域放大（icon 级别的细节检查）、支持历史回放（“我三步前点的按钮到底触发了什么弹窗”）——GUI-HARVEST 等工作中"前后截图对齐诊断"的做法已经部分印证了这个方向。

8.4 一个更深的元启示

2026 年的 harness 研究潮里，各家分别在优化 harness 的不同轴：Turbo 做实例适配、GUI-HARVEST 做自动进化、ActiveSaddler 做课程调度、Scaling the Harness 做理论框架。VISTA 提醒我们一个容易被优化浪潮掩盖的优先级问题：在这些优化开始之前，先问一个更原始的问题——模型通过现在的 harness，到底能看到什么？ 感知带宽是所有上层优化的地基。一个在 4K token 文本网格上做实例自适应优化的 harness，天花板远低于一个直接看图的朴素 harness——VISTA 用 13.33 → 99.00 的跨度为这个优先级做了最直接的背书。

对从业者的行动建议浓缩成一句话：下次 agent 效果不好，先别换模型，画一张感知链路损耗图——从原始信号到模型上下文的每一次转换都标出来——大概率最大的那块损耗，就藏在最不起眼的那次"格式转换"里。

参考文献