论文链接：

• EditAgent: Rethinking Agentic Image Editing (arXiv:2610.39664)
• L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory (arXiv:2610.40614) 项目页：L3G-World（EditAgent 未附公开代码链接） 发表时间：均于 2026 年 10 月 29 日提交 arXiv 机构：
• EditAgent：UC San Diego + Adobe Research（高校 + 企业合作，一作为 UCSD 博士生在 Adobe 实习期间完成）
• L3G-World：KAIST AI + KAIST Urban AI Institute + 梨花女子大学（纯学术） 领域标签：cs.CV / 智能体图像编辑、视频世界模型与实时生成

一、引言：生成模型的效率账，不只算在生成器头上

视觉生成模型这两年进步飞快，但把它们放进真实系统里跑，账单会从两个意想不到的地方涌出来。

第一张账单来自生成器周边的流程组织。图像编辑智能体（agentic image editing）把复杂请求拆成步骤、跑「规划-编辑-评判」循环，看起来很合理；可当一步失败时，它做的事情大多是「再试一次」——用同一个通用编辑器、同一种目测评判，在上一轮的结果上继续改。EditAgent 团队用专家标注的数据给出了一个刺眼的数字：通用编辑器在 42.7% 的请求上产不出任何可用结果，而无论怎么换裁判器——包括专门微调的奖励模型——没有一个是跨编辑类型最可靠的。换句话说，瓶颈根本不在「再试一次不够多」，而在智能体能做什么（动作空间）与裁判能看到什么（观测空间）这两个更基础的容器上。

第二张账单来自生成过程的记忆结构。交互式世界模型要支持用户在无限场景里自由探索，难点是走了几百米再回头，场景还得是原来那个样子。现有路线要么靠时序上下文（历史帧或 KV cache），记忆随生成流长度线性膨胀直到 OOM；要么靠显式 3D 记忆（点云或 3D 高斯），但前馈式方法逐帧稠密累积、冗余堆积渲染越来越慢，优化式方法虽然紧凑却慢到无法实时。L3G-World 给出的答案是让 3D 高斯记忆只随场景范围而非生成长度增长，并让每个高斯直接携带 VAE latent——33K 个高斯就能撑起 481 帧的闭环探索，端到端 9.02 FPS。

这两篇论文一个编辑静态图像、一个生成动态世界，表面相距甚远，但读完全文会发现它们做的是同一件事的两种写法：不动生成器本身，而是重新组织生成器周围的「动作集合」与「状态记忆」，把被浪费的算力与被错放的信任找回来。本篇按惯例先逐篇深读（题目/背景/定位/问题定义/解法/知识反推/通用灵感七部分），最后回到两条效率路线的对比与交汇。

第一篇：EditAgent——当失败时，智能体需要的不是重试

二、论文一：题目与背景

2.1 题目拆解

「EditAgent: Rethinking Agentic Image Editing」的题眼在 Rethinking（重思）：作者不是又一个「新智能体框架」，而是对整个 agentic editing 范式做了一次诊断性反思。反思的结论浓缩成一对概念——动作空间（action space，智能体能做什么）与观测空间（observation space，裁判能看见什么），并论证现有系统同时被这两个空间卡死。

2.2 背景：真实请求从来不是单一编辑

指令式图像编辑模型已经很强，但真实请求很少只问一处改动。论文开篇的例子是：「把我移到画面左侧，拉宽构图露出更多海滩，去掉我身后走动的路人，再调成日落的样子」——今天的编辑器往往会完成其中几项、悄悄丢掉其余。智能体编辑系统用「规划-编辑-评判」循环应对这种复合请求：拆步骤、逐步执行、判断成败。问题出在失败分支上：步骤失败后，系统几乎总是用同样的工具、同样的裁判再试一次——细化提示词、回滚重做，工具集合与评判方式始终不变。

作者由此提出全文的引导性问题：当编辑智能体失败时，它真正需要的是再一次尝试吗？如果不是，它需要什么？

2.3 修图师的类比

论文用职业修图师的工作方式作答：面对复合请求，修图师会给每个部分挑不同的工具，检查结果时会放大细看、前后对比。修图师不会单纯重试，而是换一种做法、看得更仔细。EditAgent 的两个空间扩展正是这个类比的形式化——动作空间扩展对应「换一种做法」，观测空间扩展对应「看得更仔细」。

三、论文一：定位与问题定义

3.1 定位：先诊断、后设计的两层框架

EditAgent 的定位有两个层次。方法论层，它是一篇「诊断驱动」的工作：先建一个专家标注的诊断基准，把两个空间的短板量化钉死，再让每个设计决策都对应一条诊断结论。系统层，它是一个可以套在任意通用编辑器上的智能体框架：以 Qwen-Image-Edit-2511 和 FLUX.2-klein-9B 两个开源骨干实例化，不改动骨干权重，即可跨三个基准提升，还能反过来当数据引擎生产训练数据。

3.2 诊断基准：600 组、30 类型、五位专业修图师

诊断基准的构造相当扎实：600 个编辑集合，覆盖 30 个细粒度编辑类型（每类 20 组），分成六组——内容（增删替换移动）、风格与效果、场景（背景/季节/时段）、光度（亮度/对比度/饱和度）、几何（视角/缩放/旋转/翻转/外扩）、增强（修复/去模糊/锐化）。每个集合含源图、指令、2–4 个候选编辑，候选来自通用编辑器（FLUX.2-klein-9B）与专用方法两条管线。五位职业 Photoshop 修图师在共享界面里共同标注每个集合，选出所有「可接受地完成了指令」的候选构成 winner set——注意是选出全部可用者，而不是只挑最好的，这为后面评估裁判器提供了干净的真值。

3.3 动作空间的诊断：一个编辑器不够，采样也救不了

按 winner set 构成划分 600 组：仅含通用编辑器候选的 254 组（42.3%）、仅含专用方法候选的 175 组（29.2%）、两者都有的 90 组（15.0%）、全不可用的 81 组（13.5%）。由于每组都含通用编辑器候选，通用编辑器在 256 组（42.7%）上失败，专用方法救回其中 175 组。失败分布高度结构化：风格与效果类 73.8% 的集合通用编辑器就够；而增强类 72.5%、几何类 66.7% 的集合只有专用方法可用。

更关键的是「加采样救不了」的对照实验：给通用编辑器更多采样次数（parallel sampling + verifier 筛选），其交付编辑可用率仅 45.2%；换成含专用方法的池子，可用率 68.2%。在恰好只有一个可用交付的 296 组里，217 组来自含专用方法的池。一个编辑器不够，哪怕采样更多也不够——这是动作空间必须扩展的直接证据。

3.4 串行精修还是并行搜索

第二个诊断问题：固定预算下，候选该串行精修还是并行生成？在 144 个 Complex-Edit 样本（复杂度 1/4/8 级）上的盲测：五种预算（4 次图像生成）下，串行精修需要 3 次反馈调用加 1 次选择调用，并行搜索至多 2 次 VLM 调用；五位专业编辑在 102 组里偏好并行搜索、28 组偏好串行精修、14 组平手——并行搜索赢下 78.5% 的非平手比较，裁判调用至多一半。机制也不难理解：文生图里串行精修有效，但编辑必须忠于源图，串行精修不断编辑自己的输出，早期误差会累积传播；并行搜索的每个候选都直接从源图出发。

3.5 观测空间的诊断：没有裁判器处处最强

第三个诊断问题：逐个目测打分的裁判够用吗？在 515 个至少含一个可用候选的集合上评估 Winner-Set Hit@1（裁判器最高分候选落在 winner set 里的比例）：最强的 EditScore-72B 整体 74.8%，但只在「场景」一组最优；Qwen3.8-27B 在三组最优，却在光度组只比随机基线高 5.2 个点。最说明问题的是 CLIP-I（源图与候选的 CLIP 相似度）：它在光度与增强组是最准的裁判——因为正确结果本来就该变化很小——却在风格效果与几何组等于或低于随机——因为那类请求需要可见的大改动。裁判器需要观测什么，取决于编辑类型本身。

那偏好微调是解药吗？在 EditScore 自家的 EditReward-Bench 上，EditScore 家族拿到 65.9–70.3%，四遍集成后 EditScore-72B 达 76.3%；而免微调 VLM 逐个打分（pointwise）就有 71.7–73.8%，若把候选并排放进同一次调用做比较（listwise），直接升到 85.2–86.1%。EditScore 模型因微调于固定输入输出模板，反而不支持这种比较式评判。裁判器看见什么，可能比它怎么训练更重要。

四、论文一：解法（Method）

4.1 整体流程：三段式循环

给定用户请求，规划器拆出有序步骤；每一步内部走三段：

1. 规划与路由（Plan and Route）：分析器写明本步的编辑操作与目标，路由器从能力池中挑出适用的方法；
2. 并行生成候选（Generate Candidates in Parallel）：被选中的方法从同一张源图并行生成候选，每个候选自带验证记录；
3. 验证与比较（Verify and Compare）：免微调 VLM 裁判在一次调用里读源图、全部候选与各自的证据，要么接受一个候选，要么返回反馈触发有界重试。

每个被接受的图像成为下一步的源图，其满足的要求被携带前进，供后续轮次核验。

4.2 扩展动作空间：能力池的八类方法

除通用编辑器外，能力池包含八类专用方法：SAM 2.1 掩码内的局部编辑与重着色、OSOR 物体移除、专用模型的物体移动、分割加合成的主体缩放、全局与局部光度算子、风格滤镜与神经风格迁移、翻转与旋转（含转正）、裁剪加超分的放大与外绘（outpainting）的缩小。路由规则把每步变成「至少贡献一个候选」的方法集合——不同方法探索请求的不同实现方式，同一方法内的重复采样探索方法内的变化。地面器（VLM + SAM 2.1）在方法需要掩码时定位目标。实现上 Qwen3.8-27B 一人分饰规划、分析、接地、裁判四角，每次尝试至多生成三个候选，每步允许两次重试、每轮允许两次重规划。

4.3 扩展观测空间：验证记录 + listwise 裁判

观测空间的扩展分两步。第一步是比较式评判：所有候选连同源图、指令放进一次 VLM 调用，每步只需一次调用，比较结果天然产出重试所需的反馈。第二步是验证记录（verification record）：正如修图师用不同手段检查不同操作，不同编辑需要检查不同性质——局部编辑要查目标改动与无关内容的保持，几何变换要查方向与幅度。其中一部分性质可以由代码在执行期核验，另一部分留给视觉判断；EditAgent 把它们收集成每个候选的记录一并交给裁判。记录的形态包括变化图（change map）、编辑区域特写、目标掩码、亮度与色彩统计、几何量（倾斜/缩放/位置），以及程序化检查的结果与「仍需目测」的清单。

论文里有个直观例子：「轻柔提亮照片、保持色彩不变」——通用编辑器候选的记录写着亮度 0.80、13.0% 像素裁剪、色温偏移 +9.3；光度算子候选写着亮度 0.45、0.1% 裁剪、色彩不变。裁判器不必用肉眼分辨微妙差异，读数就行。另一例中移除专家留下的模糊棋盘格纹理，在编辑区域特写里一眼现形。

4.4 跨轮保持：历史检查

步骤裁判一次只看一步，后面的编辑可能悄悄撤销前面的成果——论文的例子是第二轮「放进更多日光」把第一轮「给玻璃上霜」的霜化掉了。历史检查在每个轮次后向 VLM 展示原始图、此前各轮结果与当前图，逐条询问早先请求是否仍然成立；确认违规时执行一轮修复，且仅当步骤裁判接受修复结果才采纳。

4.5 作为数据引擎

因为 EditAgent 会给每个未通过裁判的编辑打上标记，它的完全通过会话天然是训练数据。用 FLUX.2-klein-9B 作通用编辑器跑出约 25.7K 个会话（平均四轮），每个会话产出一条「源图 + 会话级指令 + 最终编辑图」的训练样本。

五、论文一：实验证据

5.1 裁判器：证据让免微调 VLM 反超微调奖励模型

诊断基准上把 Qwen3.8-27B 的观测空间逐级扩展：pointwise 71.6% → listwise 73.6%（六组中四组受益）→ listwise + 证据 81.3%，比 Fig. 2b 里最强裁判 EditScore-72B 的 74.8% 高出 6.5 个点。有意思的细节是：单独 listwise 在光度组（54.2%→47.2%）与增强组（65.0%→36.8%）反而掉分——恰是「正确结果变化很小」的两组，并排比较会诱导裁判偏好可见改动；加回证据后两组恢复到 64.4% 与 80.3%，证据恰好补上比较失效的地方。

这个增益不挑模型：七个免微调 VLM 全部提升 6.3–9.3 点。没有记录时没有一个追得上 EditScore-72B 的 74.8%；有记录后每一个都超过全部四个微调奖励模型，Qwen3.8-Flash-Next 达 82.8%，高出 EditScore-72B 8.0 个点。

5.2 主基准：三个基准、两个骨干全面上分

• EdiVal（572 个三轮会话）：Qwen-Image-Edit-2511 + EditAgent（1024px）第三轮 EdiVal-O 从 59.80 升至 62.58；FLUX.2-klein-9B + EditAgent 三轮为 84.46 / 71.10 / 59.45（骨干单独 81.37 / 66.30 / 53.20）。
• ComplexBench-Edit（763 条组合指令）：均值 Qwen 骨干 +6.43（54.40→60.83）、FLUX 骨干 +3.06（61.45→64.51），五个组别全部改善。
• Complex-Edit（8,496 例）：总分分别 +0.074 与 +0.036。
• 跨基准统计：专用方法交付了 19% 到 31% 的被接受步骤——动作空间扩展不是摆设。

与七个智能体编辑器（同骨干同 VLM）对比：EditAgent 两个骨干上三轮全部最优，FLUX 骨干第三轮 59.45 对最强基线 RISE-Agent 的 58.42，推理成本 6.3 H100 GPU 小时，低于 RISE-Agent 的 7.2 与 MIRA 的 11.3。

5.3 数据引擎：验证过的会话才是好监督

用两套数据各微调两个编辑器一个 epoch（输入完全相同、只有最终图不同）：EditAgent 数据让 Qwen-Image-Edit-2511 的 EdiVal-O 第三轮 +1.95（49.66→51.61）、FLUX.2-klein-base-9B +2.00（54.53→56.53），ComplexBench-Edit 均值分别 +3.17 与 +2.14；更值得注意的是，直接用 FLUX.2-klein-9B 生成的数据在全部三个基准上让 FLUX.2-klein-base-9B 变差，而 EditAgent 数据让它变好——通过裁判验证的会话提供的是更高质量的监督，而不只是更多的样本。

5.4 消融：两个空间各自值多少分

EdiVal-O 第三轮逐级拆解：骨干单独 47.64 → 加智能体骨架（规划/分析/历史检查/重试）49.43 → 加动作空间扩展 52.37（+2.94）→ 加并行比较 53.18 → 加验证记录 55.46（观测空间合计 +3.09）。关键的对照组：把能力池换成 K 份通用编辑器拷贝，K=2/4/8 只得到 47.53 / 48.90 / 49.01——把同一个编辑器采样八遍也复现不了动作空间的增益，与诊断实验互相印证。

5.5 代价与局限

论文诚实写明：EditAgent 的推理时间约为独立编辑模型的 10 倍，性能上限受制于底层编辑方法。但数据引擎角色可以摊销这笔成本——先贵后便宜地训练出更强的独立编辑器。

六、论文一：知识反推——复现它你需要知道什么

领域层：

• 智能体编辑的「规划-编辑-评判」循环与多轮编辑的误差传播结构（每轮编辑上一轮输出），这是「并行搜索优于串行精修」结论的物理前提；
• 指令编辑评估的三条主线：CLIP 相似度类指标、PSNR/SSIM/LPIPS 保持类指标、VLM 评分类协议，以及它们各自失真的方向（CLIP-I 偏向「少改动」）；
• SAM 2.1 掩码、OSOR 移除、光度算子、外绘等专用工具的输入输出接口——能力池的工程实质是把这些接口统一到「源图 + 指令 + 目标 → 候选图」的签名下。

方法论层：

• 专家共识标注协议：多标注者共享界面共同定标、按哈希固定候选顺序、中性键盲标，杜绝方法泄漏；
• Winner-Set Hit@1 指标设计：允许并列得分随机摊分、无效输出记零、三次运行取平均——评估裁判器时对随机基线（59.3%）的校准意识；
• 诊断实验的因果链设计：「采样更多 vs 换方法池」「K 份拷贝 vs 异质方法池」两组对照把「数量」与「多样性」干净解耦。

融合关键节点：把「裁判器需要什么证据」从隐式假设变成显式工程产物——验证记录。代码能查的交给代码（亮度、裁剪率、几何量），代码查不了的标注出来交给眼睛。这一刀切下去，免微调 VLM 就越过了微调奖励模型。

七、论文一：通用灵感

1. 失败后的第一问不该是「再试一次吗」，而是「换个做法了吗」。重试保持动作空间不变，注定在同款失败上打转；任何 agent 系统的失败分支都值得先审计动作空间的异质性。
2. 让评判者看见证据，比训练评判者更划算。71.6%→81.3% 的提升没动裁判器一个参数，全靠把执行期副产品组织成证据。评测、审核、数据清洗里的 LLM 裁判，多数还在「裸看」。
3. 比较式评判要与「正确答案变化幅度」匹配。listwise 在需要大改动的编辑上是红利，在正确结果近乎不变的类别上是毒药——证据（绝对测量）恰好中和这种相对性偏差。
4. 严格的验收天然产出训练数据。系统的拒绝信号比生成信号更稀缺：被裁判全链路接受的会话是无噪声监督，25.7K 会话反哺训练的闭环值得任何生成管线借鉴。
5. 诊断先行，设计随后。三个诊断问题（要不要更多工具、串行还是并行、目测够不够）各自独立成节、各自给出量化答案，方法部分只是把答案机械化——这种写法本身就是可复用的研究模板。

第二篇：L3G-World——把世界记忆装进 33K 个高斯

八、论文二：题目与背景

8.1 题目拆解

「L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory」四个关键词层层递进：Real-Time 是硬指标（9.02 FPS）；Infinite 指探索范围无上限（记忆不随生成长度爆炸）；World Generation 定位交互式世界模型（单图 + 相机轨迹 → 可探索世界）；Latent 3D Gaussian Memory 是核心机制——每个 3D 高斯除了常规几何与外观参数，还存一个 VAE latent 特征，使记忆能直接在视频生成器的潜空间里被渲染。

8.2 背景：两条路线各有一个死穴

交互式视频世界模型的核心挑战：长程探索与闭环回访时的空间一致性 + 实时生成。已有两条路线：

• 时序上下文（历史帧、KV cache 检索）：新块通过注意力看到旧内容，但记忆与注意力成本随生成流长度和分辨率线性增长（O(TR)）。论文 Table 1 的实测：WorldKV 直接 OOM，Yume 1.5 66.7 GiB 显存只有 1.42 FPS。
• 显式 3D 记忆（点云或 3D 高斯）：空间锚定的一致性与相机可控性好，但存在效率-吞吐的根本权衡——前馈式（Spatia、NeoVerse）逐像素稠密预测、同一区域反复堆积基元，冗余越滚越大、渲染越来越慢，且旧基元从不修正、几何误差永久存留；优化式（ArtiFixer）表示紧凑（O(S)，随场景范围增长）但迭代优化延迟巨大，实测 0.10 FPS。

Table 1 里五行基线无一达标实时，唯一同时满足 O(S) 缩放、前馈构建、支持精修的只有 L3G-World：7.4 GiB 显存、9.02 FPS。

8.3 关键洞察：记忆的读与写都要在正确的空间

论文的两个设计决策分别解决「写」与「读」：写——记忆不是攒基元的缓冲区，而是持续修订的场景表示：只在新观测区域孵化高斯、对已有高斯做残差精修；读——每个高斯携带 VAE latent，记忆直接渲染进视频 DiT 的潜空间，省掉「RGB 渲染 → VAE 重编码」的往返。

九、论文二：定位与问题定义

9.1 定位：让显式 3D 记忆第一次跑进实时

L3G-World 的定位不是「更强的重建」也不是「更好的视频生成」，而是把两者黏合成一个满足实时世界生成运行工况的记忆接口：持续可更新、随探索保持紧凑、对每个后续视频块的低延迟条件化渲染。附录 D 明确说了：与专用在线 3DGS 重建方法比保真度不是目标，够忠实且够快才是。

9.2 问题形式化

给定图像流与相机参数，L3G-Mem 按窗口大小 V 处理；第 k 步输入窗口 Wk = {(Ik, Ck, zk)}（zk 为 Ik 的 VAE latent），记忆表示为 Mk = {(Gj, Tj)}——每个记忆令牌 Tj 经 MLP 高斯头解码出对应高斯 Gj。更新函数 Mk = Update(Mk−1, Wk) 需满足两个约束：基元数量与计算量随场景范围 S 增长而非流长度 T×分辨率 R 增长；更新后的记忆能在目标相机下直接渲染出 DiT 可消费的条件。L3G-Gen 则在每步渲染 Mk−1 的 VAE latent 与不透明度作为条件，自回归生成下一块。

十、论文二：解法（Method）

10.1 L3G-Mem 之一：自适应高斯孵化

保持紧凑的第一原则：只在没有被充分表示的地方加高斯。把旧记忆 Mk−1 渲染到当前相机视角得到 RGB 图与不透明度图——低不透明度意味着记忆没覆盖该像素，高 RGB 误差意味着记忆复现不了该像素；两者按 patch 网格（几何骨干 patch 14×14）聚合出孵化掩码 Sk。孵化查询令牌只从掩码内的观测特征里取：用几何基础模型（Depth Anything 3，取第 39/29/19 层共 L=3 层特征）编码当前帧，仅保留掩码内特征作候选，再按 ZipSplat 的做法对候选做 K-means 得到紧凑的孵化查询集。孵化预算按掩码 patch 占比线性伸缩（Nmin=1,024 到 Nmax=10,240），每个查询令牌解码出 32 个高斯——孵化预算只花在记忆缺失的内容上。

10.2 L3G-Mem 之二：高斯精修

第二股流修正已有内容：把 Mk−1 光栅化到当前相机，通过深度与投影脚印探针判定可见高斯（深度阈值 τd=0.05、局部不透明度阈值 1/255，剔除落在当前表面之后或贡献可忽略者），检索其记忆令牌作为精修令牌。精修头为每个检索到的记忆令牌预测其 32 个高斯的残差参数（δµ, δs, δq, δα, δc, δz），由两个独立门控（几何门 g 与 latent 门 gz）分别调制几何参数与 VAE latent 的更新。未被检索的记忆条目原封不动。

两股流沿令牌维拼接、由单一 transformer 联合处理：每块先对几何特征做交叉注意力、再分流内自注意力，随后一层全局自注意力让新观测内容与既有场景内容交换信息——消融显示去掉这层全局注意力会掉分，协调「新生的」与「既有的」确实必要。

10.3 L3G-Mem 之三：VAE latent 上提

视频扩散模型活在 VAE 潜空间，而 3D 记忆天然活在 RGB 空间——此前所有方法都得「渲染 RGB → VAE 重编码」才能条件化生成器。L3G 的做法：一个卷积分支把 16 通道 VAE latent 嵌入 128 维令牌，用与孵化查询相同的空间索引起 VAE 查询、交叉注意力对齐后与孵化令牌通道拼接、联合解码——于是每个新生的 3D 高斯自带一个 16 维 VAE latent 特征，且 latent 的渲染与 RGB 用同一套几何、不透明度与合成（渲染器里 detach 几何，VAE 目标只监督特征本身）。

训练是自回归的：连续 K=5 个窗口、从空记忆 M0=∅ 出发，每步对 Mk−1 做 stop gradient 保证因果性；监督 Mk 在截至当前所有窗口目标视角下的渲染，损失为 RGB ℓ1、LPIPS、深度 ℓ1、VAE latent MSE 与可见性损失（鼓励每个高斯落在至少一个输入视锥内）的加权和。L3G-Mem 共 1.7B 参数（1.6B 可训），从 ZipSplat 初始化、几何基础模型一起端到端训练 94K 步。

10.4 L3G-Gen：记忆条件的视频 DiT 与少步蒸馏

L3G-Gen 建立在 Cosmos-Predict2.5-2B 上。第 k 步把 Mk−1 里存的 VAE latent 渲染到目标相机得 zmem 与 alpha 掩码 omem，与目标视频 latent 沿通道维拼接（zseq = [zref; Concatc(zk,t; zmem; omem)]）——几何条件化不新增任何记忆令牌；先前生成的参考 latent 补零通道对齐，加带残差相机射线旋转位置编码（RayRoPE）与时间偏移 RoPE。教师模型用 rectified flow 训练（冻结 DiT 主干，LoRA rank-16 + 相机分支 + 加宽输入投影可训；随机丢弃条件增强鲁棒性），推理时每块 81 帧、35 步去噪加 CFG。

实时靠蒸馏：按 AnyFlow 把教师蒸成少步学生——先做 flow-map 初始化（学生以源/目标噪声双条件学习去噪轨迹上任意两点间的转移；LoRA 升到 rank-128），再做 on-policy 分布匹配（学生沿自己的自回归 rollout 生成、加噪后与冻结教师对真实分数比对）。学生被改造成块因果自回归：旧历史空间压缩、最近两块保持全分辨率。推理时每自回归步生成 3 个 latent 帧、只需 4 个去噪步、免 CFG。

10.5 L3G-World：闭环

单张输入图先由 L3G-Mem 初始化持久记忆 M0；此后每步，Mk−1 的 VAE 特征渲染到目标相机供 L3G-Gen 生成下一块；生成的 latent 直接送 L3G-Mem 做 latent 上提（RGB 帧只经一次 VAE 解码），更新出 Mk。读写同一个持久 3D 记忆，模块之间零冗余编码。搭载少步学生的版本即 L3G-World Fast。

十一、论文二：实验证据

11.1 效率：三个数量级的记忆优势

DL3DV 上 481 帧闭环轨迹生成后的记忆统计（单张 A100 实测）：

对照最强高斯基线 NeoVerse：基元少 266–417 倍、显存省 42–67 倍、RGB 渲染快 8.3–10.4 倍、VAE 条件化吞吐高 349–359 倍；对照最高效点云基线 Lyra 2.0：重建快 8.9–9.5 倍、显存省 7.8–10.4 倍、VAE 渲染吞吐高 643–648 倍。RealEstate10K 上 L3G-World 只要 25K 高斯、8.91 MiB。端到端 9.02 FPS（单张 H100）——显式 3D 记忆世界模型第一次跨过实时门槛。

11.2 一致性与质量：紧凑没有以质量为代价

自一致性（闭环轨迹上往返对应帧两两比对）：DL3DV 上 L3G-World 拿到最佳 PSNR 16.00 与 LPIPS 0.366；RealEstate10K 上最佳 PSNR 18.36、LPIPS 0.269、SSIM 第二。生成质量：DL3DV 上最佳 LPIPS 0.547、FID 40.57、SC 0.820、BC 0.893（Fast 版 IQ 0.672、AQ 0.515 最佳）；RealEstate10K 上最佳 LPIPS、FID 36.09、SC 0.841、BC 0.923。相机控制：DL3DV 上最低 TransErr 0.142、RotErr 3.41 第二低。对比之下 NeoVerse 的 FID 高达 152.25——稠密堆积的基元并不等于好画面。

11.3 消融：三个组件各值多少

L3G-Mem 消融（DL3DV 新视角合成）：去掉自适应孵化、对全部几何特征做 K-means，高斯多出约 1.8 倍（41K→75K）且 RGB 与 VAE 质量双降——选择性孵化正是去冗余的关键；去掉精修流，RGB PSNR 从 16.52 掉到 15.52，VAE 潜质量同步恶化；去掉全局自注意力再降一档；去掉 RGB 监督（只留 latent）则 PSNR 崩到 10.26——latent 条件化虽然直接，准确的 3D 几何仍需 RGB/LPIPS 监督来学。去掉 VAE 上提（改为渲染 RGB 再过 VAE 编码）：VAE 渲染吞吐从 943.6 FPS 暴跌到 2.97 FPS，且渲染出的潜特征质量变差（VAE MSE 0.570 对 0.177）——直接潜空间渲染是实时性的命门。

L3G-World 整体消融：关掉记忆精修（高斯孵化后冻结、记忆只进不改），自一致性、位姿精度、3D 一致性全面下滑（TransErr 0.278→0.314、LPIPS 0.435→0.464）——持久记忆不仅要保存既往内容，还要在重访时持续纠错；定性图里不精修的记忆渲染伪影直接导致后续视频发糊。

11.4 与在线 3DGS 重建方法的对照

附录 D 把 L3G 记忆与专用在线重建（ReCoSplat、OF3GS）对比：基元少 49–53 倍、显存省 13–14 倍、更新快 2.5–2.6 倍、VAE 渲染吞吐高 245–430 倍；在 480×832 目标分辨率下 RGB 与 VAE 新视角质量还优于 ReCoSplat 同分辨率。作者的立场很清醒：这不是重建基准的胜负，而是证明该记忆「在满足严格得多的显存与吞吐约束下仍保有足够忠实的空间与潜信息」。

11.5 局限

静态场景假设——不显式建模独立运动的物体；超大范围探索下记忆仍会增长（可期自适应剪枝或分层记忆）；长程自回归产生的误差仍可能传进后续记忆更新。

十二、论文二：知识反推——复现它你需要知道什么

领域层：

• 3D 高斯泼溅的渲染机制：各向异性高斯投影、深度有序 alpha 合成——latent 特征复用同一套渲染器是「直接潜空间条件化」成立的技术前提；
• 前馈重建与 token 化 3DGS 两条技术线（pointmap 单 Pass 预测 vs 从视觉/可学习 token 解码少量高斯），L3G-Mem 的骨架（ZipSplat + K-means 令牌化）正站在后者肩上；
• 视频扩散的潜空间工作流：3D VAE 压缩（480×832 RGB → 60×104 latent）、rectified flow 训练、flow-map 与 on-policy 蒸馏（AnyFlow）——不知道蒸馏链就看不懂 Fast 版从哪省出实时；
• 世界模型自回归生成的误差传播结构：为什么闭环回访是压力测试（481 帧往返轨迹把「记不记得住」变成可测的 PSNR）。

方法论层：

• 孵化掩码的构造：渲染不透明度（覆盖性）+ RGB 误差（忠实性）双信号在 patch 网格上聚合，阈值（τE=0.05、τα=0.25）语义清晰可迁移；
• 记忆检索的可见性判定：投影中心与椭圆主轴探针 + 深度一致性 + 局部贡献三条件——在线系统里「哪些旧条目需要更新」的通用筛法；
• 自回归训练的因果纪律：跨窗口 stop gradient、每步渲染到全部历史目标视角监督（旧监督约束新输出，间接维持一致性）；
• 公平对比的尺度对齐：为所有显式 3D 基线统一用 DA3 度量深度对齐尺度，消除单图初始化的尺度歧义。

融合关键节点：意识到 3D 记忆与视频生成器之间的接口空间选错了——大家都默认记忆输出 RGB、生成器自己再编码，L3G 把接口下沉到 VAE latent 层，一次改动同时解锁 359 倍吞吐与更高质量的条件。接口空间的选择比两个模块各自的优化都值钱。

十三、论文二：通用灵感

1. 记忆的增长维度要跟问题的增长维度对齐。世界随探索范围 S 变大，不随生成时长 T 变大——把 O(TR) 改成 O(S) 不是优化技巧，是对问题本体论的修正。任何持续运行的系统（agent 历史、检索库、监控状态）都值得问：我的记忆在跟哪个变量一起膨胀？
2. 累积型记忆要升级成修订型记忆。只增不改的记忆必然冗余且带病生存；「选择性孵化 + 残差精修 + 门控更新」的三件套让记忆既有保真又有自愈。对话史、代码库索引、知识图谱的增量维护同构。
3. 两个模块的接口应该开在双方原生的工作空间。3D 记忆原生在几何空间，视频生成器原生在 VAE latent——让高斯直接携带 latent，接口即消失。系统设计里「A 的输出要转成 B 的输入」的地方，都值得问：转换能不能内化进表示本身？
4. 蒸馏要训在学生自己的分布上。on-policy 分布匹配用学生 rollout 加噪对齐教师，专治少步自回归的 train-test mismatch——凡「训练时见真值、推理时见自己输出」的模型（所有自回归生成器）都可援引。
5. 闭环是长程一致性的试金石。481 帧往返轨迹把「漂移」从观感变成指标——评估任何有记忆的系统，最狠的测试都是「回到起点还认得吗」。

十四、两篇对比与交汇：视觉生成的两条效率路线

14.1 一张表看清两条路线

14.2 交汇点一：都不动生成器，都重组织生成器的「外圈」

EditAgent 没有微调任何编辑骨干（Qwen-Image-Edit-2511、FLUX.2-klein-9B 原样接入），L3G-World 冻结了视频 DiT 主干（LoRA 适配）。两篇的全部增益都来自生成器之外：一个是动作的集合与裁判的证据，一个是记忆的结构与接口的空间。这提示我们：当生成器本身进步放缓时，系统层还有大块效率可挖——生成器的「用法」与生成器的「参数」至少同等重要。

14.3 交汇点二：把「验证」从人眼外包给代码

EditAgent 的验证记录把亮度、裁剪率、几何量交给代码计算，裁判只处理代码处理不了的视觉判断；L3G-Mem 的孵化掩码用渲染不透明度与 RGB 误差这两个可计算信号决定「哪里需要新高斯」，可见性判定同样是几何计算。两篇共享同一个信念：系统中凡是能量化的判断都不该留给大模型的眼睛——量化判断既便宜又可靠，模型算力应该留给真正需要语义的部分。

14.4 交汇点三：异质性优于数量

EditAgent 最硬的两组对照：通用编辑器加倍采样可用率只有 45.2%，换异质方法池升到 68.2%；K=8 份编辑器拷贝 49.01 分，不敌动作空间扩展的 52.37。L3G-World 的对应物是「选择性孵化」：高斯预算只给没覆盖的区域，全局 K-means 的对照多花 1.8 倍高斯反而质量更差。把资源均匀撒下去是下策，按缺口的形状投放才是上策——这句话同时适用于候选生成与记忆分配。

14.5 交汇点四：持久状态都要能自我修正

EditAgent 的历史检查在每轮后回看「早先的请求是否仍成立」，确认违规就触发修复轮；L3G-Mem 的精修流在每次重访时对旧高斯做残差纠偏，消融证明关掉它闭环一致性全面崩。两个系统都拒绝「写入即定型」的记忆观：多轮/长程系统里，状态的正确性不是一次达成的，而是持续维护出来的。

14.6 差异的启发：并行探索 vs 串行累积

两条路线在一处真正分叉：EditAgent 用并行对抗误差——所有候选从同一源图出发，杜绝「编辑自己的输出」带来的误差累积；L3G-World 用串行承载探索——自回归生成天然是串行的，它的答案是让持久记忆吸收每一步的产物并持续去噪。并行适合「一次要做对的选择题」，持久记忆适合「要走很远的行程」；复杂视觉系统往往两者都要：在同一时刻并行出候选，在时间轴上串行地沉淀与修正。

十五、结语

这两篇论文放在一起读，像看同一场手术从两个切口进入。

EditAgent 的诊断刀法凌厉：42.7% 的无可用结果宣判了「单工具重试」范式的死刑，71.6%→81.3% 的裁判器跃迁证明观测空间的扩展比训练方式更根本，而 25.7K 会话的数据引擎闭环则展示了「贵而准的系统」如何摊销自己——先做对，再教快。L3G-World 的结构刀法沉稳：把记忆的增长维度从流长度改写为场景范围，把模块接口从 RGB 空间下沉到 VAE latent，33K 个高斯对 8766K 的悬殊比例与 9.02 FPS 的实测帧率，让「显式 3D 记忆 + 实时生成」这对老矛盾第一次两全。

归纳成三句话：

1. 效率的下一个矿脉在生成器周围——动作空间的异质性、观测空间的证据化、记忆结构的增长律、模块接口的所在空间，每一处都是不动模型权重就能拿到的数量级；
2. 可计算的判断交给代码，语义的判断才交给模型——验证记录与孵化掩码是同一条原则在两个领域的投影；
3. 持久状态的品质在于可修订——无论是编辑会话的历史检查还是高斯记忆的残差精修，写得进、改得动、回得了头的系统才走得远。

对从业者，两篇的可迁移清单很具体：你的 agent 失败时先数一数动作空间里有几种真正不同的做法；你的裁判器在裸看输出之前，先问执行过程留下了哪些可提交的证据；你的长程系统在膨胀之前，先确认记忆跟的是场景的大小而不是脚步的长短。下一个 81.3% 和 9.02 FPS，或许就藏在这些从未被审计过的默认设定里。

（完）