引言：可信 AI 供给链的两端

大模型产业的分工链条已经长得惊人：前沿实验室训练教师模型、通过 API 出售推理能力；中小团队从教师蒸馏学生模型、或在合成环境中采集轨迹训练 agent；下游用户再消费这些模型与 agent 的输出。链条每延长一环，就多出一类"信任缺口"——提供方无法证明下游模型是否盗用了自己的输出，训练方也无法证明自己采样的环境确实忠实于真实世界。

本篇精读选取两篇从两端同时攻击这一问题的论文：

  • 第一篇是 Meta FAIR（Meta Superintelligence Labs）发布的 Watermark Basins: Black-Box Detection of Distilled LLMs（后文以 Watermark Basins 指代），它解决模型确权问题。API 蒸馏（API-based distillation）已成为对专有模型最主要的盗用方式，提供商能否仅凭嫌疑模型的文本输出，出具统计意义上站得住脚的蒸馏证据？论文的答案是发现了一种称为"水印盆地"（watermark basin）的参数空间几何结构，并据此构造出黑盒检测器 WM-Basin——在 0.1% 错误指控率（FPR）下检出 79% 的蒸馏模型，把此前唯一可用的 token 级基线（29%）甩开近三倍。
  • 第二篇是浙江大学、南洋理工大学与上海启智智峰联合发布的 WebAnything: From the Wild Web to Scalable Agent Environments（后文以 WebAnything 指代），它解决数据确源问题。训练 web agent 需要可复现的网站环境，人工镜像一站一工程、生成式构造又可能偏离真实网站，能否全自动地从真实 URL 重建"源接地"（source-grounded）的环境？论文用 Explorer-Builder-Verifier 三角色流水线重建了 244 个网站 artifact，记录成本均值仅 2.63 美元一站，并在人类盲审中以 12 胜 0 负碾压人工辅助镜像 WebHarbor。

两篇论文看似分属安全与基础设施两个领域，实则共享同一个主题：给 AI 的供给链装上可信基础设施。

  • Watermark Basins 让"这个模型是否蒸馏自我的输出"变成一个可以校准 p 值回答的统计问题——保护的是模型这一资产的产权；
  • WebAnything 让"这个训练环境是否忠实于真实网站"变成一个有独立验证、可追溯修复记录的工程问题——保障的是训练数据这一资产的来源可信。

更深一层，两者在方法论上也互为镜像：前者用固定探针模型把文本反传成梯度、在参数空间中比对嫌疑模型与密钥指纹；后者用独立验证器把冻结候选对照源证据、在执行空间中比对重建环境与真实网站。一个是"从输出反推权重中的指纹"，一个是"从证据正推环境中的缺陷"，合起来恰好构成供给链两端各自的验证范式。

值得强调的是两篇工作的时机。欧盟《AI 生成内容透明度行为准则》（Code of Practice on Transparency of AI-Generated Content）正在把输出水印变成合规要求，Anthropic 已自 2026 年 8 月起在 Claude 系列模型输出中嵌入水印——水印的普及使"水印能否在蒸馏后存活并被检测"从学术好奇变成产业刚需。与此同时，web agent 的训练数据饥渴与真实网站的不稳定性矛盾日益尖锐，WebAnything 证明了全自动、低价、带独立验证的环境重建在工程上完全可行。一篇上了新闻热点，一篇贴着产业落地，都值得细读。

第一篇：Watermark Basins——水印留在权重里的几何指纹

论文：Watermark Basins: Black-Box Detection of Distilled LLMs 作者：Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar 等 机构：FAIR, Meta Superintelligence Labs 原文：📄 https://arxiv.org/abs/2610.37266

1.1 背景：蒸馏盗用与水印放射性的攻防

专有模型通过 API 出售推理能力，也就出售了被"榨取"的可能。对抗方查询闭源教师模型，把返回的推理轨迹（reasoning traces）收集起来微调一个竞争性的学生模型——这就是 API 蒸馏。它扩展自 Tramèr 等人 2016 年演示的黑盒模型抽取（model extraction），而推理模型的兴起让威胁急剧放大：逐步的推理轨迹提供了极其稠密的监督信号。Anthropic、Google 威胁情报小组（GTIG）与多家政策机构已在 2026 年公开记录了大规模蒸馏盗用行为。

防御方做过几轮尝试，各有软肋：

  • 隐藏思维链：提供商不再返回推理轨迹。但加密响应块中的隐藏轨迹可被规模化抽取（Panfilov 等，2026），答案与短摘要也能被扩写成恢复大部分训练收益的合成轨迹（Zhang 等，2026）——遮掩不阻止蒸馏。
  • 提高抽取难度：反蒸馏采样（antidistillation sampling）、轨迹改写（trace rewriting）等。这类方法以牺牲正常用户体验为代价，且假设攻击者在收集阶段可被观察；现实中攻击者把收集分散到大量账号与第三方 API 转售商，没有任何单一查询流看起来像抽取。
  • 检测：事后生效、不改动线上模型、不伤害良性用户——是上述手段的互补项。

输出水印正是为检测而生：教师用密钥 k* 给输出嵌入统计信号，学生训练于这些输出后会继承"放射性"（radioactivity）残留。Sander 等人 2024 年的开创性工作证明水印可跨蒸馏存活，并给出该场景下唯一已知的黑盒检测器：统计嫌疑文本中水印偏好 token 的超额频率。这正是本文全程的基线。

但作者发现 token 级检测有致命软肋：它只在"水印条件化的上下文在嫌疑输出中复现"的位置才能积累证据。上下文窗口变大、教师采样温度降低，token 复现率骤降，检测力随之崩塌。本文要找的，是一种不依赖逐 token 复现的水印信号。

1.2 定位：从 token 统计到参数空间几何

这篇论文的定位是一次范式迁移：把黑盒蒸馏取证从脆弱的表层 token 计数，改造成参数空间中的几何对齐检验。它不提出新水印方案，而是回答"已有水印方案的信号到底留在学生模型的哪里、如何仅凭文本读出"——发现（水印盆地）与检测器（WM-Basin）一体两面。

与近邻工作划清边界：

  • 与经典模型水印（把信号藏进权重或后门、用触发集查询读取）不同：这里的嫌疑模型是所有者从未训练过的第三方模型；
  • 与数据集推断（dataset inference，靠私有数据知识残留判归属）不同：这里主动植入了水印，且信号对失真更稳健；
  • 与开放权重检测（需要读 logits 或权重）不同：这里只有 API 文本。

1.3 问题定义：黑盒、无监督、带精确错误控制

威胁模型设定严谨。教师模型 M_teacher 用水印方案密钥生成器 KeyGen 抽取的密钥 k* 服务水印化补全，考虑无失真方案——教师的边缘下一 token 分布保持不变，但每个输出与 k* 诱导的伪随机性耦合。攻击者自适应地选 N 个提示、收水印轨迹、监督微调出学生模型 M_sus，事后还可在干净数据上继续训练（继续 SFT 或 GRPO）。

审计方是模型所有者或授权第三方，其访问是黑盒的：只观察嫌疑模型在测试提示上的采样文本，不接触权重与 logits；同时是无监督的——不持有学生实际训练所用的轨迹，只掌握：

  • 审计域 D（如数学）上两个不相交提示池：构建池 X_build 与测试池 X_test；
  • 新鲜的教师轨迹（无水印版、k* 水印版、M 个诱饵密钥水印版）；
  • 一组公开干净 checkpoint 池。

统计目标清晰：零假设 H0 是"嫌疑模型在审计域上的输出不包含关于生产密钥 k* 的任何信息"。若文本确实依赖 k*，该依赖只能经由蒸馏路径 k* → {y_i} → M_sus 产生；拒绝 H0 即建立水印放射性。未能拒绝则结论仅限于域 D——这个限定域的表述在论文中被反复强调，体现了法证场景对"不冤枉无辜"的审慎。

1.4 解法：从盆地发现到三阶段检测器

盆地发现：白盒几何实验

发现先于解法。作者先用白盒访问做几何实验：同一基础模型分别用水印轨迹（得 θ_student）与干净轨迹（得 θ_ctrl）微调，两者教师、提示、初始化与训练配方完全一致，唯一差别是是否见到水印。将总更新 Δ_total 沿干净任务更新 Δ_task 做正交分解，残余部分 Δ_wm 就是"只有水印能解释"的更新：

Δ_wm := Δ_total − ⟨Δ_total, Δ_task⟩/‖Δ_task‖²₂ · Δ_task

从 θ_student 出发沿水印轴 Δ̂_wm 与任务轴 Δ̂_task 网格扰动权重并逐点测量白盒检测显著性（−log₁₀ p），得到一个强各向异性的盆地地形（论文图 3）：

  • 沿水印轴走几步，信号即塌缩到检测下限——盆地沿密钥方向窄；
  • 沿任务轴走远得多的距离，信号仍可检出——盆地沿任务方向宽。

这个不对称性暗示了后训练为何难以逃逸（任务方向的位移不擦除密钥分量），也提示检测应该比对密钥特异方向而非阈值化一个泛用水印分数（密钥特异性来自窄轴）。

三阶段黑盒检测器 WM-Basin

阶段一：从文本到探针梯度。 取小干净模型作探针（probe model），在约 450 条无水印教师轨迹上 LoRA 预热后冻结。任意提示-补全对 (x, y) 表示为梯度 g(x, y) = ∇_θ log p(y|x)——“让探针更可能生成 y"的参数微调方向。嫌疑模型在 X_test（默认 1,900 提示、每回复计分前 512 token、约 100 万 token）上的补全取平均得 Δ_sus，教师在 X_build（512 提示）上各密钥下的补全取平均得 Δ_k。固定随机投影（TRAK 实现）把每个梯度压到 d=8,192 维并近似保持内积。关键：这一步只需密钥化教师轨迹，不需要水印方案自己的检测检验——同一算法对所有密钥式水印通用。

阶段二：投影掉共享任务子空间。 原始梯度带有任务、响应格式、通用语言建模的巨大公共分量，会把所有密钥的余弦一起抬高、掩盖密钥间差异。借用 Mu 等 2017 年的 All-but-the-Top 词向量后处理思想：43 个开箱 checkpoint（15 个预训练家族、135M 到 120B；3 档解码温度共 129 个格子）在构建提示上自由生成，对其探针梯度做 PCA 取前 q=100 个主方向构成正交基 U，所有梯度投影到 U 的正交补后再算余弦 S(k) = cos(Δ̃_sus, Δ̃_k)。U 只在干净模型上拟合、从不接触嫌疑。

阶段三：对诱饵密钥做排名检验。 分数 S 无绝对刻度，验证者在声称密钥 k* 与 M 个独立诱钥上分别算 S，读 k* 的排名得 p_rank。零假设下声称密钥与诱钥是同一生成器的独立输出、经过同一探针/投影/基/提示，分数可交换，p_rank 因此具有精确的有限样本有效性（Dwass 1957 随机化检验框架）——不需要对 S 的分布做任何参数化假设，对任意非线性变换稳健。可达最小 p 值为 1/(M+1)，报告 α=0.001 需 M≥999 个诱钥。

算法与成本结构：构建一次、审计多个嫌疑

  • 构建一次（离线、与嫌疑无关）：预热探针 → 对 k* + 999 诱钥各采教师回复、平均成参考梯度 Δ_k → 干净池拟合同任务基 U → 投影得残余参考库 {Δ̃_k}。全库约 450 GPU 小时、投影后仅 31.2 MiB。
  • 逐嫌疑支付（在线）：在 X_test 上采嫌疑文本（每嫌疑约 100 万 token，与所有检测器相同的查询成本）→ 映射为 Δ_sus → 投影 → 与全库算余弦 → 排名出 p。约 1.6 GPU 小时/嫌疑。
  • 排名检验对任何密钥式水印不变，审计新水印方案只需重建参考库。

1.5 实验证据：1,200 个蒸馏模型的系统性验证

实验矩阵覆盖 24 种学生架构（135M–8.2B 参数、6 个家族）、4 个教师（DeepSeek-R1-Distill-Qwen-14B、gpt-oss-120B、QwQ-32B、Llama-3.1-8B，跨 3 个家族、8B–120B）、4 种水印方案（TextSeal、GumbelMax、KGW γ=0.5、SynthID）。默认设置：TextSeal（双密钥、混合率 α=0.1）水印化的 DeepSeek-R1-Distill-Qwen-14B 教师，攻击者在 OpenR1-Math-220k 的 1,900 条质量过滤轨迹上以 LoRA（r=512、3 epochs）微调 Qwen2.5-3B 学数学；能力用 GSM8K 与 Math-500 度量。

主结果：架构扫描

24 架构 × 每架构 50 个 = 每窗口 1,200 个蒸馏模型，教师、蒸馏配方、探针、参考库全部固定。汇总行：

  • n-gram=1：WM-Basin 在 5%/1%/0.1% FPR 下 TPR 为 92%/86%/79%，基线 71%/52%/29%；
  • n-gram=2：86%/78%/66% 对 52%/29%/12%；
  • n-gram=3（最难窗口）：80%/65%/45% 对 20%/7%/1.3%——0.1% FPR 下差距超过三十倍。

可检测性由任务习得而非架构决定：Qwen3-4B-Instruct（GSM8K 88.7）全窗口满检，而没学会任务的模型（Gemma-3-1B 准确率 1.8%、SmolLM2-135M 1.1%）几乎检不出。论文的点睛之笔：“逃逸检测意味着放弃驱动蒸馏的那个能力。”

温度对抗：token 泄露与梯度泄露的分离

攻击者用低温采样轨迹是对 token 级检测的廉价逃逸——教师分布收缩到高概率 token，上下文复现率骤降。每温度 100 个学生、参考库固定 T=1.0（对 WM-Basin 构成失配）：

  • T=0.5 时基线在 n-gram=1 的 1% FPR 下检出率跌到 2%；
  • WM-Basin 同窗口同阈值仍 100% 检出，n-gram=3 也保住约一半（22%@1% FPR）。

论文的表述很精彩：“温度决定 token 泄露什么，不决定梯度泄露什么。”

教师与水印方案泛化

  • 换教师（学生固定 Qwen2.5-3B）：基线功率剧烈波动——gpt-oss-120B 上仅 18%（其学生只复现 65.3% 的 2-gram 上下文，上下文复现是它的命门）、QwQ-32B 上 88%、Llama-3.1-8B 上 93%；WM-Basin 在 5% 阈值下对所有教师保持 96–100%。功率继承自教师 vs 对教师稳健，是两个检测器的本质区别。
  • 换水印方案：TextSeal 换成 GumbelMax、KGW、SynthID，各方案 50 个学生、参考库按方案重建。WM-Basin 在 p≤0.01、n-gram=1 下对每个方案全部检满；且即便给基线加上熵加权（最强形式，值 8–30 个点），WM-Basin 仍在每个有定义的格子领先。

对抗后训练：盆地不可逃逸的直接证据

这是新闻热点的来源。对同一批 100 个嫌疑模型：

  • 压缩：int8 量化与 10% 剪枝是仅有的两个保住可用性的操作（GSM8K 70.7 → 72.2 与 77.1），WM-Basin 任何窗口、任何工作点的损失不超过 3 个百分点。int4/nf4/剪枝 20%/30% 会削弱检测，但也让模型不可用（准确率跌破 0.9×70.7 的门槛）。权重空间分解解释了原因：每种压缩的沿水印方向位移至少比正交方向小三个数量级（int8：−0.0001 对 14.09；int4：−0.0113 对 152.07）。梯度信号甚至在 nf4 与 20% 剪枝上比可用性活得更久。
  • 继续 RL：GRPO 三臂（GSM8K 可验证奖励、K&K 逻辑谜题、IFEval 指令遵循，10–20 个学生/臂）下，WM-Basin 在 5% FPR、全窗口保持 100%。权重测量显示 GRPO 更新沿密钥方向的投影严格为 0.000——RL 的位移完全在任务可达方向上。
  • 继续 SFT：跨域推理 SFT（950 代码 + 950 科学轨迹）会把文本可读信号压到 3–6%（5% FPR）——因为学生写出来的分布变了；但教师强制在原始蒸馏轨迹上的开权检测仍达 98–100%，说明水印仍在权重里、只是文本不说了。多语言数学 SFT 的削弱较轻（部分队列 5% FPR 仍可恢复）。
  • 蒸馏前改写轨迹：同族 Qwen 改写器三档强度、每档 20 个学生。轻度改写下 WM-Basin 文本检测三窗口保持 100/100/90%（基线 47/20/10%）；中度与激进改写把两个文本检测器一起打下来；但开权读实际训练轨迹可把中度臂几乎全量恢复（87/100/100%@5% FPR）。激进改写是唯一彻底击穿两端读法的攻击。

消融与校准：方法内部的关键刻度

  • 任务基 q 的选择：从无 PCA 到 q=100 扫描。无投影时典型密钥一次不误报、95 分位密钥却误报 38–44% 干净格子；q=100 把散布收拢到名义线，n-gram=1、α=5% 的 TPR 从 70.2 升到 91.7。q 太小不行——前几个主方向同时携带水印信号与任务结构，投影从 q≈10 起才"回本”。
  • 逐密钥校准：1,000 个库密钥各跨 129 个干净格子读经验 FPR（α=5%）：中位密钥 4.3%（对名义 5% 校准良好），90 分位 9.9%，最差密钥 23.4–26.2%——尾部约为完全可交换库自身可达地板（13.5%）的 1.74–1.95 倍，而无投影时约 6 倍。诚实报告尾部而非只报均值。
  • 探针选择与预热：10 个探针 checkpoint 扫描——家族不花钱，任何探针在 n-gram=1 都满检；损失只跟词表距离（最小词表 49k 的 SmolLM2 在 n-gram=3、0.1% FPR 掉到 34%，仍比同格基线高一个量级）。预热必要但细节不敏感：去掉预热（裸基模型无 adapter 可微调）几乎全失；用随机初始化 adapter 保留约三分之一；预热语料换域最多损失 11–21 点（代码语料最远、损失 37）。发散的学习率（1e-3）是唯一致命项。
  • 嫌疑文本预算：WM-Basin 单调积累证据——0.6M token 时 n-gram=1/2 已达 100% TPR，更多文本从不损害它；基线完全不单调，在约 0.5M token 处达峰后衰减（其分母持续增长而去重封顶了可收集信号）。

1.6 根源解释：为什么盆地窄而持久

为什么水印会形成"沿任务轴宽、沿密钥轴窄"的盆地？综合论文的几何测量与相关工作，可以给出三层解释：

  1. 信号的来源：无失真水印改变的是采样与伪随机密钥的耦合，监督微调把这些"密钥偏好"的 token 选择一并学进权重，形成任务更新之外一个微弱但方向确定的密钥特异分量。它天然正交于任务子空间——干净学生做的是同一个任务更新而没有这个分量。
  2. 盆地的形状：密钥特异方向上的信号微弱，稍作位移即破坏对齐（窄轴）；任务行为由宽方向的多个解实现，任务轴上的大位移不擦除密钥分量（宽轴）。这与损失景观文献中的模式连通性（mode connectivity）与 LLM 盆地状损失面的发现一脉相承——水印密钥等于在共享任务盆地里 carve 出一个个密钥特异子区域。
  3. 逃逸的代价：量化、剪枝、GRPO 的位移几乎全部落在任务可达方向（正交分量比沿密钥分量大三个数量级）；想沿密钥轴走出去需要知道密钥本身——这正是攻击者没有的信息。攻击者唯一的局部逃逸（继续 SFT 改写输出分布）治标不治本，权重中的盆地还在。

方法论上还有一个值得单独指出的根源：为什么梯度表示有效。一阶数据归因（影响函数、梯度追踪、TRAK）的直觉是"训练样本的梯度就是它给模型的一阶推动，梯度对齐说明样本相似"。但原始梯度余弦被少数共享方向（通用语言与格式）主导——这是表示几何中的 hubness 现象。All-but-the-Top 投影剥掉这些主导而无信息量的方向后，微弱的密钥特异信号才能从通用任务几何中站出来。排名检验则用可交换性替代参数化零分布，使证据的法定效力（精确 p 值控制）不依赖任何建模假设。

1.7 知识反推：从这篇论文能学到什么

反推论文背后的知识体系，至少有五条可迁移的脉络：

  • 放射性与水印检测的谱系：Sablayrolles 等 2020 年在计算机视觉中证明数据集里的不可感知水印可在训练出的模型中留下可校准 p 值检测的统计残留（仅 1% 数据被标记即可检出）；Sander 等 2024 年把它搬进语言模型——本文是该谱系的第三级跳，从"模型输出统计"深入到"参数空间几何"。
  • 权重空间几何工具箱：Git re-basin 的置换对齐、LLM 盆地状损失面、模式连通性——本文把"密钥 carve 出子盆地"接到这条线上，说明盆地几何不只是理解训练的镜头，还可以是取证武器。
  • 一阶归因的规模化：从影响函数到 TRAK 的随机投影、再到 LoRA 低秩投影梯度做指令调优归因——本文复用 TRAK 投影作降维层，是"工具不改、场景换"的示范。
  • 精确检验替代近似检验：置换/随机化检验在高维复杂统计量上给出有限样本精确控制，代价只是多算诱钥——这个技巧在任何需要"法定级 p 值"的 AI 系统中都适用。
  • 对抗评估的诚实：论文自曝边界——域内检测（换域审计功率骤降：代码/闲聊域接近随机）、持续 SFT 可压制文本信号、激进改写轨迹可击穿两个文本检测器——并把"不知道自己检测器边界的验证者才是更大的危害"写进伦理声明。这种自我攻击式评估值得所有安全论文效仿。

1.8 通用灵感：超越水印的启示

对研究者和工程团队，这篇论文至少给出四条可带走的灵感：

  1. 持久信号往往在参数空间而非表层：任何"训练继承了某种来源特征"的检测问题（数据污染、合成数据检测、模型溯源）都可以考虑"固定探针梯度做表示 + 干净模型池投影掉公共分量 + 诱饵排名出精确 p 值"的三段式。
  2. 各向异性是可利用的结构：攻击者能动的方向（任务轴）与要保护的方向（密钥轴）天然分离时，防御可以从"信号强度"转向"信号几何"。
  3. 审计成本结构值得设计：一次构建、多次审计的分层设计（450 GPU 小时建库后，单嫌疑 1.6 GPU 小时）使这类检测在商业上可行。
  4. 监管会创造技术需求：欧盟透明度准则与 Anthropic 的水印部署意味着"水印可检测性"正在从论文指标变成产品需求，蒸馏检测工具链（探针、参考库、排名检验）可能成为下一代 AI 合规基础设施的组件。

第二篇：WebAnything——从野生 Web 到可规模化的 Agent 环境

论文：WebAnything: From the Wild Web to Scalable Agent Environments 作者：Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li 等 机构：浙江大学、南洋理工大学、上海启智智峰（Shanghai Qiji Zhifeng） 原文：📄 https://arxiv.org/abs/2610.37786

2.1 背景：web agent 的环境饥渴

视觉 web agent 需要稳定、可控、可执行、可复位的网站环境来训练与评测——agent 要能探索、改变状态、从错误中恢复、接收执行反馈。WebArena 与 VisualWebArena 确立了自托管网站对可复现评测的价值，WebGym 与 WebFactory 进一步研究了环境与交互经验的规模化。真实 Web 提供无与伦比的结构与工作流多样性，但活网站上的执行让状态初始化、可复现性与安全隔离全都复杂化。

现有三条路线各有硬伤：

  • 人工辅助镜像（WebHarbor 的人-编码 agent 协作）：可控且源对应，但每个网站都要人工工程；
  • 生成式构造（WebFactory、InfiniteWeb、WebGen-agent）：从规格与参考规模化生成可执行网站，但匹配指定真实来源是另一个未解要求；
  • 捕获-重放（World of Bits、WARC-Bench）：保留源观察，但交互覆盖被捕获内容与重放能力锁死；Weblica 混合重放与源接地合成，仍受制于捕获范围。

规模化真实网站环境，需要同时拿到源对应与灵活可重复的交互。

2.2 定位：全自动、源接地、独立验证的环境工厂

WebAnything 的定位是填上这个三角形缺口：无需逐站人工实现，从真实 URL 全自动重建源接地、可执行、可复用的 web agent 环境。

  • 与生成式方法的区别：一切实现都被浏览器可观察的源证据约束；
  • 与捕获-重放的区别：重建的是可执行的状态转移而非固定回放；
  • 与人工镜像的区别：构建-验证-修复全由流水线完成，初始配置与授权之后无逐站人工。

论文还把环境与任务供给打通：环境之上配套任务生成、成功条件判定、轨迹采集与训练导出，形成"环境即数据基础设施"的完整闭环。

2.3 问题定义：两大鸿沟与形式化

论文把难点凝练为两个技术挑战：

  • 源接地鸿沟（Source-Grounding Gap）：私有后端与网站内部不可访问时，如何重建结构、资源与行为？仅靠截图与模型先验会遗漏状态关系——浏览器观察必须被组织成能约束实现的证据。
  • 验证与反馈鸿沟（Verification and Feedback Gap）：如何检测并纠正重建偏差？构建者自检可能漏掉与源不一致的缺陷；而且一个偏差可能源于两种截然不同的病因——实现错误（该修代码）或观察不足（该回源补采）——需要不同处置。

第二个挑战的表述尤其深刻：它把"验证"从打分变成了诊断分诊。

形式化：对网站 W、入口 URL、许可访问范围与构建预算，求本地环境 c_W，在站点契约 C（必需页面、工作流与可检验结果）内保持观察到的呈现、交互与状态改变。源只能通过浏览器观察访问，证据为三元组 E = (E_p, E_r, E_b)：页面结构外观、资源依赖、以及动作前后观察对 {(o_t, a_t, o_{t+1})}。

2.4 解法：Explorer-Builder-Verifier 与证据感知精化

源接地重建

耦合的 Explorer-Builder 为每个访问过的状态关联页面结构、计算样式、元素几何、截图与资源引用，把动作链接到随后的可见反馈与状态改变。一个关键细节：同一 URL 上的不同交互状态是不同证据——收起的菜单与展开的菜单约束不同实现要求，不能合并。三类证据分别约束三类实现决策：

  • 结构观察 → 布局与组件关系；
  • 资源观察 → 字体、图片、媒体的接地；
  • 行为观察 → 导航、过滤、状态修改。

截图引用只是结构与行为证据的补充而非主体。当观察不足以确立某个必需结果时，系统宁可去采新证据，也不把推断行为当作观察到的行为——“不把推断当观察"是整条流水线的第一原则。

覆盖策略两种：Full Coverage 从入口 URL 沿原生导航扩展可达页面与分支（构建实验用此策略）；Just-in-Time Coverage 面向给定任务集按需扩展、由构建与验证反馈驱动。

独立验证与证据感知精化

这是全文最出彩的设计。Builder 实现并自检候选后，独立验证器（Independent Verifier）在隔离上下文中检查冻结（frozen）的实现：

  • 它自己重新渲染、重新操作，对照源证据与站点契约检查页面、控件、资源、工作流、持久性与恢复；
  • 它无权编辑候选代码；有状态测试经本地 UI/API 执行并复原初始状态；
  • 冻结保证发现绑定到被检版本、验证时的修复不会偷换目标。

发现偏差后进入证据感知分诊：

  • 现有证据能确立预期结果而候选未复现 → 实现错误 → Local Repair：把受影响页面、执行动作、预期与观察结果、支持证据打包回 Builder；
  • 证据不足以确立目标结果 → 观察缺口 → Targeted Recapture：生成具体观察请求、回访源站相应区域，新证据约束下一轮实现。

更新后的候选再次冻结、复检受影响项与回归测试。论文给出两个示范回路：

  • Figma：授权源捕获确立画布锚定的评论组件；独立检查发现位置与外观不匹配；Builder 改标记与样式重交候选；独立检查确认几何与可见性——源证据支持修复的完整案例。
  • Stashmedia：Builder 自检 25 条路由报告无外部请求与破损图片；独立验证器却在 3 条归档路由上发现外部图片请求、破损图片与控制台错误——同候选、同摘要算法（摘要与文件数 626 均匹配）的直接对照，自检盲区一目了然。

环境与可验证任务供给

发布的环境打包本地实现、资源、初始数据、运行时配置与复位接口；共享状态连接相关页面，创建/修改/保存操作影响后续交互。任务流水线从环境的页面、可见对象、原生操作与种子数据生成指令与匹配的成功条件：

  • 自然语言指令表达用户目标；答案、操作证据与评测材料保持隐藏；
  • 答案接地于任务初始数据；需要虚构测试记录时写入原生数据结构的私有副本，环境本体只读；
  • agent 通过数据采集与下游评测共用的固定浏览器 harness 执行任务（混合视觉 + DOM 辅助观察、25 个工具的语义/坐标动作空间）；
  • 评测器检查最终答案或终止状态（终端 DOM、截图与状态证据），模型化评测与 agent 执行分离；
  • 任务生成、执行接受、轨迹采集、训练导出保持为分开的阶段与计数单位——这个计数纪律贯穿全文附录，避免"生成即接受"的常见虚标。

2.5 实验证据：规模、保真、验证、下游四线并进

规模与成本（RQ1）

冻结于 2026 年 10 月 9 日的资源池含 244 个网站 artifact，横跨 14 个应用域、53 个细分类目——电商零售 33 站、开发与研究 32 站、旅行与本地服务 30 站、金融企业服务 26 站、娱乐体育媒体 26 站、政府公共服务 17 站、搜索知识工具 15 站、协作生产力 13 站、教育 13 站、通信办公 11 站、社交社区 11 站、医疗健康 9 站、生活方式知识 5 站、物流 3 站。

85 站历史构建记录显示：初始配置与授权之后，无任何逐站人工实现、调试或修复记录；84 站有可计价模型调用记录：

  • 总成本 220.62 美元；均值 2.63 美元/站、中位数 1.60 美元/站；
  • 输入 token 112.07 亿（其中缓存 106.72 亿）、输出 3,843 万；
  • 主要用 gpt-5.6-sol xhigh 推理档（Builder 约 142.52 美元、Verifier 约 78.11 美元），部分 Builder 调用用 gpt-6-astra。

论文明确这是排除未计价调用与系统开销的下界、不外推到 244 站——成本核算的诚实与任务的计数纪律一致。

环境质量（RQ2）：保真、盲审、交互有效性

与 WebHarbor 在 5 个匹配站点（Apple、arXiv、Cambridge Dictionary、ESPN、Hugging Face Papers）、14 个历史状态上对比，WebAnything 三项自动保真度指标全面领先：

  • Pixel Similarity 0.9240 vs 0.8083；
  • SSIM 0.7904 vs 0.6260；
  • Text F1 0.8541 vs 0.2617。

三位标注者盲审（同时展示历史源参考与匿名镜像 A/B、逐样随机化顺序、不知系统身份与自动分数、讨论形成最终标签）：

  • 总体保真（Q1）：12 胜 2 平 0 负（胜率 85.7%）；
  • 信息保真（Q2）：10 胜 3 平 1 负（71.4%，唯一输的是 ESPN）；
  • 差异严重度（Q3）：WebAnything 12 等价/2 轻微/0 严重（均值 0.143）；WebHarbor 0/8/6（均值 1.429，严重占 42.9%）。

敏感度分析（剔除有渲染缺陷的 Apple/ESPN 参考）不改变结论：SSIM 0.8051 对 0.6885。对 VeriEnv 的四状态 LinkedIn 历史对比也领先（Pixel 0.9574/SSIM 0.8190 对 0.9436/0.7637）。

交互有效性上结论更微妙：WebHarbor 五站子集上 WebAnything 能力覆盖 75%（15/20）对 80%（16/20）、全测试通过 63.3% 对 76.7%——人工镜像的交互覆盖更广；但 VeriEnv 五站子集上 WebAnything 为 29/33（87.9%）对 21/33（63.6%）。论文据此写出一句很有分量的判断：“源保真决定 agent 观察到什么，交互有效性决定它能执行什么；更高的视觉对应本身不能确立更广的功能覆盖。”

独立验证机制的历史分析（RQ2-C）

229 对 Builder-Verifier 报告（69 站）中 219 对 Builder 自检通过；独立验证在其中：

  • 56 对通过（25.6%）、139 对失败（63.5%）、24 对被源封锁（11.0%）；
  • 39 对（22 站）发现证据支持的偏差——覆盖交互、外观、状态、资源与工作流；
  • 46 站修复轨迹中确认 18 条独立复验的解决记录：14 条本地实现修复、3 条运行时修复、1 条请求生命周期问题；
  • Ctrip 案例完整追溯五项缺陷的修复闭环：登录拒绝、目的地搜索、收藏、预订草稿、复位（后三项初始失败源于只读文件系统/SQLite，被分类为运行时环境修复——分诊逻辑连"修复"本身都按病因分类）。

任务供给与下游学习（RQ3）

两批不相交任务集合计 12,984 个执行并接受的任务：

  • 新批 6,812 个跨 229 站（217 站达 30 任务配额、12 站部分完成、15 站无任务），对 7,320 目标完成率 93.1%；
  • 早期批 6,172 个跨 74 站。

早期批的多样性画像：信息检索 77.8%、过滤搜索 41.8%、比较聚合 25.1%、状态操作 26.8%、跨站属性 37.7%（标签可重叠）；执行深度均值 10.4 步、中位 8 步、P90 21 步、最长 89 步，34.7% 超过 10 步、10.4% 超过 20 步。

SFT 迁移是下游价值的核心证据。用早期 5,856 条轨迹（历史批 4,651 + 增量批 1,205；对应 5,167 个唯一任务 ID、导出 60,517 个步级样本）微调 Qwen3.5-9B（473 步固定终点、全局批 256、学习率 5×10⁻⁶ cosine、64 卡 BF16、仅监督每样本最后一轮 agent 回合、名义约 2 个 epoch），三个外部基准全部提升：

  • REAL（91 个联合有效任务）：成功率 24.2% → 34.1%（22/91 → 31/91，+9.9pp）；逐任务配对为 15 个失败转成功、6 个成功转失败、70 个不变；保留基础设施失败的完整分母下 21.6% → 30.4%（+8.8pp）；
  • Odysseys-Easy（44 个联合有效任务）：Rubric Avg 19.71% → 25.96%（+6.25pp）、Task Avg 18.86% → 25.18%（+6.32pp）、完全成功 2/44 → 4/44；
  • WebArena-Verified（固定 harness、严格评分）：Overall 16.41% → 29.74%（+13.33pp），其中 Navigate +18.49pp、Mutate +31.50pp；Retrieve 严格评分下 −8.75pp，但宽松重评显示 66 个未过来自 JSON 格式问题而非任务失败（39/325 → 105/325）。

数据源对照实验进一步坐实环境质量转化为数据质量：同等轨迹量（661/617/663）、同 backbone 同训练配置同评测 harness 下，WebAnything 数据训练的模型在 Odysseys-All 189 个联合有效任务上 Rubric Avg 10.44、Task Avg 11.70，双双高于 WebHarbor（6.93/7.79）与 VeriEnv（6.42/7.53）——保真度优势顺着"环境 → 轨迹 → 能力"的链条传导了下去。

数据泄漏检查：5,856 条训练指令与 REAL 102 任务、Odysseys 200 任务的文本精确匹配与 Jaccard ≥ 0.65 筛查均无命中；REAL 无源站主机重叠，Odysseys 与训练源站交集含 Amazon/Apple/Google/YouTube（论文如实报告并不外推）。

2.6 根源解释：为什么全自动能达到超人工保真

WebAnything 的成功根源可以在三个层面拆解：

  1. 证据约束优于先验生成。生成式方法让模型凭先验"脑补"未观察的行为，偏差系统性地偏向模型的刻板印象；WebAnything 的每条实现决策都被三类证据之一约束，观察不充分时宁可触发重捕。Text F1 上 0.8541 对 0.2617 的碾压级差距说明：文本内容的忠实不是渲染问题而是证据问题——有源文本证据的重建自然保留原文，靠生成的自然漂移。
  2. 构建与验证的利益分离。Builder 自检的盲区（Stashmedia：自检 25 路由通过、独立验证 3 路由翻车）源于同一模型既当运动员又当裁判时的系统性漏检；独立验证器在隔离上下文重新执行检查、无权改代码，等于把软件工程里"开发者自测 ≠ QA 验收"的组织智慧移植进 agent 流水线。冻结机制保证验证发现绑定到确切版本，消除"边验边改"的灰色地带。
  3. 分诊逻辑。把偏差二分为实现错误与观察缺口，分别路由到修复与重捕，避免了"一律改代码”（会拟合缺失证据产生幻觉行为）与"一律重采"（成本爆炸）两个极端。这与第一篇的诱钥排名异曲同工：两者都拒绝"单一分数过阈值"的朴素判定，改用相对比较 + 明确的分诊行动。

2.7 知识反推：从这篇论文能学到什么

反推其知识脉络，有五条主线：

  • web 环境研究的谱系图：从 WebArena/VisualWebArena 的自托管评测、Mind2Web/WebVoyager 的真实网站任务，到 WebFactory/InfiniteWeb 的生成式、VeriEnv/WebArena-Infinity 的克隆-迭代、WebGen-agent 的多级反馈生成、WebHarbor 的人工辅助、Weblica 的重放-合成混合——本文定位图里每条路线的取舍都被后续设计直接回应。
  • 截图转代码的局限：pix2code 到 Design2Code 一脉说明从像素恢复结构已较成熟，但行为与状态转移无法从静态截图推断——这正是行为证据 E_b 必须显式建模的原因。
  • 自反精化与独立验证的对照：Self-Refine/Reflexion 用自我反馈改输出；本文证明在"必须忠实于外部源"的任务上自反馈不够、需要组织化的独立验证——与软件工程中变异测试、独立 QA 的经验一致。
  • 可验证任务的设计模式：隐藏成功条件、终端状态判定、模型评测与 agent 执行分离、种子数据只读副本、任务-环境-轨迹-样本四级计数——这套纪律可直接复用到任何 agent 数据管线。
  • 诚实的评估边界：论文自曝 15/244 站无任务、交互覆盖不及 WebHarbor、展示诊断发现 9 站有问题、26 站信号待诊——资源池规模 ≠ 功能验收的表述贯穿全文。

2.8 通用灵感：超越 web 环境的启示

四条可带走的灵感：

  1. “证据-实现-独立验证-分诊"是通用的自动化重建范式：凡是要忠实重建某个外部系统（GUI、API、协议、文档格式）的 agent 任务，都可以套用"观察组织成约束证据、实现被证据约束、独立验证器冻结检查、偏差分诊到修复或重采"的四步。
  2. 成本下界思维：2.63 美元/站的记录口径（排除未计价项、不外推）虽然保守，却让"环境合成比人工便宜多少"第一次有了可审计的数字——自动化系统的成本报告值得效仿。
  3. 评测与训练数据共用固定 harness：同一 agent harness 采集与评测，消除 harness 差异带来的迁移折损；WebArena-Verified 上 +13.33pp 的迁移收益部分来自这种一致性。
  4. 合规先行：论文用整节讨论版权、商标、服务条款对环境分发的约束，主张发布构建框架与去标识数据而非镜像本体；在内容合规收紧的背景下，这是环境合成研究可持续的姿势。

双篇合评：可信 AI 供给链的两端

把两篇论文并置，最清晰的结构是一个供给链的两端与其各自的"确证"问题。

模型端的确权 vs 数据端的确源

  • 模型端：Watermark Basins 面对的场景是资产（教师模型）已被隐性消费（蒸馏），核心难点是证据既要能从最受限的访问（纯文本）中读出，又要经得起对抗性逃逸与法证级错误控制。它的答案是给资产预埋指纹（水印密钥），并证明指纹在消费行为中不可磨灭地转移到产品里——盆地几何是"不可磨灭"的科学表述，排名检验是"证据效力"的统计表述。
  • 数据端：WebAnything 面对的场景是资产（训练环境）尚未存在、要从外部世界铸造出来，核心难点是铸造过程既要自动化又要忠实。它的答案是给铸造过程装上证据约束与独立验证——源证据是"忠实"的科学表述，冻结-分诊-复验是"过程可信"的工程表述。

方法论上的三重镜像

两篇论文都拒绝了本领域最直觉的做法，转向带对照的结构化判定：

  • Watermark Basins 拒绝"水印分数过阈值”（分数没有跨模型可比的绝对刻度），改用"声称密钥在 999 诱钥中的排名"；
  • WebAnything 拒绝"相似度分数过阈值"（视觉对应不等于功能覆盖），改用"对照源证据与契约的独立检查 + 分诊"。

两者都引入了利益分离：

  • 前者的探针与任务基是干净的第三方（从不在嫌疑上拟合、从不在嫌疑上校准）；
  • 后者的验证器与构建器上下文隔离且无权改代码。

两者都做了诚实的边界自曝：

  • 前者量化了持续 SFT 与改写攻击下的检测衰减、逐密钥 FPR 的尾部失准（最差密钥 23–26%）；
  • 后者如实报告交互覆盖不及人工镜像、15 站无任务、自动标签非人工金标准。

对照判定、利益分离、边界自曝——这三条合起来几乎构成"AI 可信基础设施"的设计公理。

差异同样有信息量

  • Watermark Basins 是对抗性场景：对手会主动逃逸（低温采样、量化、改写、继续训练），证据必须对未知攻击稳健——盆地的不对称几何恰好提供这种稳健性；
  • WebAnything 是忠实性场景：外部世界不对抗但会变（网站持续演化），难点从逃逸抗性变成时效维护——论文在局限里承认尚未系统评估源站变更下的增量更新与镜像时效。

一个把鲁棒性押在数学结构（可交换性）上，一个把鲁棒性押在流程结构（独立验证回路）上，分别对应两类供给链风险的正确打开方式。另一个不对称在于证据方向：前者是"由果溯因"（从嫌疑输出反推权重指纹），后者是"由因证果"（从源证据正向验证重建）——供给链上被指控方与自证方的位置不同，验证架构自然不同。

产业信号的一致性

  • 模型确权的动力来自监管（欧盟准则、Anthropic 水印部署）与竞争保护；
  • 数据确源的动力来自 agent 训练的算力-数据经济学（2.63 美元/站 vs 人工一站一工程）。

当供给链每一环都有了各自的验证技术，“可信"才从口号落为可执行、可审计、可诉讼的工程标准。当然，两端都还有明确的未竟课题：黑盒读与开权读之间的鸿沟（继续 SFT 后文本信号消失但权重盆地仍在）、更大模型与 RL 后训练下的数据效用（论文只在 9B SFT 上验证）、以及大规模镜像分发的版权合规——这些恰好指向同一个方向：验证技术必须与生成技术同步演化。

结语

Watermark Basins 告诉我们：模型的出身会以几何指纹的形式刻在权重里，聪明的统计检验可以从纯文本把它读出来，而且量化、剪枝、GRPO 都擦不掉。WebAnything 告诉我们：真实世界的复杂性可以被组织成证据、被约束成实现、被独立验证成可信的训练环境，而且价格是每站两三美元。

前者保护创造者不被白嫖，后者支撑学习者不被脏数据污染——可信 AI 供给链的两端，一篇给了它法证科学，一篇给了它工程学。

对研究者，两篇论文各开了一扇门：参数空间几何作为通用取证表示的潜力刚刚开始被挖掘（数据污染检测、合成数据溯源都是显然的下一站）；证据约束 + 独立验证的自动重建范式也远未在 GUI 之外的世界上验证。对从业者，WM-Basin 的"构建一次、审计多个"成本结构与 WebAnything 的环境-任务-轨迹一体化管线，都是可以直接抄走的设计。对政策观察者，两篇工作共同示范了"可信"如何被操作化为精确 p 值与独立验证记录——比任何自律宣言都更经得起检验。

供给链越长，信任越贵；但信任的技术成本，正在被这类工作快速摊薄。

论文信息

  • Watermark Basins: Black-Box Detection of Distilled LLMs Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar, Sylvestre-Alvise Rebuffi 等 FAIR, Meta Superintelligence Labs，arXiv:2610.37266 📄 原文链接
  • WebAnything: From the Wild Web to Scalable Agent Environments Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li, Rui Zheng, Hang Yan 浙江大学、南洋理工大学、上海启智智峰，arXiv:2610.37786 📄 原文链接