论文链接：arXiv:2609.24983 项目主页：on-panda.github.io/research 代码仓库：github.com/on-panda 发表时间：2026 年 9 月 机构：阶跃星辰 StepFun + 厦门大学（校企合作，作者来自 StepFun 与厦门大学联合培养） 领域标签：cs.CL / 大模型对齐数据标注 / 后训练基础设施

一、论文背景

1.1 大模型对齐到底在「对齐」什么

要理解 onPanda，先要理解一个大模型从「预训练」到「能用」之间发生了什么。

当前主流大模型（如 GPT 系列、Qwen、阶跃星辰的 Step 系列）的训练通常分为两个阶段：预训练（在海量互联网文本上学会「预测下一个 token」）和后训练 / 对齐（让模型学会「按人类期望的方式回答」）。对齐阶段最核心的燃料，是一批高质量的训练数据——它告诉模型：面对某个问题，什么样的回答是好的。

对齐数据主要有两类形态：

• SFT 数据（监督微调数据）：「问题 → 标准回答」的配对。模型直接模仿这个回答。它要求回答本身质量高、风格对。
• 偏好数据（Preference Data）：「问题 + 回答 A 优于回答 B」的配对。它不直接告诉模型「正确答案长什么样」，而是告诉模型「这两个里哪个更好」，用来训练奖励模型或做 DPO 这类偏好优化。

这两类数据，今天大多还是靠人类标注产出的。问题就出在这里。

1.2 现有标注范式的三大痛点

论文开篇点明：规模化高质量数据，是大模型对齐和 Agent 能力提升的中心瓶颈。现有流水线在三个目标之间难以兼顾：

展开来说：

(1) 从零手写或事后精修 → 成本高、且 off-policy。 让标注者从空白开始写标准回答，或拿到模型初稿后大幅改写，既费时又费脑力。更致命的是：人写的句子和模型自己会说出的句子，在「用词习惯、句式分布」上通常不一致。用这样的数据去 SFT，模型是在模仿一个「不是自己」的分布——这在技术上也被称为 off-policy（异策略） 数据，训练起来往往不如模型自己生成的数据顺手。

(2) 偏好标注 → 便宜但粒度粗。 让标注者给几条回答排序，确实比写回答省力；但偏好信号只到「整条回答」层级，无法告诉你「到底错在第几个词、应该改成什么」。

(3) Agent 轨迹标注 → 难上加难。 Agent 的回答不是一句话，而是「多步推理 + 调用工具 + 拿到环境反馈」的长轨迹。任何修正都必须真正执行工具、拿到真实反馈后才能继续生成。现有工具（如能观察和给运行中的 Agent 打分、能中途介入的 Reptile）仍缺少一个能在多样环境里、实时同时修正「通用推理」和「工具调用」并执行修正调用的交互式工具。

1.3 一个被忽略的关键直觉

论文的核心洞察其实很朴素：模型在大多数位置上已经说对了，错的往往只是少数几个 token。 既然如此，与其让人类把整段话重写一遍，不如让人类只去「揪出第一个错词、把它改对、然后让模型自己接着往下说」。这样既省人力，又能让「改完之后的后半段」仍然是模型自己生成的、贴近它自身分布的内容。

这正是 onPanda 想法的起点。

二、论文定位和关联工作

onPanda 处在「对齐数据标注工具」这一研究脉络中。我们按方法谱系来梳理它和前人的关系。

2.1 通用标注平台：POTATO 与 Argilla

• POTATO（Jurgens et al., 2026）：一个 YAML 配置驱动的通用标注平台，支持事后精修（post-editing）和偏好排序，POTATO 2.0 还加入了 AI-in-the-loop 和离/在线 Agent 轨迹标注。它的强项是「灵活配置标注流程」，但范式本质仍是「人改文本 / 人排顺序」。
• Argilla（Hugging Face 开源）：一个开源的数据整理与人类反馈平台，常用于偏好数据标注。论文用它实例化「四选一偏好排序」范式。

论文把这两类平台作为 baseline，分别代表「事后精修」和「偏好排序」两种主流范式。

2.2 最接近的工作：Reptile（终端 Agent 的人机协同）

论文明确说，与其最相近的是 Reptile（Dou et al., 2025）：它面向终端（terminal）软件工程任务，让标注者在本地编辑模型输出的文本，触发续写，并由终端环境解析、执行后再恢复 rollout，从而产出比「完整人工精修」同策略保真度更高的 SFT 数据。

但 onPanda 指出 Reptile 的局限：

1. 修正几乎全靠人打字，而不是从模型自己的候选 token 里选——这不可避免地损害了数据的同策略保真度；
2. 它把推理和动作编码成「纯文本 + shell 命令」，无法支持通用的工具调用格式（如结构化 tool_calls）；
3. 它只覆盖终端 SWE 场景。

onPanda 的区别在于：它结合「从带概率分数的候选 token 中选」与「在结构化推理和工具调用上续写」，覆盖纯文本 LLM、多模态和 Agent 数据，并显式记录每次修正的位置、替换文本、修正前后的样本。

注：论文未与 Reptile 做头对头基准对比，理由是二者环境（终端 SWE vs 通用环境）与动作表示不同；它比较的是「工作流」而非同一任务上的系统对打。

2.3 细粒度监督信号的其它来源

• PRM800K（Lightman et al., 2024）：通过人类标注收集「步骤级」标签，用于训练过程奖励模型。
• TLDR（Fu et al., 2025）：从合成扰动构造 token 级标签，用于视觉语言模型的 token 级奖励模型。

onPanda 的不同在于：它的 token 级修正信号是**位置精确、且天然成对（正/负）**的，直接来自标注者「构造合格回答」的过程本身，不需要额外人工标注、也不需要合成扰动。

2.4 「修正前缀、续写后缀」的交互史

这种「改前缀、让模型重生后缀」的模式其实早于 LLM 时代：Predictive Translation Memory（Green et al., 2014）和 INMT（Santy et al., 2019）已把它用于交互式机器翻译。onPanda 的贡献是把这一机制引入通用对齐数据标注，并扩展到多模态与结构化 Agent 场景，把标注树的多个分支导出为 SFT、偏好、token 级修正三类数据。

2.5 定位小结

三、问题定义

3.1 把「标注难」抽象成什么本质问题

onPanda 面对的具体场景是：给定一个模型对某个 prompt 的初稿回答，如何以最小的人力，产出既高质量、又贴近该模型自身分布、且监督信号精细的 SFT / 偏好数据。

论文的深层洞察是：这个问题之所以贵，是因为现有范式要求人类去「生成内容」（写或重写），而人类并不擅长、也不应该做模型擅长的事（流畅续写）。真正人类不可替代的价值，是「判断哪里错了、该往哪改」——这是一个定位 + 定向修正的问题，而不是「创作」问题。

于是问题被抽象为：

给定：模型初稿响应（一串 token）、该模型在每个位置 top-k 候选 token 及其概率。 求：一系列「最小干预」——在每个出错位置，给出（位置，替换 token/文本），并让模型从修正后的前缀原生续写剩余部分。 约束：(a) 人工干预的位置数尽可能少；(b) 未经人工改动的 token 必须是模型自己采样的，以保住同策略分布；(c) 每次修正要能自动记录「位置 + 替换 + 修正前后样本」，以便导出监督信号。

3.2 一个类比

把模型初稿想象成一篇「学生写的作文」，把标注者想象成「老师」：

• 旧范式（手写 / 精修）：老师把学生写错的整段划掉，自己重写一遍。结果作文变成了老师的文风（off-policy），而且老师累。
• onPanda 范式：老师只读学生作文，遇到第一个错字，圈出来改成正确的字，然后对学生说「你接着往下写」。后半段还是学生自己的文风（on-policy），老师只动了几个字，极省力。

而更妙的是：老师圈出「错字→正字」的那一笔，本身就是一个精细到位置的监督信号——它天然告诉模型「在这个位置，从错的那个词，改成对的那个词」。

四、问题解法

onPanda 的解法可以拆成四个相互支撑的组件。

4.1 系统概览：一个可组件化的前端库

onPanda 是一个组件化的前端库，有两种用法：

1. 轻量 Web 应用：通过静态托管即可开箱即用，无需数据库；用户拖入本地标注文件即可开始，浏览器向预设或自定义的 Chat Completions API 发请求。
2. 嵌入现有数据平台：把组件嵌入已有平台，由平台后端负责任务分发与数据收集——onPanda 正是以这种形式接入阶跃星辰内部的生产标注系统。

它对推理 API 只有两个要求：

• (i) 能从 assistant 消息前缀继续生成（如 vLLM 的 continue_final_message）；
• (ii) 能返回每个 token 的 top-k 候选及其概率（logprobs）。

一个标注会话的所有产物（消息、标注、操作日志、概率缓存）会被序列化进单个 .panda.json 文件，方便分发、收集与解析。

4.2 Token 级纠错引擎（核心交互）

这是 onPanda 的灵魂。生成请求以 logprobs 流式返回：onPanda 记录每个 token 的采样概率和 top-k（默认 20）候选，并在每个 token 下方渲染对应概率的颜色条（越绿概率越高，越红越低，见图 1a）。

由于分词器可能把一个多字节字符或 emoji 拆成多个 token，UI 会按字素边界（grapheme）把 token 流聚合成最小可读单元（chunk）：交互在 chunk 上操作，记录仍保持 token 精确。

每次修正保留三类信息：修正位置、替换文本、修正前后的样本。

locate-correct-continue 循环的具体步骤：

1. 标注者阅读模型初稿，定位第一个不合适的 token；
2. 悬停该 token，弹出该位置的 top-20 候选 token（带概率）。若候选里有合适的，点击即选（图 1b）；
3. 若候选都不合适，双击该 token 打开输入框，自由改写（free-form editing，图 1d）；
4. 系统截断修正点之后的全部内容，以修正后的响应作为 assistant 前缀，请求模型原生续写（图 1c、1e）；
5. 标注者沿响应重复这个循环，直到回答满足要求（标 is_good=Y）。

自由改写引入的文本起初没有概率信息；一次 prompt_logprobs 请求会为整段响应重算逐 token 概率与候选（这额外需要 API 支持 prompt_logprobs）。这个「刷新」能力让 onPanda 还能粘贴任意外部文本、或切换模型来「透视」当前模型对每个 token 的置信度——于是 onPanda 顺带成了一个模型体检工具。

4.3 标注树与数据协议（自动导出三类数据）

一个标注会话被组织成一棵标注树（annotation tree），节点是「对话（dialog）」，每个节点包含消息、工具及其标注的完整副本。每次修正都会 fork 出一个新节点，父节点是修正前的对话（图 1 中 Dialogs [1,2,3] 构成一条三节点链：初始 rollout 与两次迭代修正）。所有中间版本因此被自动保存，标注者无需任何版本管理。

每个节点携带：操作日志（操作类型、时间戳、修正内容、是否标记为同策略、采样配置快照），以及质量判定 is_good 与项目自定义标注 schema。

配套的 Python 库 onpanda 把 .panda.json 解析成训练数据：

• is_good=Y 的节点 → 导出为 SFT 样本；
• 同一 prompt 下的正/负节点 → 配对成回答级偏好数据；
• 在配对中，负样本通常是正样本的祖先：二者在修正点之前共享前缀、仅在修正点处分叉。由此可算出token 级修正三元组（负样本，被拒 token 及其位置，被选中 token）。这种数据在位置和更新方向上都精确，正/负 token 在同一位置一一配对，优化时得到天然均衡的信号。

论文认为，这些特性让 token 级纠错有望成为更高效后训练方法的基石。

4.4 多模态与 Agent 化标注

推理模型和 Agent 的响应不是纯文本，而是包含推理、内容、tool_calls 的结构化消息，无法直接做 token 级修正与续写。onPanda 用**响应模板机制（response template）**解决，它在结构化消息与模型原生 token 流之间双向转换：

• 渲染方向：按模型的响应模板，生成带特殊 token（如 </think>、<|tool_call_begin|>）的完整 token 序列，用于显示、修正、续写；
• 解析方向：把生成的流实时还原成结构化消息，用于存储与工具执行。

特殊 token 对标注者直接可见、可修正，于是 token 级纠错统一覆盖了「推理链、内容、工具调用参数」（图 2）。由于对话以结构化形式存储、响应模板只在渲染/修正时套用，同一份数据可以被不同模型继续修正。

外部环境和工具通过 MCP 接入；harness_to_mcp 适配器把 Claude Code、Codexx、OpenClaw 等已有 harness 包装成 MCP 服务器。工具调用可配置为「等待标注者批准再执行」：有问题的调用，可在修正其参数后执行，或连同可选的文本说明一并拒绝——被拒的轨迹会自动保留为负样本。工具结果反馈回上下文、生成继续，从而在真实环境里做交互式轨迹标注。onPanda 同样支持输入、显示与标注图像、音频、视频消息。

4.5 全景对照

五、评估指标与实验证据

论文从「标注效率」「数据质量」「用户负担」「真实部署」四个角度做实验。

5.1 受控研究：三种范式对打

Baseline 设置：

• 人工事后精修（manual post-editing）：答案框预填模型初稿，标注者改到满足 SFT 质量线；用 POTATO 实例化。
• 偏好排序（preference ranking）：每个 prompt 预生成 4 个 rollout，标注者排序并记录最佳是否够 SFT 标准；用 Argilla 实例化。

实验设计：3 名标注者标注 21 个图像描述 prompt，用 Latin-square（拉丁方）设计轮换三种方法的顺序——每个 prompt 恰好被每种方法标注一次、且同一标注者不对同一 prompt 用不同方法，从而平衡「prompt 难度、个人熟练度、顺序效应」。标注者都不是 onPanda 开发者，且三种方法都做过培训与热身。初稿由同一模型 Qwen3.5-35B-A3B（instruct） 以官方推荐参数（temperature 0.7, top-p 0.8）生成，三方法首候选共享同一次 rollout 以减少采样随机性。

指标（5 类）：

1. Time（时间）：中位数标注时间（对困难 prompt 的长尾稳健），也报均值（反映总人力成本）；
2. Pairwise win rate（成对胜率）：对每 prompt 的三个输出（onPanda、POTATO、Argilla 最优）由 GPT-5.5 两两比较，每对正反序各评一次以消位置偏置；
3. PPL（困惑度）：在 rollout 模型下的响应困惑度，衡量同策略保真度。每个 prompt 独立采样 4 个 rollout 取均值 PPL 作基线，报各方法 PPL 及其相对变化 ∆PPL；
4. SFT coverage（SFT 覆盖率）：能产出合格 SFT 响应的 prompt 占比；
5. Preference pairs（偏好对数）：每 prompt 平均可得到的偏好对数。

结果（表 1）：

* POTATO 的 54.8% 是与 onPanda 的人类成对比较胜率（而非三方法 LLM pairwise 胜率）；其 LLM pairwise 胜率在表中未居首。

关键结论：

• 效率：onPanda 中位 330s，比 POTATO 的 681s 少 51.5%，与 Argilla 的 336s 持平；均值上 onPanda（515.6s）比 POTATO（711.1s）和 Argilla（684.5s）分别低 27.5% 和 24.7%。一部分增益来自「续写」：幻觉/错误常在响应中反复出现——事后精修要把每次出现都揪出来改，onPanda 只改首次出现，后续续写自动保持一致。
• 质量不降：onPanda 的 LLM 成对胜率最高（66.7%），说明效率提升不是以质量为代价；匿名人类比较也显示人类在 54.8% 的配对中偏好 onPanda 胜过 POTATO。
• 同策略保真度：onPanda 的 PPL 1.181（∆PPL +0.86%）与 Argilla 1.161（−0.83%）都落在基线 1.171 的 1% 以内、且在重采样噪声（每 prompt PPL 跨 rollout 约 ±2.8% 波动）范围内；而 POTATO 的 1.596（+36.31%）明显偏离。说明人工事后精修严重破坏了模型采样特性，onPanda 则很好地保住。
• 覆盖与配对：Argilla 只在 11/21（52%）prompt 上挑出合格 SFT 响应（其余 4 个 rollout 可能都不合格）；编辑式的 POTATO 与 onPanda 则「改到合格为止」，设计上即 100% 覆盖。偏好对方面，onPanda 每 prompt 7.43 对（精确对齐修正位置），高于 Argilla 的 6.00 和 POTATO 的 0.95。

5.2 用户研究（NASA-TLX）

3 名标注者按 (Nakano et al., 2022) 改编的 NASA-TLX 问卷，对每工具在 6 个子量表（0–10）打分取均值（越低越好）：onPanda 3.1，显著低于 Argilla 5.4 与 POTATO 6.8。有标注者反馈：「onPanda 给我即时反馈——我能看到每项进度；而排序工作逼我把很长一段上下文记在脑子里，很费神。」另一位说：「概率着色加快了我定位要改什么——低概率 token 常意味着模型更不自信、更易错，先查它们标注更快。」

5.3 真实部署统计

自部署以来，onPanda 持续产出三类生产数据，规模如下（表 2 摘录）：

在所有合格响应中，97.0% 的 token 由模型生成，仅 2.1% 选自候选、0.9% 由人键入——在生产规模上印证了「人工干预极其稀疏」。

5.4 Panda-CVL 数据集与基准

为支持 token 级修正数据研究，作者用 onPanda 标注并发布 Panda-CVL：一个以中文为主、面向视觉语言的公开子集，含 7,491 个标注会话（训练 6,839 / 测试 652），辅助 rollout 由 32B 稠密 VLM step-1o-turbo 生成。

作者进一步把「一次人类 token 级修正」拆成三个子任务：(1) 判断响应是否达到 SFT 质量标准（is_good=Y）；(2) 若否，定位首个不合适的 token；(3) 将其修正为合适的 token（候选点选或手写）。据此设计基准：给模型一个 prompt 和一条候选响应，要求它像人类一样做 token 级修正，用「首修正位置」和「人类提供的替换」作参考。

评测格式用 find-and-replace 模板：无需修改时输出 <|split|><|is_good|><|split|>；否则输出 <|split|>{matched_text}<|split|>{matched_index}<|split|>{replacement_text}<|split|>。在 652 个测试对话上扩展出 2,126 个评测实例（652 个 good + 1,474 个 not-good）。指标：Format（可解析比例）、GoodAcc（good 实例正确判为 good 的比例）、Loc.-NG（not-good 实例正确定位首错位置的比例）、Corr.-NG（位置与替换都与真值一致的比例）、F1 = 2·GoodAcc·Corr.-NG / (GoodAcc + Corr.-NG)（综合指标，沿用 ProcessBench）。

结果（表 3）：token 级修正对所有被测模型都极难，最强 F1 仅 17.09%（GPT-5.5）。GPT-5.5 取得最高 GoodAcc（53.37%）与最佳 F1（17.09%）；GPT-6 取得最高 Loc.-NG（24.46%）与 Corr.-NG（15.83%）；GPT-5.6-sol 格式分最高（99.98%）但 GoodAcc 偏弱。9 个推理模型里有 7 个 Format >90%，但 Corr.-NG 全部 <16%——说明「格式守规」并不等于「准确定位并修正错误」。这反向证明了 onPanda 所瞄准的「token 级纠错」是一个尚未被模型自身解决的开放难题，也凸显了人类在该环-loop 中的不可替代性。

六、效果优势的根源解释

本节从根源解释「为何 onPanda 又快、又保真、又细粒度」，并用外部检索交叉验证。

6.1 根源机制与证据链

因果链 1：把「生成内容」转嫁回模型 → 人力成本下降。

旧范式要求人类「写/重写文本」（高认知+高打字负担）→ onPanda 让人类只做「定位首错+点选/少量改写」，后半段由模型原生续写 → 人类干预位置稀疏（生产数据 97% token 模型生成）→ 时间下降 51.5%、NASA-TLX 从 6.8 降到 3.1。 证据等级：论文实验已支持（Table 1 时间、NASA-TLX；Table 2 token 占比）。

因果链 2：只动个别位置 + 优先选模型自己的高概率候选 → 同策略保真度保住。

人工事后精修等于「用人类分布覆盖模型分布」→ PPL 飙到 +36.31%；onPanda 仅修正少数位置，未被改的 token 是模型自己采样的，且修正多来自模型自身高概率候选（对采样分布扰动更小）→ PPL 仅 +0.86%，落在重采样噪声内。 证据等级：论文实验已支持（PPL 对比）。这是一个本质的结构性优势：续写后半段天然属于 rollout 模型的分布，而非人类分布。

因果链 3：每次修正天然记录「位置+替换+前后样本」→ 细粒度监督自动可得。

修正动作本身携带精确位置与方向 → 标注树自动保存祖先-后代分叉 → 可导出 token 级三元组与天然配对的正负样本 → 监督粒度从「整条回答」细化到「token 级」，且正负信号均衡。 证据等级：论文实验已支持（每 prompt 7.43 偏好对，且精确对齐修正位置）；下游训练收益属论文未验证（见局限）。

反事实推理：若去掉「续写」只让人改完即停（退化成普通精修），则无法保证后半段分布一致，且人需改每处错误——效率与保真两项优势都会塌缩回 POTATO 水平。这反证了「locate-correct-continue 循环」的必要性。

6.2 相关工作检索与对照（WebSearch 交叉验证）

围绕「标注效率 / 同策略数据价值 / RLHF 标注工具」三条线，外部检索结果如下。注意区分「方法相似」与「结论相近」。

证据缺口说明：本次检索覆盖了 Argilla、POTATO、Reptile、PRM800K/TLDR、交互式 MT 等直接相关工作；未做穷尽式系统综述，但已能支撑「降本来自把生成交还模型」「续写保住 on-policy 分布」「细粒度信号有价值」三条机制。未发现与 onPanda 完全相同的「候选点选+标注树自动导出三类数据」的公开系统。

6.3 综合判断与未决问题

• 多研究共同支持的机制：(a) 把「生成内容」交还模型可降本（Argilla 生态经验 + Reptile 续写 + 交互式 MT 史）；(b) 续写比完整人工精修更 on-policy（Reptile 结论与本文 PPL 实测一致）；(c) 细粒度监督信号有价值（PRM800K/TLDR 共识）。
• 仍属论文自证/推测的机制：token 级三元组作为「天然均衡的正负信号」对后训练的真实增益——论文未做训练实验验证（作者在局限中明确承认）。
• 优势成立的条件：模型初稿「局部逻辑大体正确、仅需稀疏修正」时，效率与保真优势最大（sparse-error 前提）。
• 可能失效的条件：当模型远不达标、错误稠密时，优势衰减，需退化为自由改写；且 on-policy 性质是「相对于标注时刻的 rollout 模型」的，训练不同模型或权重持续更新后收益会衰减。

七、必要知识反推

假设一个完全无基础的人要做出 onPanda，他必须掌握以下知识并融合：

7.1 领域知识层

• 后训练与对齐的基本概念：SFT、偏好数据、RLHF、DPO、奖励模型/过程奖励模型（PRM）是什么，以及「on-policy vs off-policy 数据」对训练的含义。不理解这个，就无法定义「为什么要保住模型分布」。
• LLM 的生成机制：自回归逐 token 采样、temperature/top-p、logprobs 与 top-k 候选概率的含义。不理解 continue_final_message 与 logprobs 这两个 API 能力，就无法设计核心交互。
• 分词与字素：为何多字节字符/emoji 会被拆成多 token，为何 UI 要按 grapheme 聚合。这是工程细节，却决定交互可用性。

7.2 方法论知识层

• 结构化消息与响应模板：推理模型/Agent 的响应含 </think>、tool_calls 等特殊结构；必须知道如何在「原生 token 流」与「结构化消息」间双向转换，才能统一覆盖推理、内容、工具调用。
• Agent 与工具调用协议：MCP（Model Context Protocol）是什么、harness（Claude Code/Codex/OpenClaw）如何封装，才能在真实环境执行修正后的工具调用。
• 标注-训练数据的转换逻辑：如何从「带祖先关系的对话树」导出 SFT/偏好/token 级三元组，正负样本如何在修正点分叉。

7.3 工程知识层

• 前端组件化与序列化：为何用 .panda.json 单文件打包（便于分发/收集）；轻量 Web 与嵌入平台两种部署形态。
• 实验设计：Latin-square 轮换顺序以平衡难度/熟练度/顺序效应；用 PPL 量化同策略保真度；用 LLM-as-judge 成对比较并正反序消偏。

7.4 知识融合的关键节点

真正创造性的节点在于：把「人类擅长的判断」与「模型擅长的生成」之间的边界，精确地画在「第一个错 token」上。这需要对「对齐训练本质」「自回归生成 API 能力」「结构化 Agent 消息」「交互式标注 UX」四类知识的融合——单懂任何一类都做不出 onPanda。

八、论文中可以提取的通用性灵感

8.1 范式迁移：「人写内容 → 人定位、机生成」

• 核心思想：凡涉及「人类与生成式模型协作产出内容」的场景，都应把「生成」交还模型，让人类只做「判断与定向修正」。
• 论文证据：97% token 模型生成、时间降 51.5%、PPL 仅 +0.86%。
• 推广场景：① 代码审查（人标出 bug 行、模型重写剩余）；② 机器翻译译后编辑；③ 文档/报告撰写辅助；④ 数据清洗中的「人指错、模型修」。

8.2 机制类：「续写天然 on-policy，重写天然 off-policy」

• 核心思想：让模型从修正前缀续写，比让人覆盖重写，更能保住模型自身分布。
• 论文证据：onPanda PPL +0.86% vs POTATO +36.31%。
• 推广场景：① 任何 SFT 数据生产都应优先「修正+续写」而非「重写」；② Agent 轨迹修复中优先「修正工具参数+重跑」而非重生成整段。

8.3 信号利用类：「修正动作本身就是监督信号」

• 核心思想：不要只把最终结果当数据，把「人如何修正」的过程本身转化为精细监督。
• 论文证据：标注树自动保存中间版本，导出 token 级三元组与天然正负对（7.43 对/prompt）。
• 推广场景：① 用「人类编辑轨迹」训练「自动纠错模型」（论文未来工作已规划）；② 用编辑差分训练过程奖励；③ 在线学习：把用户/环境的后期反馈，转化为对早期输出的 token 级修正。

8.4 关注点分离类：「渲染/修正用模板，存储用结构化」

• 核心思想：显示与修正时套用模型响应模板，存储与执行时还原结构化消息，二者解耦，使同一份数据可被不同模型继续修正。
• 论文证据：响应模板机制双向转换，特殊 token 直接可修正。
• 推广场景：① 多模型协同标注；② 跨框架的 Agent 轨迹复用；③ 任何「特殊控制符需对人可见可改」的系统。

8.5 紧凑性类：「单文件序列化降低协作摩擦」

• 核心思想：把会话、标注、日志、概率缓存打包成单一 .panda.json，极大简化分发与解析。
• 论文证据：onPanda 以该格式在生产中流转三类数据。
• 推广场景：① 标注平台数据交换标准；② 多工具流水线的中间产物封装。

小结：onPanda 用一个朴素却被忽视的洞察——「模型只在少数位置出错」——把昂贵的「人写/人改」转化为廉价的「人定位、机续写」，在降本 51.5% 的同时把同策略保真度几乎无损地保留下来（PPL +0.86% vs 精修 +36.31%），并顺带自动产出 token 级精细监督。它把「修正过程」本身变成数据资产，为后续「标注-训练飞轮」与「从文本反馈在线学习」埋下伏笔。其局限在于：token 级信号的下游训练收益尚未用实验证明，且优势依赖「错误稀疏」前提。总体而言，onPanda 为大规模、低成本、高质量的对齐与 Agent 数据生产，提供了一套可立即落地的工程范式。