TreeGraft 精读:多起草器共嫁接一棵草稿树,让投机解码跨越快与好的单选题
树形投机解码用一个起草器建草稿树,陷入『小模型快但树差、大模型树好但慢』的两难。TreeGraft 让免训练 n-gram 小起草器与预训练中间起草器共同构建一棵共享草稿树:中间起草器可回看全树历史节点重新打分并复活被低估的路径(Where),嫁接时不覆盖既有子树(How),再由离线价值系统蒸馏出的 3265 参数轻量调度器逐步决定是否值得调用中间起草器(When)。在 10 个模型对 × 6 个基准上平均加速 1.60 倍,超两个单起草器端点中较优者 15.1%,且在留出模型对与完全留出的 MT-Bench 任务上仍保持 1.48 倍与 1.60 倍,证明调度器学到的是可迁移的成本-质量权衡。