Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use 精读

论文链接：Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use 数据与代码：随论文发布，含去标识协议（附录 A.4） 发表时间：2026年10月 机构：剑桥大学（University of Cambridge）+ 斯坦福大学（Stanford University）+ 慕尼黑工业大学（Technical University of Munich）+ 哈佛大学（Harvard University）+ 德克萨斯大学奥斯汀分校（UT Austin）——五校纯学术合作，无企业参与；三位共同一作 Yijiang River Dong（剑桥）、Zexue He（斯坦福）、Cheng Yu（慕尼黑工大），Nigel Collier（剑桥】与 Jiaxin Pei【UT Austin】共同指导 领域标签：cs.CL / RLHF / 个性化记忆对齐 / 偏好学习

一、论文背景

LLM 记忆是什么。 当前的对话助手（如 ChatGPT 的记忆功能）开始拥有"跨会话记住用户"的能力：你上周说过自己偏爱简洁回复，这周新开对话它还记得。技术上这靠长期记忆系统实现——把过往交互压缩成记忆条目存储，新对话时检索相关记忆塞进上下文。支持记忆的动机很直白：连续性与个性化，助手不再每次都当陌生人。

记忆能力评测的现状与盲区。 近两年涌现的评测基准——LongMemEval、LoCoMo、PersonaMem、MemBench——考察的都是"信息能不能被保住、召回、更新"：给模型一段长历史，测它能否回答关于历史细节的问题。这类评测隐含了一个从未被验证的假设链：记忆准确 → 个性化恰当 → 用户体验更好。但这条链的第二环和第三环其实相当脆弱。论文举了个例子：用户曾要求"解释要贴合我的职业"，现在他问一个通识话题的概览——复用那条偏好看似相关且个性化，却可能把本该开阔的回答收窄到用户不想要的程度。

过度个性化已是有据可查的失败模式。 近期研究（OP-Bench、PersistBench、RPEval 等）记录了：不相关的个性化、跨域记忆泄漏、记忆诱导的谄媚（用户情绪低落时一味顺着说）、隐私侵入感等。这些错误既不是记忆不准也不是检索失败，而是"手里有信息之后该怎么用"的判断失误。评测基准无法刻画这类失败，因为它们没有问过用户本人。

更深的鸿沟：自动评估器可信吗。 LLM 研究大量依赖 LLM-as-judge 和预训练奖励模型（RM）做评估。如果这些自动评估器在"记忆使用是否恰当"上与人类用户系统性脱节，那么整个个性化记忆方向的优化方向就可能是偏的——模型会被优化成"评估器喜欢的样子"而非"用户喜欢的样子"。此前无人用"用户本人评判自己记忆生成的回复"这类数据检验过这一点。

这项研究要填的坑：(1) 用户到底偏不偏好带记忆的回复？(2) 自动评估器与用户判断的偏差有多大、偏向哪边？(3) 能否从用户判断中学到一个可解释的、预测用户偏好的奖励模型？为此他们收集了约 1000 对真实用户判断——这在个性化记忆领域是稀缺资源，因为构造它需要用户贡献自己的 ChatGPT 历史与近月事件。

二、论文定位和关联工作

2.1 长期记忆研究谱系：从"存得住"到"用得好"

记忆系统工作按存储形态分为：外部检索（MemoryBank、MemGPT、Mem0）、图结构记忆（A-MEM、MAGMA、Zep）、学习型记忆管理（Mem-α 用 RL 学记忆构建、Memory-R1 学记忆管理与利用）、参数化记忆（MEMORYLLM、δ-mem）。评测侧，LongMemEval/LoCoMo/MemBench 测召回与多会话推理，PersonaMem 测动态用户画像，PERMA/HorizonBench 测演化状态追踪。近期工作开始超越"召回"看下游利用（MemoryArena、Mem2ActBench、Know It Act on It）。本文的位置：首次把"记忆使用的恰当性"变成由真实用户偏好标签定义的学习问题——它不测系统能力，测的是"用户要什么"。

2.2 个性化与过度个性化谱系

传统个性化用画像/persona/行为历史条件化生成（LaMP、PRISM、SynthesizeMe!）。过度个性化是新近确认的失败类别：OP-Bench 评测无关个性化/重复/谄媚，PersistBench 评测跨域泄漏与记忆诱导谄媚。关键区别：这些工作预设了"什么是不恰当"的固定定义；本文不预设，而是从用户的成对偏好中恢复"什么算恰当"的信号——把规范性问题转化为偏好学习问题。

2.3 RLHF 与 rubric 奖励谱系

标准偏好建模学 Rθ(q, y)；扩展方向包括多轮对话偏好、用户条件化偏好（个性化 DPO、奖励因子化、用户摘要条件化 RLHF）。Rubric 奖励模型（Rubrics as Rewards、OpenRubrics、Auto-metrics）用显式准则+聚合规则换取可解释性与样本效率。本文的延伸：把记忆 M 显式写进奖励函数 Rθ(q, y, M)，且监督信号来自"记忆主人本人"——这与用众包标注者评通用回复的常规 RLHF 数据有本质区别。

2.4 定位总结

三、问题定义

具体场景。用户 u 有一组个人记忆 M（由其 ChatGPT 历史与近月事件构建），提出查询 q。同一生成器分别产出两个回复：带检索记忆的 y_m 与不带记忆的 y_0。用户在五点量表上评判偏好。

核心洞察：个性化价值 ≈ 从记忆主人偏好中学习的监督问题。此前的评测逻辑是"记忆用上了、内容对了 = 好"；本文的洞察是把"好不好"的裁判权交还给用户，将其形式化：给定 (q, M, y_m, y_0)，预测 P(y_m ≻ y_0)。这个看似简单的转变解决了一个深层问题——恰当性无法被先验定义（何时算过度因人而异、因查询而异），但偏好可以从数据中学。

形式化。可解释特征化 Φ(q, M, y_m, y_0) ∈ R^12（每维比较两回复在一个准则上的差异，符号约定正值偏向 y_m），偏好模型 P(y_m ≻ y_0) = σ(b + w^T x)，L2 正则逻辑回归拟合。给定：用户判断数据集（821 条筛后判断、291 条清晰偏好测试对）；求：跨参与者泛化的权重 w。

抽象的精妙之处：其一，特征化把"记忆使用的恰当性"（无法直接观测）拆成可由评估器打分的维度（记忆相关性、假设比例性、无据假设等），使监督信号可以落到具体机制上；其二，按参与者划分训练/测试，回答的是"跨人群的共性偏好规律"而非记住个体——这决定了结论能否指导通用对齐。

四、问题解法

方法分三步：数据收集、rubric 特征构建、偏好回归。

4.1 数据收集：让用户带着自己的记忆来评判

参与者画像构建。87 名 Prolific 参与者（30 分钟任务、14 美元/小时），把一个提取 prompt 贴进自己的 ChatGPT 账户运行，产出：(1) 第三人称结构化画像（职业、作息、饮食、娱乐等 12 大类）；(2) 近 100 条历史查询；(3) 目标 30 条近月事件（打字或语音转写补充）。PII 防护贯穿全程：prompt 明令禁止真名/邮箱/电话/精确地址等，摘要环节还有系统的去标识协议（类型化占位符替换、跨记录一致性、上下文人工审查）。

回复对构造。每位参与者 100 个候选查询，每个查询用 text-embedding-3-small 检索 9 条记忆；生成器从 GPT-5.2 / Gemini-3.1-Pro / Claude-Opus-5 中随机选一个，分别生成 y_m（带记忆）与 y_0（不带）。带记忆侧施加三档个性化指令：保守（只在显著改善当前回答时用记忆）、普通（相关处自然融入）、激进（尽可能主动连接个人背景）。再用 LLM 评估器筛选出 15 对"记忆引致实质差异"的对比给用户标注。

偏好标注与质量过滤。参与者并排看查询+两个回复（不透露生成条件），五点量表选"A 好得多 / A 略好 / 差不多 / B 略好 / B 好得多"。原始 972 条主判断筛除不完整与注意力检查失败后保留 821 条（673 严格偏好 + 148 平局）。测试集只用"好得多"子集（291 对）——依据是重测一致性研究：10 名参与者三天后重判，“好得多"方向一致率 73.9% 而"略好"仅 58.6%，弱偏好信号噪声太大。这一人类一致性上限 73.9% 也成为评判模型的天然标尺。

4.2 Rubric 特征：从用户偏好中归纳评估准则

类比：与其让一个裁判整体凭感觉打分（零样本 judge），不如先从大量判例中提炼出一把评分细则（rubric），再学习每条细则的权重。

特征归纳。给 LLM 喂 10 个带标签的四元组（查询/记忆/两回复/用户选择），让它生成 10 条能解释偏好差异的准则；独立跑 5 轮得约 50 条原始提案；再经合并轮去重，并给每维打上"记忆依赖”（打分需要看记忆内容）或"记忆无关"标签——这个标签在归纳时固定，使后续记忆/回复特征的分解是定义性的而非事后判断。最终得到 12 维 rubric（每折交叉验证内独立归纳，避免测试泄漏）。

12 维特征全景（按描述性拟合的标准化系数绝对值排序）：

4.3 偏好回归：冻结 rubric，只学权重

特征向量 x_i 每维由冻结的 rubric 评估器打分（成对差异、符号朝向 y_m），训练集标准化后拟合 L2 逻辑回归：P(y_m ≻ y_0) = σ(b + w^T x)。按参与者 5 折交叉验证 × 10 次随机洗牌，测试参与者的预测取 10 次平均算准确率；L2 强度 C 在每折训练参与者内部用内层 4 折选择。只学 w 和 b，评估器与生成器全冻结——模型的可解释性全部来自"权重落在哪些特征上"。

4.4 方法全景

五、评估指标与实验证据

5.1 指标体系

主指标：清晰偏好对上的偏好预测准确率（按参与者划分，方向约定"总是选不带记忆"的多数基线为 55.0%）。辅助指标：分生成器准确率、覆盖率-准确率曲线（按 |p̂-0.5| 置信度截断）、评估器选择记忆回复的比率（检验个性化偏置）。参照上限：人类重测一致性 73.9%。消融指标：记忆特征块 vs 回复特征块 vs 合并。

5.2 发现一：记忆访问不保证用户偏好（评估鸿沟 #1）

三个结论：(1) 普通指令下记忆回复并不占优（38.7% vs 41.9%）；(2) 个性化越激进越不受欢迎（43.3% → 38.7% → 34.6%，激进档近半数用户更爱无记忆回复）；(3) 方向随生成器翻转——GPT/Claude 带记忆略占优，Gemini 反转（59.5% 偏好无记忆）。注意这些是筛选过"有实质记忆差异"的对比，说明问题不是"没个性化出来"，而是"个性化出来了但用户不买账"。

5.3 发现二：自动评估器高估个性化（评估鸿沟 #2）

两个关键证据：(1) 准确率层面，零样本裁判与预训练 RM 都在多数基线附近徘徊（52.9-59.6%），远低于人类上限；(2) 偏置层面，直接裁判（双序投票）选择记忆回复 67.2%、Skywork 带记忆输入选 81.1%，而用户只有 45.0%——高估幅度达 22-36 个百分点。把记忆从 Skywork 输入移除，选择率反转到 19.6% 但准确率仍近基线：RM 的选择被"上下文里有没有记忆"强烈驱动，与用户真实偏好脱钩。这坐实了第二个鸿沟：用这类评估器优化个性化记忆系统，会朝错误方向发力。

5.4 发现三：学习聚合显著超越零样本评估

72.8% 的主结果解读：(1) 比多数基线 +17.8、比直接裁判 +14.7、比 rubric 裁判 +13.2、比 Skywork 两配置 +13.9/+14.0；(2) 逼近人类重测一致性 73.9%（95% 区间意义上"接近上限"）；(3) 三个生成器上全面领先（66.0/75.0/82.2）。

特征权重揭示偏好结构：top5 中两个是呈现性特征——标题数差异 +0.646、相对长度 +0.571（与已知的长回复偏置文献一致，也提示即便在记忆场景也需剥离长度混淆）；三个记忆特征入 top5——相关性 +0.386、假设比例性 +0.323 为正，无据假设 -0.201 为负。解读：用户欢迎"有据、成比例"的记忆使用，反感"脑补用户"。

合并增益（消融）：仅记忆特征 62.5%、仅回复特征 67.0%、合并 72.8%（+10.3/+5.8）——记忆适切性与回复质量是互补信息源，缺一则预测退化。

选择性预测：按置信度排序保留前 25% 对比时准确率达 88.8%（+16.0）；这意味着该模型做奖励信号时可对低置信区域 abstain，或为 RLHF 提供更干净的高置信标签。

5.5 实验设计为何能支撑论点

对照组设计干净：同查询、同生成器、唯一变量是记忆条件——偏好差异可归因于记忆使用本身；按参与者划分防止记住个体怪癖；测试集只留高一致性"好得多"对，压低标签噪声；两序呈现对抗位置偏置；对零样本基线尝试多种 prompt 取最优，避免稻草人对比。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链一：监督信号差异 → 学到"何时记忆被接受" → 超越预训练 RM 与零样本裁判

• 方法差异：本文监督来自"用户评判自己记忆生成的回复"；Skywork/裁判的训练或提示来自通用偏好分布。（论文数据构建章节已支持）
• 机制变化：通用偏好数据里"更个性化/更详尽"通常与"更好"正相关，学到的聚合隐式奖励个性化本身；本文数据里近半数用户偏好无记忆回复，负例充足，学到的权重区分"有据的相关使用"（正）与"无据脑补"（负）。（特征权重分析已支持：REL/PROP 正、ASSUMP 负）
• 指标提升：72.8% vs RM 52.9-58.8%、裁判 58.1-59.6%。（Table 3 已支持）

因果链二：显式特征分解 → 记忆适切与回复质量分账 → 合并增益

• 方法差异：黑盒 RM 把所有信号压进一个标量；本文拆成 12 维、并按定义分记忆块/回复块。（方法章节已支持）
• 机制变化：分解使"个性化偏好"与"呈现质量偏好"各自可测——消融显示两块各自 62.5/67.0、合并 72.8，证明两类信息非冗余。（消融已支持；“非冗余"的量化由 +10.3/+5.8 增益背书）
• 指标提升：见消融行。（已支持）

因果链三：评估器以’是否用记忆’为隐性代理 → 与用户选择脱钩 → 高估个性化

• 方法差异：裁判/RM 的输入包含记忆上下文与两回复，任务是"判断哪个好”。（附录 D prompt 已支持）
• 机制变化：LLM 判断"用上上下文信息的回复更用心/更相关"是普遍捷径——Skywork 带记忆选记忆回复 81.1%、去记忆后骤降至 19.6%，选择率被上下文存在性翻转，说明其评分强依赖"记忆是否出现在论证里"而非"用户是否受益"。（附录 D.2 数据已支持；机制解释属阅读者推测，标注为推测）
• 指标体现：22-36pp 的选择率高估。（已支持）

反事实推理：若去掉记忆特征块，模型退化为纯回复质量预测器（67.0%）——刚好是普通 RM 理论能覆盖的部分；说明本方法的全部增量恰来自"记忆适切性"这一被现有评估器遗漏的维度。

6.2 相关工作检索与对照

本次未执行外部检索，因果链基于论文自身实验与机制分析，对照采用深读提取清单（g1_extraction.md 第 10 节）与论文 Related Work 中的对比信息：

6.3 综合判断与未决问题

多研究共同支持的机制：(1) 个性化不必然受偏好（OP-Bench、PersistBench 的失败模式记录 + 本文 38.7% vs 41.9% 的直接偏好数据）；(2) rubric+学习聚合优于零样本隐式判断（Rubrics as Rewards 谱系结论在记忆场景复现）。

仍属推测的机制：评估器为何高估个性化的"捷径"解释（把’用了上下文’当’更用心’）目前只有选择率翻转的间接证据，缺少对评估器内部推理的直接检验；长度/标题两个呈现特征的强权重有多少是真实偏好、多少是标注界面诱导，论文自承需要进一步剥离。

适用条件：结论基于筛选过"记忆引致实质差异"的对比（15 对/人的筛选偏向有差异样本），在记忆完全无关的日常查询上"记忆回复占比不受偏好"的结论可能更强；单轮、检索式记忆供给的设定下成立，多轮/智能体任务中的记忆使用偏好未测。

可能的失效条件：跨文化人群的偏好权重可能不同（Prolific 样本偏西方）；随时间演化，重测一致性 68% 意味着即便同一用户偏好也不完全稳定；72.8% 的模型若直接当训练奖励，26.9% 的错误率经由 RLHF 放大可能产生新的 reward hacking——论文将 post-training 应用列为下一步而未验证。

七、必要知识反推

7.1 领域知识层

• 长期记忆系统与评测版图：知道 LongMemEval/LoCoMo/PersonaMem 测什么、不测什么，才能发现"用户偏好视角"的空白。不理解评测基准的隐含假设链（准确→恰当→满意），就找不到攻击点。
• 个性化与过度个性化文献：OP-Bench/PersistBench 的失败分类是本文"恰当性不可先验定义"立场的对话对象。
• 人类偏好数据的噪声特性：必须知道偏好标注天然不稳（略好/好得多的一致性差异），才会做出"测试只用高置信子集"的关键决策。

7.2 方法论知识层

• RLHF 与 Bradley-Terry 偏好模型：σ(R_a - R_b) 的成对建模是回归设计的直接模板。
• Rubric 奖励建模谱系：特征归纳（从标注归纳准则）+权重学习（从标签学聚合）的两段式范式来自 Gunjal/Ryan/Liu 等前作。
• 评测方法学：按参与者交叉验证、内层超参选择、双序呈现、多数基线校准、覆盖率-准确率分析——防止"记住个体"与"位置偏置"两类伪影。

7.3 工程知识层

• 众包数据收集与质量控制：Prolific 定价、注意力检查、重测子研究、筛除标准（972→821）。
• 隐私工程：提取端 PII 禁令、发布端占位符替换与跨记录一致性、上下文人工审查——用户贡献私人数据的先决条件。
• LLM 评估器工程：用冻结 LLM 给 12 维 rubric 打分的 prompt 设计与批内归纳防泄漏。

7.4 知识融合的关键节点

(1) “评估对象反转"的洞察：不是测系统能力而是测用户价值的裁判权移交——这是把评测问题变成学习问题的范式切换点；(2) 筛选-标注-回归的管线设计：用 LLM 筛选"有记忆差异"的对保证信号密度，用五点量表+重测筛选保证标签质量，两者缺一则回归学不到东西；(3) 记忆/回复特征的定义性划分：在归纳时而非分析时固定块标签，使消融结论不被"事后归归类"质疑。数据工程（隐私协议）与统计工程（交叉验证设计）在此融合为结论的可信度基础。

八、论文中可以提取的通用性灵感

灵感一：评测的裁判权要交给"利益相关者本人”

• 核心思想：当系统的服务对象与评估者分离时（用户 vs 基准 vs LLM 裁判），用"被服务者本人"的判断做金标准能暴露所有代理指标的系统性偏差。
• 论文证据：用户偏好记忆回复 45.0% vs RM 81.1% 的 36pp 偏差——所有此前以 RM/裁判为准的个性化优化都可能方向性跑偏。
• 推广场景：(1) 医疗 AI 用患者本人结局偏好替代医生评分；(2) 教育软件用学生学习体验而非考试均分评价教学策略；(3) 推荐系统用留存行为而非点击率对抗标题党；(4) 无障碍设计用残障用户实测替代合规清单。

灵感二：“用了输入"不等于"因此更好”，警惕代理信号劫持评估

• 核心思想：评估器会把"是否使用了给定上下文/资料/指令"当作质量代理，即使这种使用对结果无益甚至有害。
• 论文证据：Skywork RM 在输入含记忆时选择记忆回复 81.1%、移除记忆后 19.6%——选择被上下文存在性而非回复质量翻转。
• 推广场景：(1) RAG 评测中防止"引用多=好"的偏置；(2) 代码评审防止"diff 大=认真"的错觉；(3) 情报分析中防止"引用机密来源=可信"的捷径；(4) 求职材料中防止堆砌 JD 关键词通过筛选。

灵感三：把规范性问题转化为偏好学习问题

• 核心思想：当"何为恰当/过度/越界"无法先验定义时，不硬编码规范，而是构造控制变量的成对对比，从受影响者的选择中恢复隐性规范。
• 论文证据：不预设过度个性化定义，而从 291 对偏好中学出"相关性+、比例性+、无据假设-“的稳定权重结构。
• 推广场景：(1) 内容审核的边界尺度从社区成对偏好学习；(2) 助手主动性的恰当度从用户反馈学习；(3) 机器人安全距离从人机协作实验学习；(4) UI 打扰频率的规范从 AB 测试偏好恢复。

灵感四：显式准则分解 + 学习聚合 = 可解释且强于端到端判断

• 核心思想：复杂判断拆成显式维度（可审计、可消融），聚合权重从数据学（不靠拍脑袋），两者组合常胜过黑盒整体判断。
• 论文证据：rubric 裁判（显式准则+LLM 隐式聚合）只到 59.6%，学习聚合到 72.8%——准则的收益必须经由学习权重才能兑现。
• 推广场景：(1) 风险评级拆维度+历史数据学权重；(2) 绩效评估拆能力项+回归校准；(3) 医疗分诊拆指征+结局数据拟合；(4) 论文评审拆维度 rubric+大规模校准。

灵感五：用标注者自一致性设定模型效果的合理天花板

• 核心思想：人类标注自身的重测一致性是任何预测器的信息论上限参照；模型逼近该上限比追求更高数字更有意义。
• 论文证据：仅取"好得多"子集（73.9% 一致）做测试，模型 72.8% 距上限 1.1 点——比在噪声标签上追高更能说明学到了真信号。
• 推广场景：(1) 情感分析按标注者一致性分层报告；(2) 医学影像诊断以专家双盲一致性为参照；(3) 翻译评测以译者变异为上限；(4) 主观推荐的可达精度评估。

总结：这篇论文的价值排序应该是：数据集（用户评判自己记忆的真实偏好）> 两个评估鸿沟的实证（个性化不必然受欢迎；评估器系统性高估个性化）> 奖励模型本身（72.8%）。它没有解决记忆对齐问题——模型是离线的、单轮的、未进入 post-training——但它把优化目标的地基换掉了：从"记忆用得准"换成了"记忆用得让主人满意”。对做个性化产品的团队，最直接的行动项是：立刻审计你们的 LLM-as-judge 是否存在"上下文存在性偏置"，因为那 22-36 个百分点的高估足以把整个迭代方向带偏。

附录 A：两个标注实例的对照

论文附录 B 给出了两个完整实例，能直观感受"恰当 vs 不恰当"的记忆使用差异。

实例一（用户偏好带记忆的回复，B slightly better）。查询：“这周我应该一口气看完还是分几个晚上看？“检索记忆含"想看荷兰弟版蜘蛛侠三部曲"“主要通过看电视放松"“周末喜欢户外活动"等 9 条。无记忆回复给出通用的分类讨论（一部电影一次看完 vs 长系列分晚上）并反问"them 指什么”；带记忆回复直接识别出是三部曲、给出"3 个晚上每晚一部（周二/四/日）“的具体计划、结合周末户外习惯建议把观影放在工作日晚上、还建议挑一晚搞"影院仪式感”。记忆相关性高、假设有据、行动闭环具体——用户略偏好它。

实例二（用户强烈偏好无记忆回复，A much better）。查询：“明天下午要做演示，今天该什么时候腾时间准备？“检索记忆含"中午最高产"“运动约两小时"“处理过工地任务截止压力"等。无记忆回复给出"两大专注块+打磨块+今晚彩排+明早缓冲"的完整结构化计划；带记忆回复强行把主块安排到"你的中午高效期”、塞进运动习惯的联想。用户选了"A much better”——后者用"最高产时段"这条偏好替换掉了前者更完整的计划骨架，属于典型的"相关性存在但不成比例"的使用。这两个实例恰好对应权重表中 PROP（+0.323）与 ASSUMP（-0.201）两维的张力。

附录 B：去标识协议要点（数据发布的前提）

论文附录 A.4 的去标识协议值得数据集构建者参考，分三层：

附录 D：三档个性化指令的设计要点

论文附录 E.2 完整给出了三档 prompt 模板，其措辞差异本身是有用的工程素材。保守档要求"只在该记忆能显著改善当前查询答案时使用”，并明示"客观/事实类问题（解释概念、写通用脚本、总结研究、答 trivia）不得注入个人生活"“给一个干净的通用答案严格好于硬塞无关个人上下文”。普通档是"相关处自然融入、事实类问题也可个性化框架与例子、不要罗列记忆原文”。激进档要求"主动寻找查询与用户背景的连接、显式引用相关记忆、即使通用问题也要按画像调整语气与详略、只有完全无关且强行塞入会误导时才省略”。

三档指令与表 2 的偏好数据对照阅读会发现：即便是最保守的档位，用户偏好记忆回复的比例（43.3%）也仅略高于无记忆（40.6%）——指令工程解决不了恰当性判断，这正是"要从用户偏好中学习权重"结论的又一佐证。

另值得留意的是检索配置：每查询用 text-embedding-3-small 取 top-9 记忆条目（模板头部"top 20 by similarity"字样为历史遗留、与实际快照不符，论文已注明）；三档生成温度与参数不公开细节，但两回复严格同查询、同生成器、分两次独立调用，保证唯一变量是记忆条件。

附录 C：与 APA 论文的对读

同一期精读的另一篇《Learning What to Ask for Tomorrow》（arXiv 2610.31107）从正交方向切入同一问题域：本文测"已存储的记忆该不该用、怎么用才让用户满意”，那篇测"从未透露的偏好哪些值得开口去问”。两篇合起来恰好覆盖记忆生命周期的两端——获取端按复用价值定价提问，使用端按用户偏好学习恰当性——中间缺的正是把两者闭环的在线系统：用 PPV 决定问什么，用记忆感知奖励模型决定怎么用，再用偏好反馈校准提问策略。这个闭环是个性化记忆方向一个相当自然的后续工作。