NeFut Logo NeFut
EN 管理员登录

[AI学术] 个性化记忆评估表:通过评估表引导的信用分配实现用户专属记忆学习

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#Machine Learning #LLM #Artificial Intelligence

长时程个性化智能体需要通过不断决定添加、修改或删除记忆来保持记忆的演化。然而,学习一个最优的记忆更新策略极具挑战。传统训练仅依据最终的问答准确率提供反馈,这种终端信号过于粗糙,无法区分中间步骤的重要性。更重要的是,记忆更新的效用高度依赖用户特征——相同的记忆操作在不同用户画像下可能产生截然相反的效果。现有方法大多采用全局共享的评估标准,最多只提供一个标量的中间奖励,无法捕捉这种异质性。

为了解决上述问题,本文提出个性化记忆评估表(Personalized Memory Rubrics,PMR)框架。PMR 将终端反馈细化为逐步、逐用户的信用分配。具体做法是将评估拆分为两层:

  1. 通用层:捕捉跨用户的共性失败模式,形成一个全局基线。
  2. 用户自适应层:在通用基线之上学习每个用户的专属偏差(delta),从而实现个性化的信用分配。

在 Rubric‑Guided Credit Assignment 机制下,PMR 能在token 级别重新分配信用:对成功轨迹中的有效决策进行放大,对失败轨迹则回退到标准的策略优化,以避免不可靠的归因。评估表与记忆策略在闭环中共同进化,并通过反循环(anti‑circularity)约束保证学习的稳定性。值得强调的是,PMR 在推理阶段不需要任何评估表或外部评判器,因而零推理开销。

实验在四个公开基准上进行,对比多种强记忆增强基线,PMR 均表现出显著提升,验证了细粒度、用户感知的信用分配对长期记忆学习的有效性。

点评:PMR 通过将全局评估拆解为通用+个性化两层,实现了对记忆更新的精细控制,兼顾了学习效率与用户差异,值得在更广泛的个性化系统中进一步探索。

原文链接: https://arxiv.org/abs/2611.14017

[h] 返回首页