NeFut Logo NeFut
EN 管理员登录

[AI学术] 治理 LLM 代理中的持久记忆:何时接受及如何呈现

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#Machine Learning #LLM #Artificial Intelligence

持久记忆能够提升大语言模型(LLM)代理的个性化能力,但也可能导致阿谀奉承和跨域信息泄漏。我们将治理决策划分为两类:接受(admission)决定哪些被检索的信息进入工作上下文,呈现(presentation)决定这些信息以何种形式表达。为此我们在推理阶段实现了两种无需重新训练的设计:

我们在四个主干模型组成的开发套件以及一个包含四个任务、每个任务 300 条样本的外部基准上进行评估。相较于直接注入原文,FC 和 PS 在外部基准上的综合判定失误率分别降低了 6.7% 和 8.8%(p = 2.7e‑7、4.1e‑12),跨域泄漏在开发集上最高下降 29.5%。一个基于查询条件的门控基线未能显著改变客观事实错误率或综合错误率。预算相同的情况下,PS 在外部客观事实判断上优于随机和基于相关性的选择(经 Holm 校正后显著)。在固定呈现方式的前提下,收紧接受阈值进一步将跨域错误率降低 17.5%(p = 1.6e‑4),而对同一裁决输出的两种呈现方式的比较未能通过多重比较校正。

两种设计均增加了个性化失误,且 PS 未能满足预注册的改进和个性化保持标准。这表明应当将接受和呈现分别评估:选择质量可带来任务特定的安全提升,但如何在保证有益记忆利用的同时防止负面效应仍未解决。

点评

原文链接: https://arxiv.org/abs/2610.11188

[h] 返回首页