NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于证据的可验证偏好证明:LLM 推荐的推理方法

发布于:2026-10-06 22:00 最后更新:2026-10-08 01:25
#algorithm #Machine Learning #LLM

大型语言模型(LLM)能够从交互历史和评论中推断用户偏好,但它们生成的推理理由往往并未真实反映用于推荐的信息。若证据与理由之间的关联薄弱,或理由对最终排序影响有限,就会出现“ grounding‑influence gap”。

我们提出 PROVE‑REC 框架,以实现可验证的偏好推理。Pass A 将完整的历史压缩为一组偏好证明,包含正向和回避声明,并将每条声明链接到选定的证据条目。Pass B 仅使用这些证明及其对应证据预测下一个项目,防止推荐系统绕过推理路径。

为验证证据到证明的 grounding,比较屏蔽选定证据与屏蔽等价对照条目对结果的影响。为验证证明到推荐的影响,去除单条声明并测量目标项目排名边际的下降幅度。额外加入排名保持目标,以保留完整历史中的有用信息。

在多个真实数据集上的实验表明,PROVE‑REC 相比强基准(顺序模型、生成模型、LLM 增强模型)提升最高达 7.45%。受控消融实验证实两阶段架构和验证目标的有效性。与此同时,PROVE‑REC 生成的声明在历史证据上的 grounding 更强,对推荐结果的影响也更显著,同时保持了排序质量。

点评

原文链接: https://arxiv.org/abs/2610.02968

[h] 返回首页