NeFut Logo NeFut
EN 管理员登录

[AI学术] ReCast:面向归因的步骤表示学习用于基于LLM的代理系统

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#algorithm #Machine Learning #LLM

在基于大语言模型(LLM)的代理系统中,错误往往源自早期步骤,这些步骤的影响会在后续交互中传播,使得错误根源难以定位。为了解决这一问题,研究者将错误归因定义为识别导致错误的最早一步。已有方法利用LLM内部信号进行归因,通常直接把隐藏状态当作步骤表示,但实证研究表明,这些表示在区分根因步骤和其他步骤时分离度有限。\ \ 为此本文提出 ReCast,一种将冻结的LLM隐藏状态转化为面向归因的步骤表示的学习框架。ReCast 首先筛选与归因相关的层,然后构造互补的模式特征和偏差特征,最后通过对比学习和排序目标训练编码器,得到上下文感知的步骤表示。与此同时,作者构建了 ReCast-2K 数据集用于训练和评估错误归因任务。实验在四个基准上显示,ReCast 在 Hit@1 指标上领先所有对照方法,在 Who&When Algorithm 基准上提升 5.65 个百分点,在 Handcrafted 基准上提升 9.19 个百分点。代码已开源:https://anonymous.4open.science/r/ReCast-5FB6 。\ \ 点评

原文链接: https://arxiv.org/abs/2610.11334

[h] 返回首页