NeFut Logo NeFut
EN 管理员登录

[AI学术] 当 Harness 失去信号:LLM 代理恢复的因果评估

发布于:2026-10-02 22:00 最后更新:2026-10-06 12:11
#Machine Learning #LLM #Artificial Intelligence

大型语言模型(LLM)代理依赖外部 harness 在模型与环境之间传递信息,并在执行错误后进行恢复。传统评估仅看平均任务成功率,掩盖了关键张力:同一恢复操作可能拯救失败轨迹,也可能破坏本应成功的轨迹。我们将恢复建模为因果决策问题。给定相同执行状态,比较有无恢复的结果,分别统计救援(rescue)和伤害(harm),并研究恢复价值随时间的变化。随后提出因果干预路由器(Causal Intervention Router,CIR),一种轻量策略,利用恢复前可得信息判断干预是否值得。实验在长时序 ALFWorld 任务上使用 Qwen3‑14B,CIR 将成功率从 70.33% 提升至 73.33%,提升 3.00 个百分点,并保持所有已正确观测的轨迹不受影响。额外对照实验表明,恢复收益并非仅来源于环境返回的新观测。该工作提供了评估恢复的实用方法,并实现选择性应用。

点评

原文链接: https://arxiv.org/abs/2610.00372

[h] 返回首页