NeFut Logo NeFut
EN 管理员登录

[AI学术] 使用缓存轨迹的任务高效代理评估

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

高效基准测试旨在仅通过少量任务执行就估计系统的整体基准表现。传统方法只依据已评估参考系统的二元正确性进行预测,却忽略了代理系统在每次执行中产生的丰富轨迹信息。我们提出先利用大语言模型(LLM)对轨迹进行结构化摘要,然后使用标准文本编码器对摘要进行嵌入。该表示保留了正确性和任务相关信号,同时抑制了系统身份、模型家族和运行环境等噪声。对所有参考系统的每个任务执行得到的嵌入进行降维,形成系统的低维几何表示。新系统的分数可通过其在参考系统空间中的位置进行预测。实验在 SWE‑bench Verified 与 Terminal‑Bench 2.0 上进行,加入基于几何的预测后,基于项目反应模型的平均绝对误差从 0.13 降至 0.08,Wilcoxon 检验的 $p$ 值显著。\n\n点评:该工作展示了利用 LLM 生成的轨迹摘要提升代理评估效率的可行性,为少量任务评估提供了更具信息量的特征表示。

原文链接: https://arxiv.org/abs/2611.06803

[h] 返回首页