NeFut Logo NeFut
EN 管理员登录

[AI学术] 分析与缓解编码代理的成本低效行为

发布于:2026-09-28 22:00 最后更新:2026-09-30 01:41
#AI #Machine Learning #LLM

本研究首次系统评估编码代理在实际使用中的成本低效行为。我们在 SWE‑bench Verified 数据集上收集了 1,200 条 Claude Code 与 Mini‑SWE‑Agent 的轨迹,覆盖四种配置。分析结果揭示了三类高频低效行为:检索被覆盖、脚本生成相似以及测试重复执行。这三类行为出现在 $79.00\%$‑$98.00\%$ 的任务中,累计占任务成本的最高 $22.75\%$。针对这些行为,我们实验了三种缓解方案:结构感知检索、代理自合成技能以及开发者设计技能,分别在 10k 条持出任务(SWE‑bench Verified 与 Pro)上进行评估。主要发现包括:结构感知检索可能引入额外检索开销并改变代理的委派方式,导致检索效率提升不稳定,成本最高上升 $28.14\%$;代理自合成技能倾向于提供低层次、针对特定轨迹的指导,限制了其通用性和效果;相对而言,开发者设计技能提供高层次、与轨迹无关的指导,成本下降可达 $41.73\%$,约为自合成技能最大收益的两倍。

点评

原文链接: https://arxiv.org/abs/2609.30725

[h] 返回首页