NeFut Logo NeFut
EN 管理员登录

[AI学术] 按时运行:面向准时且高效的时间预算 AI 代理

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #LLM

我们探讨了小型 LLM 代理在明确的墙钟时间预算下能否既遵守分配的运行时长,又能高效利用剩余时间。实验使用 Qwen3.6-27B 在 MLE‑Bench Lite 的五个竞赛任务上进行评估,并在 Zork I(Jericho)上测试 Qwen3‑4B,这两个基准都能通过额外计算时间显著提升表现。

在最简设置中,仅在提示中给出预算,代理往往无法将预算转化为受控的时间使用。主要原因是缺乏时间感知:测试平台不提供计时反馈,且模型难以预测动作耗时,也没有学到从可用时间映射到合适策略的能力。

我们尝试了两类干预措施:

  1. 基于 harness 的机制,向模型暴露计时信息并强制截止时间;
  2. 使用预算感知奖励的强化学习(RL),其中 GRPO(Generalized Reward‑Based Policy Optimization)在 Zork I 上实现了几乎完美的预算遵守,并能推广到未见过的预算,但在 MLE‑Bench 上并未提升任务表现。

向 harness 注入计时信息显著提升了 Qwen3.6-27B 的预算遵守率,且性能基本不受影响;进一步的 enforcement hook 能进一步收紧遵守程度。

即便代理能够遵守预算,它们仍未能有效利用额外时间提升任务表现。RL 训练的策略学会了何时停止,但常在多余时间内重复动作;在多个预算上进行 GRPO 训练时,策略倾向于收敛到最短预算下的行为模式。

我们的结果表明,时间遵守与生产性时间分配之间仍存在显著差距,这对预算条件化的代理构成了核心挑战。

点评

原文链接: https://arxiv.org/abs/2610.10833

[h] 返回首页