NeFut Logo NeFut
EN 管理员登录

[AI学术] Agent Harness Awareness:将已验证遥测转化为工具代理的操作控制

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

工具描述只能告诉代理某个动作的功能,却不一定说明该动作在当前时刻是否安全或合适。执行环境往往通过监控、追踪和最近的失败记录掌握这些信息,而模型本身并不可见,这种差距被称为 operational blindness。为此我们提出 Agent Harness Awareness:主机在关键动作前提供一个小型、最新、已验证的状态快照,同时保留监测、强制、评估和最终调度的权力,实现信任分离的设计。\n\n我们在 ToolRoute 基准上验证了该思路。该基准固定任务和候选语义,仅改变模型可获取的运行信息。对 GPT-5.6 Sol、Claude Sonnet 5、Gemini 3.7 Flash 进行 216 次决策消融实验,加入已验证的工具健康状态后,平均可观测策略后悔从 4252 ms 降至 131 ms,下降 96.9%;单次调度成功率从 69.4% 提升至 95.8%。\n\n在另一个 27 次端到端实测中,使用本地 TCP/HTTP 执行、OpenTelemetry 客户端跨度以及 Toxiproxy 注入的故障,已验证状态将平均后悔从 8956 ms 降至 0 ms(零额外运行成本),并在 9/9 的模型‑故障组合中完成动作,而中性对照仅为 5/9。\n\n这些结果表明,Agent Harness Awareness 的工具‑网络实例能够通过主机遥测显著提升调度前的操作选择。运行时状态、硬件压力、经济因素、重试感知恢复以及异构选择仍是该架构的后续实验方向。\n\n点评:该工作展示了在大模型工具使用场景中,引入可信的运行时快照可以大幅降低决策风险和执行成本,为安全可靠的智能体部署提供了可行路径。

原文链接: https://arxiv.org/abs/2611.05391

[h] 返回首页