NeFut Logo NeFut
EN 管理员登录

[AI学术] RATED:面向执行动态的可靠性感知 AI 工具检索

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#algorithm #AI #Machine Learning

随着 AI 代理对外部工具的依赖日益加深,检索的准确性直接影响系统的可靠性。已有方法主要优化语义相关性,却忽视了工具在实际执行过程中的可用性。为弥补这一缺口,本文提出 RATED(Reliability‑Aware Tool Retrieval via Execution Dynamics),它在语义匹配的基础上加入动态可靠性适配。

RATED 采用冻结的双编码器结构,并通过对比式微调提升语义匹配能力。检索得到的候选工具随后交由轻量级的上下文多臂赌博机模块,根据实时执行反馈进行重新排序,从而在工具失效时实现快速适配,无需昂贵的模型重新训练。

为评估该框架,本文构建了 EcoAgent 基准,收录 5,172 个真实工具和超过 210,000 条查询‑工具对,用于离线检索和动态可靠性测试。实验表明,在真实查询上 RATED 相比 ToolLLM API 检索器提升了 52.2% 的相对 MRR;在 30% 的 API 故障率的严苛场景下,错误选择率从 86.2% 降至 2.9%。与此同时,额外的延迟开销不足 1 ms,几乎与仅编码的推理持平。

代码与数据已开源于 https://github.com/Elliotes/EcoAgent。

点评:RATED 通过将执行时的可靠性信息引入检索循环,实现了在工具失效情况下的即时自适应,展示了在实际部署环境中提升 AI 代理鲁棒性的可行路径。

原文链接: https://arxiv.org/abs/2610.13889

[h] 返回首页