随着 AI 代理对外部工具的依赖日益加深,检索的准确性直接影响系统的可靠性。已有方法主要优化语义相关性,却忽视了工具在实际执行过程中的可用性。为弥补这一缺口,本文提出 RATED(Reliability‑Aware Tool Retrieval via Execution Dynamics),它在语义匹配的基础上加入动态可靠性适配。
RATED 采用冻结的双编码器结构,并通过对比式微调提升语义匹配能力。检索得到的候选工具随后交由轻量级的上下文多臂赌博机模块,根据实时执行反馈进行重新排序,从而在工具失效时实现快速适配,无需昂贵的模型重新训练。
为评估该框架,本文构建了 EcoAgent 基准,收录 5,172 个真实工具和超过 210,000 条查询‑工具对,用于离线检索和动态可靠性测试。实验表明,在真实查询上 RATED 相比 ToolLLM API 检索器提升了 52.2% 的相对 MRR;在 30% 的 API 故障率的严苛场景下,错误选择率从 86.2% 降至 2.9%。与此同时,额外的延迟开销不足 1 ms,几乎与仅编码的推理持平。
代码与数据已开源于 https://github.com/Elliotes/EcoAgent。
点评:RATED 通过将执行时的可靠性信息引入检索循环,实现了在工具失效情况下的即时自适应,展示了在实际部署环境中提升 AI 代理鲁棒性的可行路径。