NeFut Logo NeFut
EN 管理员登录

[AI学术] 表示方式影响检索:多模态代理技能发现与路由案例研究

发布于:2026-08-24 22:00 最后更新:2026-08-29 12:04
#AI #LLM #Retrieval

生产环境的代理系统需要从不断增长的技能库中发现并排序,找到最适合用户任务的技能。小规模时,这种选择在上下文中完成:LLM 规划器直接在系统提示中挑选已暴露的技能表示,而不使用显式的基于嵌入的检索步骤。我们将这种上下文内选择视为大规模嵌入检索的 small‑N 对应,并以 Tinycloud——一个面向多模态视频的生产代理系统——为例,探讨其如何为规划器表示技能。

该系统的技能以两种常见形式出现:

在系统提示中,这两类技能通过两种表面暴露:

我们在六个任务上进行选择消融实验,分别在三种曝光策略下评估:全部开启(all‑on)、默认策略(default)和全部关闭(all‑off)。结果显示:

核心发现是,提示中技能的曝光并非单调有益:部分曝光会产生词汇竞争,抑制正确选择。我们将这一 small‑N 观察与近期大规模基于检索的技能路由工作联系起来,强调本研究更像是案例而非基准。

博主点评:该案例提醒我们,在设计提示时要慎重考虑技能的呈现方式,避免因词汇冲突导致检索失效,尤其在多模态系统中更需平衡自动加载与按需列出的比例。

原文链接: https://arxiv.org/abs/2608.20389

[h] 返回首页