[AI学术] 当代理失效：模型还是执行框架——谁该负责？

LLM 代理将大模型与执行框架结合，基准成绩反映两者的协同行为。我们主张应通过模型‑框架的交互来评估框架本身。为此提出五个互补度量：

1. 有效完成率（VCR），衡量代理在不考虑任务正确性的前提下，能否正常结束并产出可评估结果；
2. 模型‑框架匹配度，评估给定模型在使用特定框架时，完成有效任务的能力；
3. 跨模型匹配度，描述框架在所有评估模型上的整体适配性；
4. 交互残差，捕捉特定模型‑框架组合隐藏的执行强弱点；
5. Token 负载，统计执行过程（包括失败尝试）消耗的 token 数量。

我们选取四种通用框架（OpenCode、Codex CLI、Pi CLI、DeepAgents）和四个核心模型，另外加入两套固定的原生模型‑框架系统，覆盖六类基准：上下文管理、工具使用、长上下文规划、多模态交互、产物交付。加入原生参考和压力条件后，共计 111 种评估设置，产生 52 168 条轨迹。

结果显示，框架排名随模型和基准而异；任务得分与有效完成率可能偏好不同的组合；相似的任务分数背后可能隐藏截然不同的执行特征。OpenCode 在跨模型表现上居首；DeepSeek V4 Flash Preview 在共享的四基准面板上保持最高平均 VCR。上述发现支持：① 评估模型‑框架交互而非单独组件；② 在模型中培养可迁移的框架使用能力；③ 设计针对特定模型和任务的框架。

点评