随着大语言模型（LLMs）在自主任务中的应用不断增加，现有评估主要关注任务成功率，而忽视了代理系统何时应当主动或克制的能力。这一缺口带来了真实的风险：在模糊、不一致的约束或工具故障下，代理可能会执行意外且不可逆的操作。为了解决这一问题，我们提出了第一个系统评估框架——AgentAbstain，旨在评估工具使用的LLM代理在何种情况下能够识别不行动。
AgentAbstain的核心是一个成对任务基准，基于8种不行动场景的代理原生分类法，涵盖了执行前推理和运行时发现。该基准包含263对任务，分布在42个可执行的沙盒环境中，每对任务由一个应行动任务和一个应克制的变体组成，后者通过对指令、工具或环境状态的控制扰动生成。为了扩展这一成对设计并抵御数据污染，我们提出了AbstainGen，一个全自动管道，用于合成沙盒环境并生成成对任务，经过确定性重放和语义LLM评审的验证；新任务实例可按需再生，三位独立的注释者对94-98%的样本任务给予了良好的设计评价。
在17个前沿LLM中，最佳代理（Gemini 3.1 Pro）在成对任务的准确率仅为59.5%（在每对任务的行动和克制两方面均正确）。更重要的是，克制能力与一般的任务解决能力大体独立，表明单靠扩大任务解决能力并不能填补这一缺口。此外，我们还识别出了一些失败模式，例如事后克制，即代理在识别克制触发前执行了不可逆的操作。我们的代码和数据集已在 agentabstain.github.io 上开源。
博主点评： 该研究强调了在自主代理系统中，单纯提高任务完成率并不足以确保安全性。AgentAbstain框架的提出为评估LLM的决策能力提供了新视角，揭示了克制能力的重要性，值得开发者在设计智能代理时给予更多关注。